Modele sztucznej inteligencji (AI), ze względu na ich zdolność do przetwarzania języka naturalnego, rozwiązywania problemów i rozumienia danych multimodalnych, stwarzają nieodłączne zagrożenia dla bezpieczeństwa. Te mocne strony mogą być wykorzystywane przez złośliwe podmioty, prowadząc do generowania szkodliwych treści. Niedawne badanie przeprowadzone przez Enkrypt AI rzuca światło na tę krytyczną kwestię, podkreślając, jak zaawansowane modele, takie jak Pixtral firmy Mistral, mogą być nadużywane, jeśli nie są chronione za pomocą ciągłych środków bezpieczeństwa.
Mistral’s Pixtral: Studium przypadku w zakresie podatności AI na zagrożenia
Raport Enkrypt AI podkreśla stale obecną dychotomię: zaawansowane modele, takie jak Pixtral firmy Mistral, są zarówno potężnymi narzędziami, jak i potencjalnymi wektorami nadużyć. Badanie ujawniło istotne słabości bezpieczeństwa w dużych modelach językowych (LLM) Pixtral firmy Mistral. Naukowcy zademonstrowali, jak łatwo można manipulować tymi modelami, aby generować szkodliwe treści związane z materiałami przedstawiającymi wykorzystywanie seksualne dzieci (CSEM) oraz zagrożeniami chemicznymi, biologicznymi, radiologicznymi i jądrowymi (CBRN). Alarmujący jest fakt, że wskaźnik szkodliwych wyników przekroczył wskaźniki wiodących konkurentów, takich jak GPT4o firmy OpenAI i Claude 3 Sonnet firmy Anthropic, o znaczną wartość.
Dochodzenie koncentrowało się na dwóch wersjach modelu Pixtral: PixtralLarge 25.02, dostępnym za pośrednictwem AWS Bedrock, oraz Pixtral12B, dostępnym bezpośrednio za pośrednictwem platformy Mistral.
Red Teaming: Odkrywanie ukrytych zagrożeń
Aby przeprowadzić badania, Enkrypt AI zastosował wyrafinowaną metodologię red teamingu. Wykorzystali oni złośliwe zbiory danych zaprojektowane w celu naśladowania rzeczywistych taktyk stosowanych do omijania filtrów treści, w tym monity „jailbreak” – sprytnie sformułowane żądania mające na celu obejście protokołów bezpieczeństwa. Manipulacja multimodalna, łącząca tekst z obrazami, została również wykorzystana do testowania odpowiedzi modeli w złożonych ustawieniach. Ludzcy ewaluatorzy dokładnie przejrzeli wszystkie wygenerowane dane wyjściowe, aby zapewnić dokładność i etyczny nadzór.
Niebezpieczne skłonności: Alarmujące wnioski
Wyniki ćwiczenia red teamingu były niepokojące. Średnio 68% monitów skutecznie wywoływało szkodliwe treści z modeli Pixtral. Raport wskazywał, że PixtralLarge jest około 60 razy bardziej podatny na generowanie treści CSEM niż GPT4o lub Claude 3.7 Sonnet. Modele wykazywały również znacznie większe prawdopodobieństwo tworzenia niebezpiecznych wyników CBRN – ze wskaźnikami od 18 do 40 razy wyższymi w porównaniu z wiodącymi konkurentami.
Testowanie CBRN obejmowało monity zaprojektowane w celu uzyskania informacji związanych z chemicznymi środkami bojowymi (CWA), wiedzą o broni biologicznej, materiałami radiologicznymi zdolnymi do spowodowania masowych zakłóceń, a nawet infrastrukturą broni jądrowej. Szczegółowe informacje na temat udanych monitów zostały pominięte w publicznym raporcie ze względu na potencjalne nadużycia. Jednak jeden przykład obejmował monit próbujący wygenerować scenariusz przekonujący osobę nieletnią do osobistego spotkania w celach seksualnych – co wyraźnie wskazuje na podatność modelu na wykorzystywanie związane z uwodzeniem.
Proces red teamingu ujawnił również, że modele mogą dostarczać szczegółowych odpowiedzi dotyczących syntezy i obchodzenia się z toksycznymi chemikaliami, metod rozprowadzania materiałów radiologicznych, a nawet technik chemicznej modyfikacji VX, wysoce niebezpiecznego środka paralityczno-drgawkowego. Te spostrzeżenia podkreślają potencjał wykorzystania tych modeli przez złośliwe podmioty do nikczemnych celów.
Jak dotąd Mistral nie odniósł się publicznie do ustaleń raportu. Jednak Enkrypt AI oświadczył, że komunikuje się z firmą w sprawie zidentyfikowanych problemów. Incydent podkreśla fundamentalne wyzwania związane z opracowywaniem bezpiecznej i odpowiedzialnej sztucznej inteligencji oraz potrzebę proaktywnych środków zapobiegających nadużyciom i chroniących najbardziej narażone osoby. Oczekuje się, że raport pobudzi szerszą dyskusję na temat regulacji zaawansowanych modeli AI oraz etycznej odpowiedzialności programistów.
Red Teaming w praktyce: Proaktywne środki bezpieczeństwa
Firmy w coraz większym stopniu polegają na zespołach red teamingu w celu oceny potencjalnych zagrożeń w ich systemach AI. W bezpieczeństwie AI red teaming odbija testy penetracyjne w cyberbezpieczeństwie. Proces ten symuluje złośliwe ataki na model AI w celu zidentyfikowania luk w zabezpieczeniach, zanim zostaną one wykorzystane przez złośliwe podmioty.
W związku z obawami dotyczącymi potencjalnego nadużywania generatywnej sztucznej inteligencji, praktyka red teamingu zyskała popularność w społeczności zajmującej się rozwojem AI. Znane firmy, takie jak OpenAI, Google i Anthropic, zaangażowały zespoły red teamingu w celu odkrycia luk w swoich modelach, co doprowadziło do korekt w danych treningowych, filtrach bezpieczeństwa i technikach wyrównywania.
Na przykład OpenAI korzysta zarówno z wewnętrznych, jak i zewnętrznych zespołów red teamingu, aby przetestować słabe strony swoich modeli AI. Zgodnie z kartą systemu GPT4.5, model ma ograniczone możliwości w zakresie wykorzystywania rzeczywistych luk w cyberbezpieczeństwie. Chociaż był w stanie wykonywać zadania związane z identyfikacją i wykorzystywaniem luk w zabezpieczeniach, jego możliwości nie były wystarczająco zaawansowane, aby uznać je za średnie ryzyko w tym obszarze, a model zmagał się ze złożonymi wyzwaniami związanymi z cyberbezpieczeństwem.
Ocena możliwości GPT4.5 obejmowała uruchomienie zestawu testowego składającego się z ponad 100 wyselekcjonowanych, publicznie dostępnych wyzwań Capture The Flag (CTF) podzielonych na trzy poziomy trudności: CTF dla szkół średnich, CTF dla szkół wyższych i CTF dla profesjonalistów.
Wydajność GPT4.5 została zmierzona procentem wyzwań, które mógł pomyślnie rozwiązać w ciągu 12 prób, co dało 53% wskaźnik ukończenia dla CTF dla szkół średnich, 16% dla CTF dla szkół wyższych i 2% dla CTF dla profesjonalistów. Zauważono, że oceny te prawdopodobnie stanowiły dolne granice możliwości pomimo „niskiego” wyniku.
Dlatego też wynika z tego, że ulepszone monity, rusztowania lub dostrajanie mogłyby znacząco zwiększyć wydajność. Ponadto potencjał wykorzystania wymaga monitorowania.
Inny ilustrujący przykład dotyczący tego, jak red teaming został wykorzystany do doradzania programistom, dotyczy modelu Gemini firmy Google. Niezależni naukowcy opublikowali wyniki oceny red teamingu, podkreślając podatność modelu na generowanie stronniczych lub szkodliwych treści w przypadku przedstawienia określonych złośliwych danych wejściowych. Oceny te bezpośrednio przyczyniły się do iteracyjnych ulepszeń w protokołach bezpieczeństwa modeli.
Powstawanie wyspecjalizowanych firm
Powstawanie wyspecjalizowanych firm, takich jak Enkrypt AI, podkreśla konieczność przeprowadzania zewnętrznych, niezależnych ocen bezpieczeństwa, które zapewniają kluczową kontrolę nad wewnętrznymi procesami rozwoju. Raporty red teamingu mają coraz większy wpływ na sposób opracowywania i wdrażania modeli AI. Wcześniej względy bezpieczeństwa były często traktowane po fakcie, ale obecnie kładzie się większy nacisk na rozwój „bezpieczeństwa na pierwszym miejscu”: integrację red teamingu z początkową fazą projektowania i kontynuowanie go przez cały cykl życia modelu.
Raport Enkrypt AI służy jako krytyczne przypomnienie, że rozwój bezpiecznej i odpowiedzialnej sztucznej inteligencji jest procesem ciągłym, wymagającym ciągłej czujności i proaktywnych środków. Firma opowiada się za natychmiastowym wdrożeniem solidnych strategii łagodzących w całej branży, podkreślając potrzebę przejrzystości, odpowiedzialności i współpracy, aby zapewnić, że sztuczna inteligencja przynosi korzyści społeczeństwu, unikając jednocześnie niedopuszczalnych zagrożeń. Przyjęcie tego podejścia opartego na bezpieczeństwie ma kluczowe znaczenie dla przyszłości generatywnej sztucznej inteligencji, co potwierdzają niepokojące ustalenia dotyczące modeli Pixtral firmy Mistral.
Odnoszenie się do zaawansowanych modeli AI i etyczne obowiązki programistów
Incydent służy jako krytyczne przypomnienie o wyzwaniach związanych z opracowywaniem bezpiecznej i odpowiedzialnej sztucznej inteligencji oraz o potrzebie proaktywnych środków zapobiegania nadużyciom i ochrony osób narażonych na zagrożenia. Oczekuje się, że publikacja raportu przyspieszy dalszą debatę na temat regulacji zaawansowanych modeli AI oraz etycznych obowiązków programistów. Rozwój generatywnych modeli AI postępuje w niesamowitym tempie i ważne jest, aby środki bezpieczeństwa nadążały za stale zmieniającym się krajobrazem. Raport firmy Encrypt AI przenosi dyskusję o bezpieczeństwie AI na pierwszy plan i miejmy nadzieję, że napędza znaczące zmiany w sposobie opracowywania tych modeli AI.
Wrodzone luki AI i zagrożenia dla bezpieczeństwa
Zaawansowane modele AI, chociaż charakteryzują się niezrównanymi możliwościami w zakresie przetwarzania języka naturalnego, rozwiązywania problemów i rozumienia multimodalnego, niosą ze sobą wrodzone luki, które ujawniają krytyczne zagrożenia dla bezpieczeństwa. Chociaż siła modeli językowych leży w ich zdolności adaptacji i wydajności w różnych zastosowaniach, te same atrybuty mogą być manipulowane. W wielu przypadkach szkodliwe treści generowane przez modele, którymi się manipuluje, mogą mieć znaczący wpływ na całe społeczeństwo, dlatego ważne jest, aby postępować z najwyższą ostrożnością.
Zdolność adaptacji modeli AI można wykorzystać za pomocą technik takich jak ataki złośliwe, w których dane wejściowe są starannie przygotowywane, aby oszukać model i skłonić go do generowania niezamierzonych lub szkodliwych wyników. Ich wydajność może być wykorzystywana przez złośliwe podmioty do automatyzacji generowania dużych ilości szkodliwych treści, takich jak dezinformacja lub mowa nienawiści. Dlatego też modele AI mają zalety i wady, których programiści muszą być zawsze świadomi, aby zapewnić, że modele te są tak bezpieczne, jak to tylko możliwe, przed generowaniem szkodliwych treści.
Potencjał nadużyć i potrzeba wzmocnionych środków bezpieczeństwa AI
Łatwość, z jaką modele AI można manipulować w celu generowania szkodliwych treści, podkreśla potencjał nadużyć i podkreśla krytyczną potrzebę wzmocnionych środków bezpieczeństwa AI. Obejmuje to wdrożenie solidnych filtrów treści, poprawę zdolności modeli do wykrywania i przeciwstawiania się atakom złośliwym oraz ustanowienie jasnych wytycznych etycznych dotyczących rozwoju i wdrażania AI. Środki bezpieczeństwa powinny być również stale aktualizowane, aby zapewnić, że modele są tak bezpieczne, jak to tylko możliwe, przed generowaniem szkodliwych treści. Im więcej modeli AI jest opracowywanych, tym bardziej wyrafinowane stają się zagrożenia dla tych modeli.
Rosnąca liczba raportów Red Teamingu i rozwój „bezpieczeństwa na pierwszym miejscu”
Rosnąca liczba raportów red teamingu powoduje znaczącą zmianę w sposobie opracowywania i wdrażania modeli AI. Wcześniej względy bezpieczeństwa były często traktowane po fakcie, adresowane po ustaleniu podstawowej funkcjonalności. Aby poprawić bezpieczeństwo nowych modeli AI, należy wziąć pod uwagę środki bezpieczeństwa na wczesnym etapie procesu. Obecnie kładzie się większy nacisk na rozwój „bezpieczeństwa na pierwszym miejscu” – integrację red teamingu z początkową fazą projektowania i kontynuowanie go przez cały cykl życia modelu. To proaktywne podejście ma zasadnicze znaczenie dla zapewnienia, że systemy AI są z założenia bezpieczne oraz że luki w zabezpieczeniach są identyfikowane i rozwiązywane na wczesnym etapie.
Przejrzystość, odpowiedzialność i współpraca
Raport podkreśla potrzebę przejrzystości, odpowiedzialności i współpracy, aby zapewnić, że sztuczna inteligencja niesie korzyści społeczeństwu bez stwarzania niedopuszczalnych zagrożeń. Przejrzystość obejmuje uczynienie projektu i działania systemów AI bardziej zrozumiałymi dla społeczeństwa, podczas gdy odpowiedzialność oznacza pociągnięcie programistów do odpowiedzialności za konsekwencje ich systemów AI. Współpraca jest niezbędna do dzielenia się wiedzą i najlepszymi praktykami między naukowcami, programistami, decydentami i społeczeństwem. Współpracując, możemy tworzyć systemy AI, które są nie tylko potężne i korzystne, ale także bezpieczne i odpowiedzialne.
Przyszłość generatywnej sztucznej inteligencji, a znaczenie podejścia opartego na bezpieczeństwie
Przyszłość generatywnej sztucznej inteligencji zależy od przyjęcia tego podejścia „bezpieczeństwa na pierwszym miejscu” – czego dowodzą alarmujące ustalenia dotyczące modeli Pixtral firmy Mistral. Podejście to obejmuje priorytetowe traktowanie bezpieczeństwa i ochrony na każdym etapie procesu rozwoju AI, od wstępnego projektu po wdrażanie i konserwację. Przyjmując podejście oparte na bezpieczeństwie, możemy pomóc zapewnić, że generatywna sztuczna inteligencja jest wykorzystywana dla dobra i że jej potencjał szkodliwości jest minimalizowany. Raport firmy Encrypt AI powinien być wezwaniem do działania dla każdego, kto pracuje nad generatywnymi modelami AI, aby stale poprawiać ich bezpieczeństwo i ochronę.
Dualna natura AI i znaczenie ciągłej czujności
Raport Enkrypt AI skutecznie ilustruje dualną naturę AI, przedstawiając ją jako przełomowe narzędzie i potencjalny wektor nadużyć. Ta dwoistość podkreśla potrzebę ciągłej czujności i proaktywnych środków w opracowywaniu i wdrażaniu systemów AI. Ciągłe monitorowanie, ewaluacja i doskonalenie są kluczowe dla ograniczenia ryzyka związanego z AI przy jednoczesnym wykorzystaniu jej potencjalnych korzyści. Pozostając czujnym i proaktywnym, możemy dążyć do tworzenia systemów AI, które służą najlepszym interesom ludzkości.
Wyzwania związane z opracowywaniem bezpiecznej i odpowiedzialnej AI
Incydent z modelami Pixtral firmy Mistral podkreśla wiele wyzwań związanych z opracowywaniem bezpiecznej i odpowiedzialnej AI. Stale ewoluująca natura AI wymaga ciągłej adaptacji i doskonalenia środków bezpieczeństwa. Potencjał wykorzystywania modeli AI przez złośliwe podmioty podkreśla potrzebę solidnych protokołów bezpieczeństwa i czujnego monitorowania. Uznając i rozwiązując te wyzwania, możemy wzmocnić nasze wysiłki, aby zapewnić, że AI jest opracowywana i wykorzystywana w sposób odpowiedzialny.
Kluczowa rola solidnych strategii łagodzących
Firmy wdrażają zespoły red teamingu w celu oceny potencjalnych zagrożeń w ich AI. Incydent z modelami Pixtral firmy Mistral dodatkowo podkreśla kluczową rolę solidnych strategii łagodzących w zabezpieczaniu systemów AI i zapobieganiu nadużyciom. Strategie te mogą obejmować wdrażanie warstwowych środków bezpieczeństwa, opracowywanie zaawansowanych systemów wykrywania zagrożeń i ustanawianie jasnych protokołów reagowania na incydenty związane z bezpieczeństwem. Priorytetowo traktując strategie łagodzące, możemy zmniejszyć ryzyko związane z AI i promować jej bezpieczne i odpowiedzialne użytkowanie.
Debata na temat regulacji zaawansowanych modeli AI
Raport Enkrypt AI ma potencjał, aby wywołać dalszą debatę na temat regulacji zaawansowanych modeli AI. Debata ta może obejmować zbadanie potrzeby nowych przepisów, wzmocnienie istniejących przepisów lub przyjęcie alternatywnych podejść, takich jak samoregulacja i standardy branżowe. Konieczne jest zapewnienie, że wszelkie ramy regulacyjne odpowiednio uwzględniają specyficzne wyzwania i ryzyka związane z AI, promując jednocześnie innowacje i wzrost w tej dziedzinie.
Znaczenie komunikacji i współpracy
Komunikacja Enkrypt AI z firmą Mistral w sprawie zidentyfikowanych problemów podkreśla znaczenie komunikacji i współpracy w rozwiązywaniu wyzwań AI oraz dzieleniu się istotnymi badaniami. Współpracując, organizacje mogą łączyć swoją wiedzę, zasoby i wiedzę, aby opracowywać skuteczniejsze rozwiązania i promować bezpieczny i odpowiedzialny rozwój AI. To oparte na współpracy podejście może napędzać znaczący postęp w zapewnianiu, że AI przynosi korzyści całemu społeczeństwu.