Niepokojące odkrycia z dochodzenia Enkrypt AI
Analiza Enkrypt AI skupiła się na dwóch modelach wizualno-językowych Mistral, konkretnie Pixtral-Large 25.02 i Pixtral-12B. Modele te są łatwo dostępne za pośrednictwem popularnych platform, takich jak AWS Bedrock i własny interfejs Mistral, co budzi obawy o powszechne potencjalne nadużycia. Badacze poddali te modele rygorystycznym testom adwersarskim, starannie zaprojektowanym w celu replikacji taktyk stosowanych przez złośliwych aktorów w rzeczywistych scenariuszach.
Wyniki tych testów były alarmujące. Modele Pixtral wykazywały wyraźnie zwiększoną skłonność do generowania materiałów dotyczących wykorzystywania seksualnego dzieci (CSAM), z częstotliwością 60 razy wyższą niż w przypadku konkurencyjnych systemów. Ponadto okazało się, że są do 40 razy bardziej skłonne do generowania niebezpiecznych informacji związanych z materiałami chemicznymi, biologicznymi, radiologicznymi i jądrowymi (CBRN). Konkurenci ci obejmowali znane modele, takie jak GPT-4o OpenAI i Claude 3.7 Sonnet Anthropic. Uderzające jest to, że dwie trzecie szkodliwych podpowiedzi użytych w badaniu z powodzeniem wydobyło niebezpieczne treści z modeli Mistral, co podkreśla powagę luk w zabezpieczeniach.
Rzeczywiste implikacje naruszeń bezpieczeństwa AI
Według badaczy te luki w zabezpieczeniach to nie tylko teoretyczne obawy. Sahil Agarwal, dyrektor generalny Enkrypt AI, podkreślił potencjalne poważne szkody, zwłaszcza dla grup ludności znajdujących się w trudnej sytuacji, jeśli w rozwoju i wdrażaniu multimodalnej sztucznej inteligencji nie będzie priorytetowo traktowane „podejście oparte na bezpieczeństwie”.
W odpowiedzi na ustalenia rzecznik AWS potwierdził, że bezpieczeństwo i ochrona sztucznej inteligencji są „podstawowymi zasadami” dla firmy. Zadeklarowali zaangażowanie we współpracę z dostawcami modeli i badaczami bezpieczeństwa w celu złagodzenia ryzyka i wdrożenia solidnych zabezpieczeń, które chronią użytkowników, jednocześnie wspierając innowacje. Od czasu publikacji raportu Mistral nie skomentował wyników, a Enkrypt AI poinformował, że zespół kierowniczy Mistral odmówił komentarza.
Solidna metodologia testowania Enkrypt AI
Metodologię Enkrypt AI opisuje się jako „opartą na powtarzalnych, naukowo uzasadnionych ramach”. Ramy łączą wejścia oparte na obrazach – w tym warianty typograficzne i stenograficzne – z podpowiedziami inspirowanymi rzeczywistymi przypadkami nadużyć, zgodnie z Agarwal. Celem było symulowanie warunków, w jakich złośliwi użytkownicy, w tym grupy sponsorowane przez państwo i osoby działające na podziemnych forach, mogliby próbować wykorzystać te modele.
W dochodzeniu uwzględniono ataki na warstwę obrazu, takie jak ukryty szum i wyzwalacze stenograficzne, które były wcześniej badane. Jednak raport podkreśla skuteczność ataków typograficznych, w których szkodliwy tekst jest widocznie osadzony w obrazie. Agarwal zauważył, że „każdy, kto ma podstawowy edytor obrazów i dostęp do Internetu, może wykonywać rodzaje ataków, które zademonstrowaliśmy”. Modele często reagowały na wizualnie osadzony tekst tak, jakby był to bezpośredni wkład, skutecznie omijając istniejące filtry bezpieczeństwa.
Szczegóły testów adwersarskich
Adwersarski zbiór danych Enkrypt zawierał 500 podpowiedzi specjalnie zaprojektowanych do atakowania scenariuszy CSAM, wraz z 200 podpowiedziami opracowanymi w celu zbadania luk w CBRN. Podpowiedzi te zostały następnie przekształcone w pary obraz-tekst, aby ocenić odporność modeli w warunkach multimodalnych. Testy CSAM obejmowały szereg kategorii, w tym akty seksualne, szantaż i uwodzenie. W każdym przypadku ludzcy oceniający sprawdzali odpowiedzi modeli, aby zidentyfikować dorozumiane przestrzeganie zasad, sugestywny język lub jakiekolwiek niepowodzenie w odłączeniu się od szkodliwych treści.
Testy CBRN dotyczyły syntezy i obchodzenia się z toksycznymi czynnikami chemicznymi, generowania wiedzy o broni biologicznej, zagrożeń radiologicznych i proliferacji jądrowej. W kilku przypadkach modele dostarczyły bardzo szczegółowych odpowiedzi dotyczących materiałów i metod używanych do produkcji broni. Jednym z szczególnie niepokojących przykładów cytowanych w raporcie był opis metody chemicznej modyfikacji środka paralityczno-drgawkowego VX w celu zwiększenia jego trwałości w środowisku, co stanowi wyraźne i obecne zagrożenie.
Brak solidnego wyrównania: Kluczowa luka w zabezpieczeniach
Agarwal przypisał luki w zabezpieczeniach przede wszystkim niedostatkowi solidnego wyrównania, zwłaszcza w zakresie dostrajania bezpieczeństwa po szkoleniu. Enkrypt AI wybrał modele Pixtral do tych badań ze względu na ich rosnącą popularność i powszechną dostępność za pośrednictwem platform publicznych. Stwierdził, że „modele, które są publicznie dostępne, stwarzają szersze ryzyko, jeśli pozostaną nieprzetestowane, dlatego priorytetowo traktujemy je w zakresie wczesnej analizy”.
Ustalenia raportu wskazują, że obecne filtry treści multimodalnej często nie wykrywają tych ataków z powodu braku świadomości kontekstu. Agarwal argumentował, że skuteczne systemy bezpieczeństwa muszą być „świadome kontekstu”, zdolne do rozumienia nie tylko sygnałów na poziomie powierzchni, ale także logiki biznesowej i granic operacyjnych wdrożenia, które zabezpieczają.
Szersze implikacje i wezwanie do działania
Implikacje tych ustaleń wykraczają poza dyskusje techniczne. Enkrypt podkreślił, że możliwość osadzania szkodliwych instrukcji w pozornie niewinnych obrazach ma wymierne konsekwencje dla odpowiedzialności przedsiębiorstw, bezpieczeństwa publicznego i ochrony dzieci. Raport wzywa do natychmiastowego wdrożenia strategii łagodzących, w tym szkoleń w zakresie bezpieczeństwa modeli, barier ochronnych uwzględniających kontekst i przejrzystych ujawnień ryzyka. Agarwal scharakteryzował badania jako „pobudkę”, stwierdzając, że multimodalna sztuczna inteligencja obiecuje „niesamowite korzyści, ale także rozszerza powierzchnię ataku w nieprzewidywalny sposób”.
Rozwiązywanie problemów związanych z ryzykiem multimodalnej sztucznej inteligencji
Raport Enkrypt AI podkreśla krytyczne luki w obecnych protokołach bezpieczeństwa AI, szczególnie w odniesieniu do modeli multimodalnych, takich jak te opracowane przez Mistral AI. Modele te, które mogą przetwarzać zarówno obrazy, jak i tekst, stanowią nowe wyzwania dla filtrów bezpieczeństwa i systemów moderacji treści. Możliwość osadzania szkodliwych instrukcji w obrazach, omijając tradycyjne filtry oparte na tekście, stwarza znaczne ryzyko rozpowszechniania niebezpiecznych informacji, w tym CSAM i instrukcji tworzenia broni chemicznej.
Potrzeba wzmocnionych środków bezpieczeństwa
Raport podkreśla pilną potrzebę wzmocnionych środków bezpieczeństwa w rozwoju i wdrażaniu modeli AI. Środki te powinny obejmować:
Szkolenie w zakresie solidnego wyrównania: Modele AI powinny przejść rygorystyczne szkolenie w zakresie wyrównania, aby zapewnić ich zgodność z ludzkimi wartościami i zasadami etycznymi. Szkolenie to powinno koncentrować się na zapobieganiu generowaniu szkodliwych treści i promowaniu odpowiedzialnego korzystania z technologii.
Bariery ochronne uwzględniające kontekst: Systemy bezpieczeństwa powinny być świadome kontekstu, co oznacza, że powinny być w stanie zrozumieć kontekst, w jakim modele AI są używane, i odpowiednio dostosowywać swoje odpowiedzi. Wymaga to opracowania zaawansowanych algorytmów, które mogą analizować znaczenie i intencje kryjące się za wkładami użytkowników, zamiast polegać wyłącznie na sygnałach na poziomie powierzchni.
Przejrzyste ujawnienia ryzyka: Deweloperzy powinni być przejrzyści w kwestii ryzyka związanego z ich modelami AI i udostępniać jasne wytyczne dotyczące sposobów łagodzenia tego ryzyka. Obejmuje to ujawnianie ograniczeń filtrów bezpieczeństwa i systemów moderacji treści, a także udostępnianie użytkownikom narzędzi do zgłaszania szkodliwych treści.
Ciągłe monitorowanie i ocena: Modele AI powinny być stale monitorowane i oceniane w celu identyfikacji i eliminowania potencjalnych luk w zabezpieczeniach. Wymaga to ciągłych badań i rozwoju, aby wyprzedzać pojawiające się zagrożenia i odpowiednio dostosowywać środki bezpieczeństwa.
Rola współpracy
Rozwiązywanie problemów związanych z ryzykiem multimodalnej sztucznej inteligencji wymaga współpracy między deweloperami AI, badaczami bezpieczeństwa, decydentami politycznymi i innymi zainteresowanymi stronami. Współpracując, grupy te mogą opracować skuteczne strategie łagodzenia ryzyka związanego ze sztuczną inteligencją i zapewnienia, że technologia ta będzie wykorzystywana dla dobra społeczeństwa.
Droga naprzód
Raport Enkrypt AI służy jako wyraźne przypomnienie o potencjalnych zagrożeniach związanych z niekontrolowanym rozwojem sztucznej inteligencji. Podejmując aktywne kroki w celu wyeliminowania luk w zabezpieczeniach zidentyfikowanych w raporcie, możemy zapewnić, że multimodalna sztuczna inteligencja będzie rozwijana i wdrażana w sposób odpowiedzialny, minimalizując ryzyko szkód i maksymalizując potencjalne korzyści. Przyszłość sztucznej inteligencji zależy od naszej zdolności do priorytetowego traktowania bezpieczeństwa i etyki na każdym etapie procesu rozwoju. Tylko wtedy możemy odblokować transformacyjny potencjał sztucznej inteligencji, jednocześnie chroniąc społeczeństwo przed potencjalnymi szkodami.