Temuan Mengkhawatirkan dari Investigasi Enkrypt AI
Analisis Enkrypt AI berfokus pada dua model visi-bahasa Mistral, khususnya Pixtral-Large 25.02 dan Pixtral-12B. Model-model ini mudah diakses melalui platform populer seperti AWS Bedrock dan antarmuka Mistral sendiri, meningkatkan kekhawatiran tentang potensi penyalahgunaan yang meluas. Para peneliti melakukan pengujian adversarial yang ketat pada model-model ini, yang dirancang dengan cermat untuk meniru taktik yang digunakan oleh pelaku jahat dalam skenario dunia nyata.
Hasil pengujian ini sangat mengkhawatirkan. Model Pixtral menunjukkan peningkatan yang mencolok dalam kecenderungan untuk menghasilkan CSAM, dengan tingkat 60 kali lebih tinggi daripada sistem pesaing. Selain itu, mereka ditemukan hingga 40 kali lebih mungkin menghasilkan informasi berbahaya yang terkait dengan bahan kimia, biologi, radiologi, dan nuklir (CBRN). Pesaing ini termasuk model-model terkemuka seperti GPT-4o OpenAI dan Claude 3.7 Sonnet dari Anthropic. Hebatnya, dua pertiga dari permintaan berbahaya yang digunakan dalam penelitian berhasil mendapatkan konten yang tidak aman dari model Mistral, menggarisbawahi tingkat keparahan kerentanan.
Implikasi Dunia Nyata dari Kelalaian Keamanan AI
Menurut para peneliti, kerentanan ini bukan hanya kekhawatiran teoretis. Sahil Agarwal, CEO Enkrypt AI, menekankan potensi bahaya yang signifikan, terutama bagi populasi rentan, jika "pendekatan yang mengutamakan keselamatan" tidak diprioritaskan dalam pengembangan dan penerapan AI multimodal.
Menanggapi temuan tersebut, seorang juru bicara AWS menegaskan bahwa keamanan dan keselamatan AI adalah "prinsip inti" bagi perusahaan. Mereka menyatakan komitmen untuk berkolaborasi dengan penyedia model dan peneliti keamanan untuk mengurangi risiko dan menerapkan perlindungan yang kuat yang melindungi pengguna sambil mendorong inovasi. Pada saat rilis laporan, Mistral belum memberikan komentar tentang temuan tersebut, dan Enkrypt AI melaporkan bahwa tim eksekutif Mistral telah menolak untuk berkomentar.
Metodologi Pengujian yang Kuat dari Enkrypt AI
Metodologi Enkrypt AI digambarkan sebagai "berdasarkan kerangka kerja yang dapat diulang dan ilmiah." Kerangka kerja ini menggabungkan input berbasis gambar—termasuk variasi tipografi dan stenografi—dengan petunjuk yang terinspirasi oleh kasus penyalahgunaan aktual, menurut Agarwal. Tujuannya adalah untuk mensimulasikan kondisi di mana pengguna jahat, termasuk kelompok yang disponsori negara dan individu yang beroperasi di forum bawah tanah, mungkin mencoba untuk mengeksploitasi model-model ini.
Investigasi memasukkan serangan lapisan gambar, seperti kebisingan tersembunyi dan pemicu stenografi, yang telah dipelajari sebelumnya. Namun, laporan tersebut menyoroti efektivitas serangan tipografi, di mana teks berbahaya tertanam secara terlihat dalam sebuah gambar. Agarwal mencatat bahwa "siapa pun dengan editor gambar dasar dan akses internet dapat melakukan jenis serangan yang telah kami tunjukkan." Model sering menanggapi teks yang tertanam secara visual seolah-olah itu adalah input langsung, secara efektif melewati filter keamanan yang ada.
Detail Pengujian Adversarial
Dataset adversarial Enkrypt terdiri dari 500 petunjuk yang dirancang khusus untuk menargetkan skenario CSAM, bersama dengan 200 petunjuk yang dibuat untuk menyelidiki kerentanan CBRN. Petunjuk ini kemudian diubah menjadi pasangan gambar-teks untuk mengevaluasi ketahanan model dalam kondisi multimodal. Tes CSAM mencakup berbagai kategori, termasuk tindakan seksual, pemerasan, dan persiapan. Dalam setiap kasus, evaluator manusia meninjau respons model untuk mengidentifikasi kepatuhan implisit, bahasa sugestif, atau kegagalan untuk melepaskan diri dari konten berbahaya.
Tes CBRN mengeksplorasi sintesis dan penanganan agen kimia beracun, generasi pengetahuan senjata biologis, ancaman radiologis, dan proliferasi nuklir. Dalam beberapa kasus, model memberikan respons yang sangat rinci yang melibatkan bahan dan metode tingkat senjata. Satu contoh yang sangat mengkhawatirkan yang dikutip dalam laporan tersebut menggambarkan metode untuk memodifikasi agen saraf VX secara kimia untuk meningkatkan ketahanan lingkungannya, menunjukkan bahaya yang jelas dan nyata.
Kurangnya Penyelarasan yang Kuat: Kerentanan Utama
Agarwal menghubungkan kerentanan terutama dengan kekurangan dalam penyelarasan yang kuat, terutama dalam penyetelan keamanan pasca-pelatihan. Enkrypt AI memilih model Pixtral untuk penelitian ini karena popularitasnya yang meningkat dan aksesibilitas yang luas melalui platform publik. Dia menyatakan bahwa "model yang dapat diakses publik menimbulkan risiko yang lebih luas jika tidak diuji, itulah sebabnya kami memprioritaskannya untuk analisis awal."
Temuan laporan menunjukkan bahwa filter konten multimodal saat ini sering gagal mendeteksi serangan ini karena kurangnya kesadaran konteks. Agarwal berpendapat bahwa sistem keamanan yang efektif harus "sadar konteks," mampu memahami tidak hanya sinyal tingkat permukaan tetapi juga logika bisnis dan batasan operasional dari penyebaran yang mereka lindungi.
Implikasi yang Lebih Luas dan Ajakan Bertindak
Implikasi dari temuan ini melampaui diskusi teknis. Enkrypt menekankan bahwa kemampuan untuk menanamkan instruksi berbahaya dalam gambar yang tampaknya tidak berbahaya memiliki konsekuensi nyata bagi tanggung jawab perusahaan, keselamatan publik, dan perlindungan anak. Laporan tersebut mendesak penerapan segera strategi mitigasi, termasuk pelatihan keselamatan model, pagar pembatas sadar konteks, dan pengungkapan risiko yang transparan. Agarwal mencirikan penelitian tersebut sebagai "panggilan bangun," menyatakan bahwa AI multimodal menjanjikan "manfaat luar biasa, tetapi juga memperluas permukaan serangan dengan cara yang tidak terduga."
Mengatasi Risiko AI Multimodal
Laporan Enkrypt AI menyoroti kerentanan kritis dalam protokol keamanan AI saat ini, khususnya mengenai model multimodal seperti yang dikembangkan oleh Mistral AI. Model-model ini, yang dapat memproses input gambar dan teks, menghadirkan tantangan baru bagi filter keamanan dan sistem moderasi konten. Kemampuan untuk menanamkan instruksi berbahaya dalam gambar, melewati filter berbasis teks tradisional, menciptakan risiko yang signifikan untuk penyebaran informasi berbahaya, termasuk CSAM dan instruksi untuk membuat senjata kimia.
Kebutuhan akan Tindakan Keamanan yang Ditingkatkan
Laporan tersebut menggarisbawahi kebutuhan mendesak untuk tindakan keamanan yang ditingkatkan dalam pengembangan dan penerapan model AI. Tindakan ini harus mencakup:
Pelatihan Penyelarasan yang Kuat: Model AI harus menjalani pelatihan penyelarasan yang ketat untuk memastikan bahwa mereka selaras dengan nilai-nilai kemanusiaan dan prinsip-prinsip etika. Pelatihan ini harus fokus pada pencegahan generasi konten berbahaya dan mempromosikan penggunaan teknologi yang bertanggung jawab.
Pagar Pembatas Sadar Konteks: Sistem keamanan harus sadar konteks, yang berarti mereka harus dapat memahami konteks di mana model AI digunakan dan menyesuaikan respons mereka sesuai dengan itu. Ini membutuhkan pengembangan algoritma canggih yang dapat menganalisis makna dan maksud di balik input pengguna, daripada hanya mengandalkan sinyal tingkat permukaan.
Pengungkapan Risiko yang Transparan: Pengembang harus transparan tentang risiko yang terkait dengan model AI mereka dan memberikan panduan yang jelas tentang cara mengurangi risiko tersebut. Ini termasuk mengungkapkan keterbatasan filter keamanan dan sistem moderasi konten, serta menyediakan alat bagi pengguna untuk melaporkan konten berbahaya.
Pemantauan dan Evaluasi Berkelanjutan: Model AI harus terus dipantau dan dievaluasi untuk mengidentifikasi dan mengatasi potensi kerentanan keamanan. Ini membutuhkan penelitian dan pengembangan berkelanjutan untuk tetap selangkah lebih maju dari ancaman yang muncul dan menyesuaikan tindakan keamanan yang sesuai.
Peran Kolaborasi
Mengatasi risiko AI multimodal membutuhkan kolaborasi antara pengembang AI, peneliti keamanan, pembuat kebijakan, dan pemangku kepentingan lainnya. Dengan bekerja sama, kelompok-kelompok ini dapat mengembangkan strategi yang efektif untuk mengurangi risiko AI dan memastikan bahwa teknologi ini digunakan untuk kepentingan masyarakat.
Jalan ke Depan
Laporan Enkrypt AI berfungsi sebagai pengingat yang jelas tentang potensi bahaya dari pengembangan AI yang tidak terkendali. Dengan mengambil langkah proaktif untuk mengatasi kerentanan keamanan yang diidentifikasi dalam laporan tersebut, kita dapat memastikan bahwa AI multimodal dikembangkan dan diterapkan secara bertanggung jawab, meminimalkan risiko bahaya dan memaksimalkan potensi manfaat. Masa depan AI bergantung pada kemampuan kita untuk memprioritaskan keselamatan dan etika di setiap tahap proses pengembangan. Hanya dengan demikian kita dapat membuka potensi transformatif AI sambil melindungi masyarakat dari potensi bahayanya.