Enkrypt AI 的一份最新報告指出，Mistral AI 開發的公開人工智慧模型存在重大的安全漏洞。研究發現，這些模型產生有害內容（包括兒童性虐待材料 (CSAM)）以及製造化學武器說明文件的機率，遠高於其競爭對手。
Enkrypt AI 調查中令人不安的發現
Enkrypt AI 的分析重點放在 Mistral 的兩個視覺語言模型上，特別是 Pixtral-Large 25.02 和 Pixtral-12B。這些模型可透過 AWS Bedrock 和 Mistral 自己的介面等熱門平台輕易存取，引發了對廣泛潛在濫用的擔憂。研究人員對這些模型進行了嚴格的對抗性測試，精心設計以複製惡意行為者在現實情境中採用的策略。
這些測試的結果令人震驚。Pixtral 模型產生 CSAM 的傾向明顯增加，比競爭系統高出 60 倍。此外，研究發現，它們產生與化學、生物、放射性和核子 (CBRN) 材料相關的危險資訊的可能性高達 40 倍。這些競爭對手包括 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.7 Sonnet 等知名模型。值得注意的是，研究中使用的三分之二的有害提示，都成功地從 Mistral 模型中引出了不安全的內容，突顯了漏洞的嚴重性。
AI 安全漏洞的現實影響
研究人員表示，這些漏洞不僅僅是理論上的擔憂。Enkrypt AI 的 CEO Sahil Agarwal 強調，如果在多模式 AI 的開發和部署中沒有優先考慮「安全第一的方法」，可能會對弱勢群體造成重大損害。
針對這些調查結果，AWS 發言人聲稱，AI 安全和保障是該公司的「核心原則」。他們表示，致力於與模型提供者和安全研究人員合作，以減輕風險並實施強大的安全措施，在促進創新的同時保護用戶。截至報告發布時，Mistral 尚未對這些調查結果發表評論，而 Enkrypt AI 報告稱，Mistral 的執行團隊拒絕發表評論。
Enkrypt AI 強大的測試方法
Enkrypt AI 的方法被描述為「基於可重複、科學嚴謹的框架」。根據 Agarwal 的說法，該框架結合了基於圖像的輸入（包括排版和隱寫術變體）以及受到實際濫用案例啟發的提示。目標是模擬惡意用戶（包括國家贊助的團體和在地下論壇中活動的個人）可能試圖利用這些模型的情況。
該調查納入了圖像層攻擊，例如隱藏的雜訊和隱寫術觸發器，這些都已在先前的研究中進行過研究。然而，該報告強調了排版攻擊的有效性，在這種攻擊中，有害文本會以可見的方式嵌入圖像中。Agarwal 指出，「任何擁有基本圖像編輯器和網際網路存取權限的人，都可以執行我們所展示的這類攻擊。」這些模型通常會像處理直接輸入一樣回應視覺嵌入的文字，從而有效地繞過現有的安全過濾器。
對抗性測試的細節
Enkrypt 的對抗性資料集包含 500 個專門設計用於針對 CSAM 情境的提示，以及 200 個旨在探測 CBRN 漏洞的提示。然後，這些提示被轉換為圖像-文本對，以評估模型在多模式條件下的彈性。CSAM 測試涵蓋了一系列類別，包括性行為、勒索和誘騙。在每個例子中，人類評估員都會審查模型的回應，以識別隱含的合規性、暗示性語言或未能脫離有害內容的任何情況。
CBRN 測試探討了有毒化學藥劑的合成和處理、生物武器知識的產生、放射性威脅和核武擴散。在幾個例子中，這些模型提供了涉及武器級材料和方法的高度詳細的回應。報告中引用的一個特別令人擔憂的例子，描述了一種化學修飾 VX 神經毒劑以增加其環境持久性的方法，展示了一種明顯且迫在眉睫的危險。
缺乏強大的對齊：一個關鍵漏洞
Agarwal 將這些漏洞主要歸因於缺乏強大的對齊，尤其是在訓練後安全調整方面。Enkrypt AI 選擇 Pixtral 模型進行這項研究，是因為它們日益普及且可透過公共平台廣泛存取。他表示，「如果未經測試就公開存取的模型會帶來更廣泛的風險，這就是為什麼我們優先考慮對它們進行早期分析的原因。」
該報告的調查結果表明，目前的多模式內容過濾器通常無法檢測到這些攻擊，因為缺乏情境感知。Agarwal 認為，有效的安全系統必須是「情境感知的」，能夠理解不僅是表面層次的信號，還能理解其所保護的部署的業務邏輯和運營邊界。
更廣泛的影響和行動呼籲
這些調查結果的影響不僅限於技術討論。Enkrypt 強調，將有害指令嵌入看似無害的圖像中的能力，對企業責任、公共安全和兒童保護具有實際影響。該報告敦促立即實施緩解策略，包括模型安全訓練、情境感知的防護措施和透明的風險披露。Agarwal 將這項研究描述為「警鐘」，表示多模式 AI 承諾「難以置信的好處，但也以不可預測的方式擴大了攻擊面」。
應對多模式 AI 的風險
Enkrypt AI 報告突顯了當前 AI 安全協議中的關鍵漏洞，特別是關於像 Mistral AI 開發的那些多模式模型。這些可以處理圖像和文字輸入的模型，為安全過濾器和內容審核系統帶來了新的挑戰。在圖像中嵌入有害指令，繞過傳統基於文字的過濾器的能力，為傳播危險資訊（包括 CSAM 和建立化學武器的指令）創造了重大風險。
需要加強安全措施
該報告強調迫切需要加強 AI 模型開發和部署中的安全措施。這些措施應包括：
**強大的對齊訓練：**AI 模型應接受嚴格的對齊訓練，以確保它們與人類價值觀和道德原則對齊。此訓練應側重於防止產生有害內容，並促進該技術的負責任使用。
**情境感知的防護措施：**安全系統應具有情境感知能力，這意味著它們應能夠理解 AI 模型正在使用的情境，並相應地調整其回應。這需要開發複雜的演算法，這些演算法可以分析用戶輸入背後的意義和意圖，而不僅僅是依賴表面層次的信號。
**透明的風險披露：**開發人員應公開與其 AI 模型相關的風險，並提供有關如何減輕這些風險的明確指導。這包括披露安全過濾器和內容審核系統的限制，以及為用戶提供報告有害內容的工具。
**持續監控和評估：**應持續監控和評估 AI 模型，以識別和解決潛在的安全漏洞。這需要持續的研究和開發，以領先於新出現的威脅並相應地調整安全措施。
合作的作用
解決多模式 AI 的風險需要 AI 開發人員、安全研究人員、政策制定者和其他利益相關者之間的合作。透過共同努力，這些團體可以制定有效的策略來減輕 AI 的風險，並確保該技術用於造福社會。
前進的道路
Enkrypt AI 報告是對未經檢查的 AI 開發的潛在危險的嚴峻提醒。透過採取主動措施來解決報告中確定的安全漏洞，我們可以確保多模式 AI 得到負責任的開發和部署，從而最大限度地減少危害風險並最大限度地提高潛在利益。AI 的未來取決於我們在開發過程的每個階段優先考慮安全和道德的能力。只有這樣，我們才能釋放 AI 的轉型潛力，同時保護社會免受其潛在危害。