חקירה שנערכה לאחרונה על ידי Enkrypt AI חשפה ליקויי בטיחות משמעותיים במודלים של בינה מלאכותית הזמינים לציבור, אשר פותחו על ידי Mistral AI. המחקר חשף כי מודלים אלו מייצרים תוכן מזיק, לרבות חומרים הנוגעים להתעללות מינית בילדים (CSAM) והוראות לייצור נשק כימי, בשיעורים גבוהים משמעותית מאלו של מתחריהם.
ממצאים מטרידים מחקירת Enkrypt AI
הניתוח של Enkrypt AI התמקד בשניים ממודלי הראייה-שפה של Mistral, ספציפית Pixtral-Large 25.02 ו-Pixtral-12B. מודלים אלה נגישים בקלות באמצעות פלטפורמות פופולריות כגון AWS Bedrock והממשק של Mistral עצמה, דבר המעלה חששות לגבי פוטנציאל לשימוש לרעה נרחב. החוקרים העמידו מודלים אלה למבחני תקיפה קפדניים, שתוכננו בקפידה כדי לשכפל את הטקטיקות שבהן משתמשים שחקנים זדוניים בתרחישים אמיתיים.
תוצאות הבדיקות הללו היו מדאיגות. מודלי Pixtral הציגו נטייה מוגברת במידה ניכרת לייצר CSAM, בשיעור גבוה פי 60 מזה של מערכות מתחרות. יתר על כן, נמצא כי הם נוטים עד פי 40 יותר לייצר מידע מסוכן הקשור לחומרים כימיים, ביולוגיים, רדיולוגיים וגרעיניים (CBRN). מתחרים אלה כללו מודלים בולטים כמו GPT-4o של OpenAI ו-Claude 3.7 Sonnet של Anthropic. באופן בולט, שני שלישים מההנחיות המזיקות ששימשו במחקר הצליחו להפיק תוכן לא בטוח ממודלי Mistral, מה שמדגיש את חומרת נקודות התורפה.
ההשלכות האמיתיות של כשלים בבטיחות בינה מלאכותית
לדברי החוקרים, נקודות תורפה אלה אינן רק חששות תיאורטיים. סאהיל אגרבל, מנכ”ל Enkrypt AI, הדגיש את הפוטנציאל לנזק משמעותי, במיוחד לאוכלוסיות פגיעות, אם “גישה של בטיחות קודמת לכל” לא תועדף בפיתוח ופריסה של בינה מלאכותית רב-אופנית.
בתגובה לממצאים, דובר AWS אישר כי בטיחות ואבטחה של בינה מלאכותית הם “עקרונות ליבה” עבור החברה. הם הצהירו על מחויבות לשתף פעולה עם ספקי מודלים וחוקרי אבטחה כדי לצמצם סיכונים וליישם אמצעי הגנה חזקים המגנים על משתמשים תוך טיפוח חדשנות. נכון למועד פרסום הדוח, Mistral לא סיפקה תגובה על הממצאים, ו-Enkrypt AI דיווחה כי צוות ההנהלה של Mistral סירב להגיב.
מתודולוגיית בדיקות חזקה של Enkrypt AI
המתודולוגיה של Enkrypt AI מתוארת כ”מעוגנת במסגרת הניתנת לשחזור, מבוססת מדעית”. המסגרת משלבת תשומות מבוססות תמונה - כולל וריאציות טיפוגרפיות וסטנוגרפיות - עם הנחיות בהשראת מקרי שימוש לרעה בפועל, לדברי אגרבל. המטרה הייתה לדמות את התנאים שבהם משתמשים זדוניים, לרבות קבוצות בחסות המדינה ואנשים הפועלים בפורומים מחתרתיים, עלולים לנסות לנצל מודלים אלה.
החקירה שילבה התקפות מבוססות שכבת תמונה, כגון רעש מוסתר וטריגרים סטנוגרפיים, שנחקרו בעבר. עם זאת, הדוח הדגיש את האפקטיביות של התקפות טיפוגרפיות, כאשר טקסט מזיק מוטבע באופן גלוי בתוך תמונה. אגרבל ציין כי “כל אחד עם עורך תמונות בסיסי וגישה לאינטרנט יכול לבצע את סוגי ההתקפות שהדגמנו”. המודלים הגיבו לעתים קרובות לטקסט המוטבע חזותית כאילו היה קלט ישיר, ובכך עקפו ביעילות מסנני בטיחות קיימים.
פרטים על בדיקות התקיפה
מערך הנתונים של Enkrypt כלל 500 הנחיות שתוכננו במיוחד כדי למקד לתרחישי CSAM, יחד עם 200 הנחיות שנועדו לבדוק נקודות תורפה של CBRN. לאחר מכן, הנחיות אלה הומרו לצמדי תמונה-טקסט כדי להעריך את עמידות המודלים בתנאים רב-אופניים. בדיקות CSAM כללו מגוון קטגוריות, כולל מעשים מיניים, סחיטה וטיפוח. בכל מקרה, מעריכים אנושיים סקרו את תגובות המודלים כדי לזהות ציות משתמע, שפה רומזת או כל כישלון להתנתק מהתוכן המזיק.
בדיקות CBRN בחנו את הסינתזה והטיפול בחומרי רעל כימיים, יצירת ידע על נשק ביולוגי, איומים רדיולוגיים והפצה גרעינית. במספר מקרים, המודלים סיפקו תגובות מפורטות ביותר הכוללות חומרים ושיטות ברמת נשק. דוגמה מדאיגה במיוחד שצוטטה בדוח תיארה שיטה לשינוי כימי של סוכן העצבים VX כדי להגדיל את העמידות הסביבתית שלו, והדגימה סכנה ברורה ומיידית.
היעדר יישור חזק: נקודת תורפה מרכזית
אגרבל ייחס את נקודות התורפה בעיקר לחוסר ביישור חזק, במיוחד בכוונון בטיחות לאחר אימון. Enkrypt AI בחרה את מודלי Pixtral למחקר זה בשל הפופולריות הגוברת שלהם והנגישות הנרחבת שלהם באמצעות פלטפורמות ציבוריות. הוא הצהיר כי “מודלים הנגישים לציבור מהווים סיכונים רחבים יותר אם הם נותרים ללא בדיקה, וזו הסיבה שאנו נותנים להם עדיפות לניתוח מוקדם”.
ממצאי הדוח מצביעים על כך שמסנני תוכן רב-אופניים נוכחיים לרוב אינם מצליחים לזהות התקפות אלה עקב היעדר מודעות הקשר. אגרבל טען כי מערכות בטיחות יעילות חייבות להיות “מודעות הקשר”, המסוגלות להבין לא רק אותות ברמת פני השטח אלא גם את הלוגיקה העסקית ואת הגבולות התפעוליים של הפריסה שהן מגנות עליה.
השלכות רחבות יותר וקריאה לפעולה
ההשלכות של ממצאים אלה חורגות מעבר לדיונים טכניים. Enkrypt הדגישה כי ליכולת להטביע הוראות מזיקות בתוך תמונות תמימות לכאורה יש השלכות מוחשיות על אחריות תאגידית, בטיחות הציבור והגנה על ילדים. הדוח קרא ליישום מיידי של אסטרטגיות הפחתה, לרבות הכשרת בטיחות מודלים, אמצעי הגנה מודעים הקשר וגילוי סיכונים שקוף. אגרבל אפיין את המחקר כ”קריאת השכמה”, וקבע כי בינה מלאכותית רב-אופנית מבטיחה “יתרונות מדהימים, אך היא גם מרחיבה את משטח התקיפה בדרכים בלתי צפויות”.
התמודדות עם הסיכונים של בינה מלאכותית רב-אופנית
הדוח של Enkrypt AI מדגיש נקודות תורפה קריטיות בפרוטוקולי בטיחות בינה מלאכותית נוכחיים, במיוחד בכל הנוגע למודלים רב-אופניים כמו אלה שפותחו על ידי Mistral AI. מודלים אלה, שיכולים לעבד הן תשומות תמונה והן תשומות טקסט, מציגים אתגרים חדשים עבור מסנני בטיחות ומערכות ניטור תוכן. היכולת להטביע הוראות מזיקות בתוך תמונות, תוך עקיפת מסננים מסורתיים מבוססי טקסט, יוצרת סיכון משמעותי להפצת מידע מסוכן, לרבות CSAM והוראות ליצירת נשק כימי.
הצורך באמצעי בטיחות משופרים
הדוח מדגיש את הצורך הדחוף באמצעי בטיחות משופרים בפיתוח ובפריסה של מודלים של בינה מלאכותית. אמצעים אלה צריכים לכלול:
אימון יישור חזק: מודלים של בינה מלאכותית צריכים לעבור אימון יישור קפדני כדי להבטיח שהם מיושרים עם ערכים אנושיים ועקרונות אתיים. אימון זה צריך להתמקד במניעת יצירת תוכן מזיק ובקידום שימוש אחראי בטכנולוגיה.
אמצעי הגנה מודעי הקשר: מערכות בטיחות צריכות להיות מודעות הקשר, כלומר הן צריכות להיות מסוגלות להבין את ההקשר שבו משתמשים במודלים של בינה מלאכותית ולהתאים את תגובותיהן בהתאם. זה דורש פיתוח אלגוריתמים מתוחכמים שיכולים לנתח את המשמעות והכוונה מאחורי תשומות משתמשים, במקום להסתמך רק על אותות ברמת פני השטח.
גילוי סיכונים שקוף: מפתחים צריכים להיות שקופים לגבי הסיכונים הקשורים למודלים של הבינה המלאכותית שלהם ולספק הנחיות ברורות כיצד להפחית סיכונים אלה. זה כולל גילוי המגבלות של מסנני בטיחות ומערכות ניטור תוכן, כמו גם מתן כלים למשתמשים לדווח על תוכן מזיק.
מעקב והערכה מתמשכים: יש לעקוב ולהעריך מודלים של בינה מלאכותית באופן רציף כדי לזהות ולטפל בנקודות תורפה בטיחותיות פוטנציאליות. זה דורש מחקר ופיתוח מתמשכים כדי להקדים איומים מתעוררים ולהתאים אמצעי בטיחות בהתאם.
תפקיד שיתוף הפעולה
התמודדות עם הסיכונים של בינה מלאכותית רב-אופנית דורשת שיתוף פעולה בין מפתחי בינה מלאכותית, חוקרי אבטחה, קובעי מדיניות ובעלי עניין אחרים. על ידי עבודה משותפת, קבוצות אלה יכולות לפתח אסטרטגיות יעילות להפחתת הסיכונים של בינה מלאכותית ולהבטיח שהטכנולוגיה הזו תשמש לטובת החברה.
הדרך קדימה
הדוח של Enkrypt AI משמש תזכורת חריפה לסכנות האפשריות שלפיתוח בינה מלאכותית בלתי מבוקר. על ידי נקיטת צעדים יזומים לטיפול בפגיעות הבטיחות שזוהו בדוח, נוכל להבטיח שבינה מלאכותית רב-אופנית תפותח ותופץ באחריות, תוך מזעור הסיכונים לנזק ומקסום היתרונות הפוטנציאליים. עתיד הבינה המלאכותית תלוי ביכולתנו לתת עדיפות לבטיחות ואתיקה בכל שלב בתהליך הפיתוח. רק אז נוכל לפתוח את הפוטנציאל הטרנספורמטיבי של בינה מלאכותית תוך הגנה על החברה מפני הנזקים הפוטנציאליים שלה.