הבנת התופעה
בדיקות פנימיות של OpenAI, כפי שמפורטות במאמר שפורסם לאחרונה, מדגישות עלייה משמעותית בשיעורי ההזיות במודלים כמו o3 ו- o4-mini. מודלים אלה, שתוכננו עם יכולות חשיבה מתקדמות ורב-מודאליות, מייצגים את החוד החנית של טכנולוגיית הבינה המלאכותית. הם יכולים ליצור תמונות, לבצע חיפושי אינטרנט, להפוך משימות לאוטומטיות, לזכור שיחות קודמות ולפתור בעיות מורכבות. עם זאת, נראה כי התקדמות אלה באות במחיר.
כדי לכמת את היקף ההזיות הללו, OpenAI משתמשת במבחן ספציפי בשם PersonQA. מבחן זה כולל הזנת המודל במערך של עובדות על אנשים שונים ולאחר מכן הצגת שאלות על אותם אנשים. דיוק המודל מוערך לאחר מכן על סמך יכולתו לספק תשובות נכונות.
בהערכות קודמות, מודל o1 השיג שיעור דיוק ראוי לשבח של 47% עם שיעור הזיות של 16% בלבד. עם זאת, כאשר o3 ו- o4-mini נבדקו באותה הערכה, התוצאות היו שונות באופן ניכר.
מודל o4-mini, בהיותו גרסה קטנה יותר עם פחות ידע עולם, צפוי להציג שיעור הזיות גבוה יותר. עם זאת, השיעור בפועל של 48% היה גבוה באופן מפתיע, בהתחשב בכך ש- o4-mini הוא מוצר מסחרי זמין בשימוש נרחב לחיפושי אינטרנט ואחזור מידע.
גם מודל ה- o3 בגודל מלא הדגים נטייה מדאיגה להזות. ב- 33% מהתגובות שלו, המודל בדה מידע, והכפיל למעשה את שיעור ההזיות של מודל o1. למרות זאת, o3 השיג גם שיעור דיוק גבוה, אשר OpenAI מייחסת לנכונותו להעלות טענות רבות יותר באופן כללי.
הגדרת הזיות
המונח ‘הזיה’, בהקשר של בינה מלאכותית, מתייחס לנטייה של מודל ליצור תגובות שאינן נכונות עובדתית או חסרות משמעות ללא כל מקור או הצדקה גלויים. אלה אינן טעויות פשוטות הנובעות מנתונים שגויים או מפירוש שגוי. במקום זאת, הזיות מייצגות פגם מהותי יותר בתהליך הנימוק של המודל.
בעוד שמידע לא מדויק יכול בהחלט לנבוע ממקורות שונים, כגון ערכי ויקיפדיה או שרשורי Reddit, מקרים אלה דומים יותר לטעויות ניתנות למעקב שניתן לייחס לנקודות נתונים ספציפיות. הזיות, לעומת זאת, מאופיינות על ידי המצאת עובדות על ידי מודל הבינה המלאכותית ברגעי אי ודאות, תופעה שחלק מהמומחים כינו ‘מילוי פערים יצירתי’.
כדי להמחיש נקודה זו, שקול את השאלה, ‘אילו שבעה דגמי iPhone 16 זמינים כעת?’ מכיוון שרק אפל יודעת מה יהיה האייפון הבא, סביר להניח שה- LLM יספק כמה תשובות אמיתיות - ולאחר מכן ימציא דגמים נוספים כדי לסיים את העבודה. זוהי דוגמה ברורה להזיה, שבה המודל בודה מידע כדי להשלים את המשימה, או מה שמכונה ‘מילוי פערים יצירתי’.
תפקיד נתוני האימון
צ’אטבוטים כמו ChatGPT מאומנים על כמויות עצומות של נתוני אינטרנט. נתונים אלה מיידעים את תוכן התגובות שלהם אך גם מעצבים את אופן התגובה שלהם. המודלים נחשפים לאינספור דוגמאות של שאילתות ותגובות אידיאליות תואמות, אשר מחזקות גוונים, גישות ורמות ספציפיות של נימוס.
תהליך אימון זה עלול לתרום שלא במתכוון לבעיית ההזיות. המודלים מעודדים לספק תגובות בטוחות הפונות ישירות לשאלה. זה יכול להוביל אותם לתת עדיפות לענות על השאלה, גם אם הם צריכים להמציא מידע לשם כך, במקום להודות שהם לא יודעים את התשובה.
למעשה, תהליך האימון עשוי לתגמל שלא במתכוון תגובות בטוחות ונראות בעלות ידע, גם אם הן אינן נכונות עובדתית. זה יכול ליצור הטיה לקראת יצירת תשובות, ללא קשר לדיוק שלהן, אשר יכול להחמיר את בעיית ההזיות.
טבען של טעויות בינה מלאכותית
מפתה לערוך הקבלות בין טעויות בינה מלאכותית לטעויות אנוש. אחרי הכל, בני אדם אינם חסינים מפני טעויות, ואנחנו לא צריכים לצפות שבינה מלאכותית תהיה מושלמת גם כן. עם זאת, חיוני להכיר בכך שטעויות בינה מלאכותית נובעות מתהליכים שונים באופן מהותי מטעויות אנוש.
מודלי בינה מלאכותית לא משקרים, מפתחים אי הבנות או משכחים מידע באותו אופן שבני אדם עושים. חסרות להם היכולות הקוגניטיביות והמודעות ההקשרית העומדות בבסיס הנימוק האנושי. במקום זאת, הם פועלים על סמך הסתברויות, חוזים את המילה הבאה במשפט על סמך דפוסים שנצפו בנתוני האימון שלהם.
גישה הסתברותית זו פירושה שלמודלי בינה מלאכותית אין הבנה אמיתית של דיוק או אי דיוק. הם פשוט מייצרים את רצף המילים הסביר ביותר על סמך הקשרים הסטטיסטיים שלמדו מנתוני האימון שלהם. זה יכול להוביל ליצירת תגובות שנראות לכאורה עקביות שהן, למעשה, לא נכונות עובדתית.
בעוד שהמודלים מוזנים במידע בשווי אינטרנט שלם, לא אומרים להם איזה מידע טוב או רע, מדויק או לא מדויק - לא אומרים להם שום דבר. אין להם ידע בסיסי קיים או מערך של עקרונות בסיסיים שיעזרו להם למיין את המידע בעצמם. הכל רק משחק מספרים - דפוסי המילים הקיימים בתדירות הגבוהה ביותר בהקשר נתון הופכים ל’אמת’ של ה- LLM.
התמודדות עם האתגר
שיעור ההזיות הגובר במודלי בינה מלאכותית מתקדמים מציב אתגר משמעותי. OpenAI ומפתחי בינה מלאכותית אחרים פועלים באופן פעיל להבין ולמתן בעיה זו. עם זאת, הסיבות הבסיסיות להזיות אינן מובנות במלואן, ומציאת פתרונות יעילים נותרה מאמץ מתמשך.
גישה פוטנציאלית אחת היא לשפר את האיכות והמגוון של נתוני האימון. על ידי חשיפת המודלים למידע מדויק ומקיף יותר, מפתחים יכולים להפחית את הסבירות שהם ילמדו וינציחו מידע שגוי.
גישה נוספת היא לפתח טכניקות מתוחכמות יותר לגילוי ומניעת הזיות. זה יכול לכלול אימון המודלים לזהות מתי הם אינם בטוחים לגבי פיסת מידע מסוימת ולהימנע מלהעלות טענות ללא ראיות מספיקות.
בינתיים, ייתכן ש- OpenAI תצטרך לבחור בפתרון לטווח קצר וגם להמשיך במחקרה לגבי שורש הבעיה. אחרי הכל, המודלים האלה הם מוצרים מניבי כסף והם צריכים להיות במצב שמיש. רעיון אחד יהיה ליצור איזשהו מוצר מצטבר - ממשק צ’אט שיש לו גישה למודלי OpenAI שונים מרובים.
כאשר שאילתה דורשת נימוק מתקדם, היא תזמין את GPT-4o, וכאשר היא רוצה למזער את הסיכוי להזיות, היא תזמין מודל ישן יותר כמו o1. אולי החברה תוכל להיות אפילו מפוארת יותר ולהשתמש במודלים שונים כדי לטפל באלמנטים שונים של שאילתה אחת, ולאחר מכן להשתמש במודל נוסף כדי לתפור הכל יחד בסוף. מכיוון שזה יהיה למעשה עבודת צוות בין מודלי בינה מלאכותית מרובים, אולי ניתן יהיה ליישם גם סוג כלשהו של מערכת בדיקת עובדות.
העלאת שיעורי הדיוק אינה המטרה העיקרית. המטרה העיקרית היא להוריד את שיעורי ההזיות, מה שאומר שאנחנו צריכים להעריך תגובות שאומרות ‘אני לא יודע’ כמו גם תגובות עם התשובות הנכונות.
החשיבות של בדיקת עובדות
השכיחות הגוברת של הזיות במודלי בינה מלאכותית מדגישה את החשיבות של בדיקת עובדות. בעוד שמודלים אלה יכולים להיות כלים חשובים לאחזור מידע ואוטומציה של משימות, אין להתייחס אליהם כמקורות אמת חסינים מטעויות.
משתמשים צריכים תמיד לנקוט משנה זהירות כאשר הם מפרשים את התפוקה של מודלי בינה מלאכותית ועליהם לאמת באופן עצמאי כל מידע שהם מקבלים. זה חשוב במיוחד כאשר עוסקים בעניינים רגישים או משמעותיים.
על ידי אימוץ גישה ביקורתית וספקנית לתוכן שנוצר על ידי בינה מלאכותית, אנו יכולים למתן את הסיכונים הקשורים להזיות ולהבטיח שאנו מקבלים החלטות מושכלות על סמך מידע מדויק. אם אתם חובבים גדולים של LLM, אין צורך להפסיק להשתמש בהם - אבל אל תתנו לרצון לחסוך זמן לנצח את הצורך לבדוק את התוצאות. בדקו תמיד עובדות!
השלכות על עתיד הבינה המלאכותית
לאתגר ההזיות יש השלכות משמעותיות על עתיד הבינה המלאכותית. ככל שמודלי בינה מלאכותית משתלבים יותר בחיינו, חיוני שהם יהיו אמינים ומהימנים. אם מודלי בינה מלאכותית נוטים ליצור מידע כוזב או מטעה, זה עלול לכרסם באמון הציבור ולעכב את אימוצם הנרחב.
טיפול בבעיית ההזיות הוא לא רק חיוני לשיפור הדיוק של מודלי בינה מלאכותית אלא גם להבטחת השימוש האתי והאחראי בהם. על ידי פיתוח מערכות בינה מלאכותית שנוטות פחות להזיות, נוכל לרתום את הפוטנציאל שלהן לטובה תוך צמצום הסיכונים של מידע מוטעה והונאה.