מירוץ ההקשר הגדול של AI: האם גדול יותר טוב יותר?

מרוץ ההקשר הגדול של AI: האם גדול יותר באמת טוב יותר עבור מודלי שפה גדולים?

המרדף אחר מודלים שפה גדולים (LLMs) גדולים יותר ויותר, הדוחפים מעבר לסימן מיליון האסימונים, עורר דיון סוער בקהילת הבינה המלאכותית. מודלים עם יכולות אסימונים עצומות, כמו 4 מיליון האסימונים של MiniMax-Text-01 ויכולתו של Gemini 1.5 Pro לטפל ב-2 מיליון אסימונים בו זמנית, עושים גלים. מודלים אלה מבטיחים יישומים מהפכניים, עם פוטנציאל לנתח בסיסי קוד נרחבים, מסמכים משפטיים מורכבים ועבודות מחקר מעמיקות במעבר בודד.

הגורם המכריע בדיון זה הוא אורך ההקשר - כמות הטקסט שמודל AI יכול לעבד ולשמר בכל זמן נתון. חלון הקשר מורחב יותר מאפשר למודל ML לנהל מידע רב יותר באופן משמעותי בבקשה בודדת, ומפחית את הצורך לפרק מסמכים או לפצל שיחות. כדי להכניס את זה לפרופורציה, מודל עם קיבולת של 4 מיליון אסימונים יכול היה תיאורטית לעכל כ-10,000 עמודים של ספרים בבת אחת.

תיאורטית, הקשר מורחב זה אמור להוביל להבנה משופרת ולהנמקה מתוחכמת יותר. עם זאת, השאלה המכרעת נותרה: האם חלונות הקשר המאסיביים האלה מתורגמים לערך עסקי מוחשי?

כאשר עסקים מעריכים את העלויות של הגדלת התשתית שלהם מול הרווחים הפוטנציאליים בפרודוקטיביות ובדיוק, השאלה הבסיסית היא האם אנחנו באמת פותחים רמות חדשות של הנמקת AI או פשוט דוחפים את גבולות זיכרון האסימונים מבלי להשיג התקדמות משמעותית. מאמר זה מתעמק בפשרות הטכניות והכלכליות, בקשיי ההשוואה ובתהליכי העבודה הארגוניים המתפתחים המעצבים את עתיד ה-LLMs בעלי ההקשר הגדול.

מרוץ החימוש של אורך ההקשר: מדוע חברות AI מתחרות

ארגוני AI מובילים, כולל OpenAI, Google DeepMind ו-MiniMax, עוסקים בתחרות עזה להגדלת אורך ההקשר, אשר מתואם ישירות לכמות הטקסט שמודל AI יכול לעבד במקרה בודד. ההבטחה היא שאורך הקשר גדול יותר יאפשר הבנה מעמיקה יותר, יפחית הזיות (המצאות) וייצור אינטראקציות חלקות יותר.

עבור ארגונים, זה מתורגם ל-AI שיכול לנתח חוזים שלמים, לאתר באגים בבסיסי קוד גדולים או לסכם דוחות ארוכים מבלי לאבד הקשר. הציפייה היא שעל ידי ביטול פתרונות עוקפים כמו חלוקה או יצירה מוגברת של אחזור (RAG), תהליכי עבודה של AI יכולים להפוך לחלקים ויעילים יותר.

בעיית ‘מחט בערימת שחת’: מציאת מידע קריטי

בעיית ‘מחט בערימת שחת’ מדגישה את הקושי שאיתו מתמודד AI בזיהוי מידע קריטי (ה’מחט’) החבוי בתוך מערכי נתונים עצומים (ה’ערימת שחת’). LLMs מתקשים לעתים קרובות לזהות פרטי מפתח, מה שמוביל לחוסר יעילות בתחומים מגוונים:

• חיפוש ואחזור ידע: עוזרי AI מתקשים לעתים קרובות לחלץ את העובדות הרלוונטיות ביותר ממאגרי מסמכים נרחבים.

• משפט וציות: עורכי דין צריכים לעקוב אחר תלות סעיפים בתוך חוזים ארוכים.

• ניתוח ארגוני: אנליסטים פיננסיים מסתכנים בהתעלמות מתובנות מכריעות הקבורות בדוחות מורכבים.

חלונות הקשר גדולים יותר עוזרים למודלים לשמור על יותר מידע, מה שמפחית הזיות, משפר את הדיוק ומאפשר:

• בדיקות תאימות בין מסמכים: בקשה בודדת של 256K אסימונים יכולה להשוות מדריך מדיניות שלם מול חקיקה חדשה.

• סינתזת ספרות רפואית: חוקרים יכולים להשתמש בחלונות של 128K+ אסימונים כדי להשוות תוצאות ניסויים בתרופות על פני עשרות שנים של מחקרים.

• פיתוח תוכנה: איתור באגים משתפר כאשר AI יכול לסרוק מיליוני שורות קוד מבלי לאבד תלות.

• מחקר פיננסי: אנליסטים יכולים לנתח דוחות רווחים מלאים ונתוני שוק בשאילתה בודדת.

• תמיכת לקוחות: צ’אטבוטים עם זיכרון ארוך יותר יכולים לספק אינטראקציות מודעות הקשר יותר.

הגדלת חלון ההקשר גם עוזרת למודל להתייחס טוב יותר לפרטים רלוונטיים, ומפחיתה את הסבירות ליצירת מידע שגוי או מומצא. מחקר של סטנפורד משנת 2024 מצא שמודלים של 128K אסימונים הפחיתו את שיעורי ההזיות ב-18% בהשוואה למערכות RAG בעת ניתוח הסכמי מיזוג.

למרות היתרונות הפוטנציאליים האלה, מאמצים מוקדמים דיווחו על אתגרים. מחקר של JPMorgan Chase הדגים שמודלים מתפקדים בצורה גרועה בכ-75% מההקשר שלהם, כאשר הביצועים במשימות פיננסיות מורכבות קורסים לכמעט אפס מעבר ל-32K אסימונים. מודלים עדיין מתקשים בזיכרון לטווח ארוך, ולעתים קרובות נותנים עדיפות לנתונים עדכניים על פני תובנות עמוקות יותר.

זה מעלה שאלות קריטיות: האם חלון של 4 מיליון אסימונים משפר באמת את ההנמקה, או שזה פשוט הרחבה יקרה של הזיכרון? כמה מהקלט העצום הזה המודל באמת מנצל? והאם היתרונות עולים על העלויות החישוביות הגדלות?

RAG לעומת הנחיות גדולות: הפשרות הכלכליות

יצירה מוגברת של אחזור (RAG) משלבת את היכולות של LLMs עם מערכת אחזור שמביאה מידע רלוונטי ממקורות חיצוניים כמו מסדי נתונים או מאגרי מסמכים. זה מאפשר למודל ליצור תגובות המבוססות הן על הידע הקיים שלו והן על הנתונים שאוחזרו באופן דינמי.

כאשר חברות משלבות AI למשימות מורכבות, הן מתמודדות עם החלטה בסיסית: האם עליהן להשתמש בהנחיות מסיביות עם חלונות הקשר גדולים, או שעליהן להסתמך על RAG כדי לאחזר מידע רלוונטי בזמן אמת?

• הנחיות גדולות: מודלים עם חלונות אסימונים גדולים מעבדים הכל במעבר בודד, ומפחיתים את הצורך בתחזוקת מערכות אחזור חיצוניות ובלכידת תובנות בין מסמכים. עם זאת, גישה זו יקרה מבחינה חישובית, מה שמוביל לעלויות הסקה גבוהות יותר ולדרישות זיכרון מוגברות.

• RAG: במקום לעבד את המסמך כולו בבת אחת, RAG מאחזר רק את החלקים הרלוונטיים ביותר לפני יצירת תגובה. זה מפחית באופן משמעותי את השימוש באסימונים ובעלויות, מה שהופך אותו ליותר ניתן להרחבה עבור יישומים בעולם האמיתי.

עלויות הסקה: אחזור רב-שלבי לעומת הנחיות בודדות גדולות

בעוד שהנחיות גדולות מייעלות את תהליכי העבודה, הן דורשות יותר כוח GPU וזיכרון, מה שהופך אותן ליקרות ליישום בקנה מידה גדול. גישות מבוססות RAG, למרות הצורך במספר שלבי אחזור, מפחיתות לעתים קרובות את צריכת האסימונים הכוללת, מה שמוביל לעלויות הסקה נמוכות יותר מבלי לוותר על הדיוק.

עבור רוב הארגונים, הגישה האידיאלית תלויה במקרה השימוש הספציפי:

• צריך ניתוח מעמיק של מסמכים? מודלים הקשר גדולים עשויים להיות הבחירה הטובה יותר.
• צריך AI ניתן להרחבה וחסכוני עבור שאילתות דינמיות? RAG הוא כנראה הבחירה החכמה יותר.

חלון הקשר גדול בעל ערך במיוחד כאשר:

• יש לנתח את הטקסט המלא בבת אחת, כגון בסקירות חוזים או ביקורות קוד.
• מזעור שגיאות אחזור הוא קריטי, למשל, בתאימות רגולטורית.
• חביון הוא פחות דאגה מדיוק, כמו במחקר אסטרטגי.

על פי מחקר של גוגל, מודלים לחיזוי מניות המשתמשים בחלונות של 128K אסימונים המנתחים 10 שנים של תמלילי רווחים עלו על RAG ב-29%. לעומת זאת, בדיקות פנימיות ב-GitHub Copilot הראו שהשלמת משימות הייתה מהירה פי 2.3 באמצעות הנחיות גדולות לעומת RAG עבור העברות monorepo.

מגבלות של מודלים הקשר גדולים: חביון, עלויות ושימושיות

בעוד שמודלים הקשר גדולים מציעים יכולות מרשימות, יש גבול לכמה הקשר נוסף הוא באמת מועיל. ככל שחלונות ההקשר מתרחבים, נכנסים לתמונה שלושה גורמי מפתח:

• חביון: ככל שמודל מעבד יותר אסימונים, כך ההסקה איטית יותר. חלונות הקשר גדולים יותר יכולים להוביל לעיכובים משמעותיים, במיוחד כאשר נדרשות תגובות בזמן אמת.

• עלויות: עלויות חישוביות גדלות עם כל אסימון נוסף שעובד. הגדלת התשתית כדי להתמודד עם המודלים הגדולים יותר האלה יכולה להיות יקרה מדי, במיוחד עבור ארגונים עם עומסי עבודה בנפח גבוה.

• שימושיות: ככל שההקשר גדל, היכולת של המודל ‘להתמקד’ ביעילות במידע הרלוונטי ביותר פוחתת. זה יכול להוביל לעיבוד לא יעיל, כאשר נתונים פחות רלוונטיים משפיעים על ביצועי המודל, מה שמביא לתשואות פוחתות הן עבור דיוק והן עבור יעילות.

טכניקת Infini-attention של גוגל מנסה להקל על הפשרות האלה על ידי אחסון ייצוגים דחוסים של הקשר באורך שרירותי עם זיכרון חסום. עם זאת, דחיסה מובילה בהכרח לאובדן מידע, ומודלים מתקשים לאזן בין מידע מיידי והיסטורי, מה שמוביל לירידות בביצועים ולעלויות מוגברות בהשוואה ל-RAG מסורתי.

בעוד שמודלים של 4M אסימונים מרשימים, ארגונים צריכים לראות בהם כלים מיוחדים ולא פתרונות אוניברסליים. העתיד טמון במערכות היברידיות שבוחרות באופן אדפטיבי בין RAG להנחיות גדולות בהתבסס על דרישות המשימה הספציפיות.

ארגונים צריכים לבחור בין מודלים הקשר גדולים ל-RAG בהתבסס על מורכבות ההנמקה, שיקולי עלות ודרישות חביון. חלונות הקשר גדולים אידיאליים למשימות הדורשות הבנה מעמיקה, בעוד ש-RAG חסכוני ויעיל יותר עבור משימות עובדתיות פשוטות יותר. כדי לנהל עלויות ביעילות, ארגונים צריכים להגדיר מגבלות עלות ברורות, כגון 0.50 דולר למשימה, מכיוון שמודלים גדולים יכולים להפוך ליקרים במהירות. בנוסף, הנחיות גדולות מתאימות יותר למשימות לא מקוונות, בעוד שמערכות RAG מצטיינות ביישומי זמן אמת הדורשים תגובות מהירות.

חידושים מתפתחים כמו GraphRAG יכולים לשפר עוד יותר את המערכות האדפטיביות האלה על ידי שילוב גרפי ידע עם שיטות אחזור וקטוריות מסורתיות. שילוב זה משפר את הלכידה של קשרים מורכבים, מה שמוביל להנמקה ניואנסית משופרת ודיוק תשובות בעד 35% בהשוואה לגישות וקטוריות בלבד. יישומים אחרונים של חברות כמו Lettria הדגימו שיפורים דרמטיים בדיוק, ועלו מ-50% עם RAG מסורתי ליותר מ-80% באמצעות GraphRAG בתוך מערכות אחזור היברידיות.

כפי שמזהיר בצדק יורי קוראטוב, “הרחבת ההקשר מבלי לשפר את ההנמקה היא כמו בניית כבישים מהירים רחבים יותר עבור מכוניות שלא יכולות לנווט”. העתיד האמיתי של AI טמון במודלים שמבינים באמת קשרים על פני כל גודל הקשר, לא רק מודלים שיכולים לעבד כמויות עצומות של נתונים. זה עניין של אינטליגנציה, לא רק זיכרון.