מטא הרחיבה לאחרונה את ארסנל הבינה המלאכותית שלה עם מודלי Llama "מרובי מודלים", בעוד OpenAI שוקלת שחרור קוד פתוח של מודל LLM. השקת Behemoth של מטא מתעכבת.
מטא מרחיבה את ארסנל הבינה המלאכותית שלה עם מודלי Llama "מרובי מודלים"
מטא חשפה לאחרונה את האיטרציות האחרונות של מודל הבינה המלאכותית (AI) שלה, Llama, וסימנה צעד משמעותי קדימה במחויבות המתמשכת של החברה לחדשנות בתחום הבינה המלאכותית. בין ההצעות החדשות נמצאים Llama 4 Scout ו-Llama 4 Maverick, אשר מטא כינתה "מודלים מרובי מודלים", תוך הדגשת יכולתם לעבד ולקיים אינטראקציה עם צורות מדיה שונות מעבר לטקסט בלבד.
בנוסף, מטא הקניטה את Llama 4 Behemoth, הממוצב כאחד ממודלי ה-LLM האינטליגנטיים ביותר בעולם ומיועד לשמש מורה למודלים החדשים ששוחררו.
הודעה זו מדגישה את ההשקעות המשמעותיות של מטא בבינה מלאכותית במהלך השנתיים האחרונות. המנכ"ל מארק צוקרברג הצהיר בפומבי על כוונתו להקצות עד 65 מיליארד דולר בשנת 2025 כדי לשפר עוד יותר את יכולות הבינה המלאכותית של החברה. השאיפות של מטא חורגות מתחום המדיה החברתית שלה, ובוחנות מנויים פרימיום פוטנציאליים עבור עוזר הבינה המלאכותית שלה, Meta AI, לטיפול במשימות כגון הזמנת הזמנות ויצירת סרטונים.
המאמץ של OpenAI בקוד פתוח
בהתפתחויות מקבילות, OpenAI שוקלת לפי הדיווחים לשחרר גרסת קוד פתוח של ה-LLM שלה, סטייה מהפרקטיקות האחרונות שלה. מהלך זה יעניק למשתמשים את החופש להשתמש, לשנות ולהפיץ את המודל מבלי לשלם דמי רישוי. OpenAI מבקשת קלט קהילתי ממפתחים, חוקרים והציבור הרחב כדי לייעל את תועלת המודל.
המודל בקוד פתוח צפוי לצאת תוך מספר חודשים. הפעם האחרונה ש-OpenAI אימצה עקרונות קוד פתוח הייתה בשנת 2019 עם ה-LLM GPT-2. ה-LLM האחרון שלה הוא GPT-4.5. OpenAI עברה למודלים קנייניים לאחר שהבטיחה השקעה של מיליארד דולר ממיקרוסופט, ויצרה ברית הדוקה לקידום פיתוח מודלי AI. מיקרוסופט השקיעה מאז למעלה מ-13 מיליארד דולר ב-OpenAI, כאשר המודלים של OpenAI הם בלעדיים ללקוחות שירותי הענן Azure של מיקרוסופט.
Llama של מטא, LLM של Mistral ו-DeepSeek הם חלק ממודלי הקוד הפתוח שצברו פופולריות לאחרונה. צוקרברג הזכיר ב-Threads שה-Llama הורד מיליארד פעמים. Llama הושק בשנת 2023.
מודל הבינה המלאכותית "Behemoth" של מטא מתמודד עם עיכובים
עם זאת, מטא מעכבת לפי הדיווחים את שחרורו של "Behemoth", שאמור היה במקור להיות מושק בקיץ, כאשר השחרור האפשרי המוקדם ביותר צפוי כעת בסתיו. מקורות מצביעים על כך שההתקדמות של המודל לא הייתה "משמעותית" מספיק כדי להצדיק שחרור ביוני, וזה מייצג עיכוב מאז ועידת המפתחים של מטא.
העיכוב מטיל צל על השחרור של מטא של משפחת הדגל של מודלים גדולים של שפה Llama. ה-Wall Street Journal אומר שהם זכו לשבחים על מהירות השחרור שלהם. ל-Llama היה תפקיד מרכזי בהעצמת מפתחים בתוך חברות קטנות יותר, ארגוני ללא מטרות רווח ומוסדות אקדמיים. זהו תחליף למודלים הסגורים והקנייניים המוצעים על ידי חברות כמו OpenAI, Google ואמזון.
ההשפעה של העיכוב של Behemoth על חברות גדולות יותר פחות בולטת, מכיוון שהן מסתמכות לעתים קרובות על מודלים קנייניים מבוססי ענן. למרות שחברות קטנות יותר יכולות להתאים אישית את מודלי Llama בקוד פתוח, הן דורשות שירותי פריסה נוספים שמטא לא מציעה. השימוש של מטא ב-Llama מכוון לשיפור כלי המדיה החברתית שלה, ומאפשר לצוקרברג לשמור על שליטה במסלול הבינה המלאכותית שלה.
גורם משמעותי מאחורי העיכוב טמון בשאלה האם המודל מדגים שיפורים משמעותיים מספיק כדי להצדיק השקה פומבית.
הכרח החדשנות
בעולם המהיר של תעשיית הטכנולוגיה, מהדורות חדשות חייבות להציג התקדמות מוחשית כדי להצדיק את הצגתן. ב-LlamaCon, מטא הציגה שני מודלים קטנים יותר של Llama 4, שלכל אחד מהם יכולות מרשימות:
- Maverick מתגאה ב-400 מיליארד פרמטרים בסך הכל וחלון הקשר של מיליון אסימונים (750,000 מילים).
- Scout כולל 109 מיליארד פרמטרים וחלון הקשר של 10 מיליון אסימונים (7.5 מיליון מילים).
Behemoth תוכנן בתחילה לצאת בו זמנית, תוך שילוב של 2 טריליון פרמטרים.
לדברי ה-Wall Street Journal, מטא הופכת לחסרת סבלנות לצוות Llama 4 שלה בגלל השקעות הבינה המלאכותית המתמשכות שלה. בשנת 2024, החברה הקצתה עד 72 מיליארד דולר בהוצאות הון, המופנות בעיקר לפיתוח בינה מלאכותית.
חששות גוברים
צוקרברג ובכירים אחרים טרם הכריזו על תאריך שחרור סופי עבור Behemoth. גורמים פנימיים חוששים שהביצועים שלו לא יעמדו בציפיות שנקבעו על ידי ההצהרות הפומביות של מטא.
מקורות מצביעים על חוסר שביעות רצון גוברת בקרב הנהלת מטא מההתקדמות שנעשתה על ידי הצוות המפתח את מודלי Llama 4. זה הוביל לדיונים על שינויי הנהגה אפשריים בתוך קבוצת מוצרי הבינה המלאכותית שלה.
מטא שיבחה את Behemoth כמערכת בעלת יכולות גבוהות, העולה על מתחרות כמו OpenAI, Google ו-Anthropic בנקודות ציון ספציפיות. אתגרים פנימיים פגעו ביעילות שלו, כנטען על ידי מי שמכיר את הפיתוח שלו.
OpenAI נתקלה גם היא בעיכובים. המודל העיקרי הבא שלהם, GPT-5, תוכנן במקור לצאת באמצע 2024. ה-Wall Street Journal דיווח בדצמבר שהפיתוח פיגר בלוח הזמנים.
בפברואר, מנכ"ל OpenAI, סם אלטמן, אמר שמודל הביניים יהיה GPT-4.5, בעוד ש-GPT-5 נשאר רחוק חודשים.
סיבות אפשריות לעצירת ההתקדמות
מספר גורמים עשויים לתרום להאטה בפיתוח מודלי AI, כולל:
נתונים באיכות גבוהה הולכים ופוחתים
מודלי שפה גדולים דורשים כמויות עצומות של נתונים לאימון, המשקפים את המרחב העצום של האינטרנט. הם עלולים למצות מקורות נתונים זמינים לציבור תוך התמודדות עם התחייבויות משפטיות הקשורות לזכויות יוצרים.
זה הוביל את OpenAI, Google ומיקרוסופט לתמוך בשמירה על זכותן להתאמן על חומר מוגן בזכויות יוצרים.
OpenAI הזכירה שהממשלה יכולה להבטיח את חירותם של האמריקאים ללמוד מבינה מלאכותית, ולהימנע מאובדן ההובלה בבינה מלאכותית ל-PRC [הרפובליקה העממית של סין] על ידי שמירה על היכולת של מודלי הבינה המלאכותית האמריקאים ללמוד מחומר מוגן בזכויות יוצרים.
משוכות אלגוריתמיות
האמונה שהגדלת גודל המודל, שימוש ביותר מחשוב והכשרה על יותר נתונים ייצרו התקדמות ניכרת הוכחה כשגויה. בלומברג אומר שחלו ירידות בתשואה שגרמו לחלקם לומר שחוקי ההרחבה מאטים.