Meta Llama 4: הסבר מעמיק

מהו Meta Llama 4?

Meta Llama 4 מייצג קפיצת מדרגה משמעותית בטכנולוגיית LLM, המתגאה ביכולות מולטימודאליות המאפשרות לו לעבד ולפרש נתוני טקסט, תמונות ווידאו. המודל מהדור הרביעי הזה מתעלה על מחסומי שפה על ידי תמיכה בשפות רבות מרחבי העולם.

חידוש מרכזי במודלי Llama 4 הוא אימוץ ארכיטקטורת תערובת של מומחים, שהיא הראשונה במשפחת Llama. ארכיטקטורה זו מפעילה באופן דינמי רק קבוצת משנה מסך הפרמטרים הכולל עבור כל טוקן קלט, ומשיגה איזון הרמוני בין עוצמה ויעילות.

בעוד שרישיון קהילת Llama 4 אינו מוכר רשמית כרישיון שאושר על ידי Open Source Initiative, Meta מאפיינת את מודלי Llama 4 שלה כמקור פתוח. הרישיון מעניק זכויות שימוש ושינוי חופשיות במודלי Llama 4, בכפוף למגבלות מסוימות. נכון לאפריל 2025, המגבלה הוגבלה ל-700 מיליון משתמשים חודשיים, שאחריהם נדרש רישיון מסחרי.

מערך ה-Llama 4 כולל שלושה גרסאות עיקריות: Scout, Maverick ו-Behemoth. סקאוט ומאבריק הושקו בו זמנית, בעוד שבהמות’ נשאר בפיתוח. מודלים אלה שונים באופן משמעותי במפרטים שלהם:

• Llama 4 Scout: כולל 17 מיליארד פרמטרים פעילים, 16 מומחים, 109 מיליארד פרמטרים סך הכל, חלון הקשר של 10 מיליון טוקנים וגבול ידע של אוגוסט 2024.
• Llama 4 Maverick: כולל גם 17 מיליארד פרמטרים פעילים, אך מתגאה ב-128 מומחים, 400 מיליארד פרמטרים סך הכל, חלון הקשר של מיליון טוקנים ואותו גבול ידע כמו סקאוט.
• Llama 4 Behemoth: החזק מבין השלושה, עם 288 מיליארד פרמטרים פעילים, 16 מומחים, 2 טריליון פרמטרים סך הכל, וחלון הקשר וגבול ידע לא מוגדרים.

יכולות של Meta Llama 4

מודלי Meta Llama 4 פותחים מגוון רחב של יישומים, כולל:

• ריבוי מצבים מקורי: היכולת להבין בו זמנית טקסט, תמונות ווידאו. זה מאפשר למודל להפיק הקשר ומשמעות ממקורות מידע מגוונים.
• סיכום תוכן: מודלי Llama 4 יכולים לדחוס ביעילות מידע מסוגי תוכן שונים, היבט מכריע בהבנה מולטימודאלית. לדוגמה, המודל יכול לנתח סרטון, לחלץ סצנות מפתח וליצור סיכום תמציתי של התוכן.
• עיבוד הקשר ארוך: Llama 4 Scout תוכנן במיוחד לעבד כמויות משמעותיות של מידע, בסיוע חלון ההקשר הנרחב שלו של 10 מיליון טוקנים. יכולת זו היא בעלת ערך רב למשימות כמו ניתוח מאמרי מחקר מקיפים או עיבוד מסמכים ארוכים.
• אופנות רב לשוניות: כל מודלי Llama 4 מפגינים מיומנות רב לשונית, ותומכים במגוון רחב של שפות לעיבוד טקסט: ערבית, אנגלית, צרפתית, גרמנית, הינדי, אינדונזית, איטלקית, פורטוגזית, ספרדית, טאגאלוג, תאילנדית ווייטנאמית. עם זאת, הבנת תמונה מוגבלת כרגע לאנגלית.
• יצירת טקסט: מודלי Llama 4 מצטיינים ביצירת טקסט קוהרנטי ורלוונטי מבחינה הקשרית, כולל מאמצי כתיבה יצירתית. המודל יכול להסתגל לסגנונות כתיבה שונים וליצור טקסט באיכות אנושית.
• חשיבה מתקדמת: מודלים אלה מחזיקים ביכולת לחשוב על בעיות מדעיות ומתמטיות מורכבות. הם יכולים לפענח לוגיקה מורכבת ולהגיע למסקנות מדויקות.
• יצירת קוד: Llama 4 מסוגל להבין וליצור קוד יישומים, ולסייע למפתחים בייעול תהליכי העבודה שלהם. המודל יכול ליצור קטעי קוד, להשלים פונקציות ואף לפתח יישומים שלמים.
• פונקציונליות של מודל בסיס: כמודל פתוח, Llama 4 משמש כמרכיב בסיסי לפיתוח מודלים נגזרים. חוקרים ומפתחים יכולים לכוונן את Llama 4 עבור משימות ספציפיות, ולמנף את היכולות הקיימות שלו כדי לבנות יישומים מיוחדים.

מתודולוגיית הדרכה של Meta Llama 4

Meta השתמשה בחבילה של טכניקות מתקדמות כדי לאמן את דור רביעי של LLM ממשפחת Llama, במטרה לשפר את הדיוק והביצועים בהשוואה לגרסאות קודמות. טכניקות אלה כללו:

• נתוני הדרכה: אבן הפינה של כל LLM היא נתוני ההדרכה שלו, ו-Meta הכירה בכך שיותר נתונים מתורגמים לביצועים טובים יותר. לצורך כך, Llama 4 אומן על פני 30 טריליון טוקנים, והכפיל את כמות הנתונים ששימשו לאימון Llama 3.
• Multimodality של מיזוג מוקדם: סדרת Llama 4 אימצה את גישת “מיזוג מוקדם”, המשלבת טוקנים של טקסט וחזון למודל מאוחד. גישה זו, לדברי Meta, מטפחת הבנה טבעית יותר בין מידע חזותי וטקסטואלי, ומבטלת את הצורך במקודדים ומפענחים נפרדים.
• אופטימיזציה של היפרפרמטר: טכניקה זו כוללת כוונון עדין של היפרפרמטרים קריטיים של מודל, כגון שיעורי למידה לכל שכבה, כדי להשיג תוצאות אימון אמינות ועקביות יותר. על ידי אופטימיזציה של פרמטרים אלה, Meta הצליחה לשפר את היציבות והביצועים הכוללים של Llama 4.
• ארכיטקטורת iRoPE: שכבות הקשב השזורות ללא ארכיטקטורת הטבעה מיקום, או ארכיטקטורת iRoPE, משפרות את הטיפול ברצפים ארוכים במהלך האימון ומאפשרות את חלון ההקשר של 10 מיליון טוקנים ב-Llama 4 Scout. ארכיטקטורה זו מאפשרת למודל לשמור מידע מחלקים מרוחקים של רצף הקלט, ומאפשרת לו לעבד מסמכים ארוכים ומורכבים יותר.
• מקודד חזון MetaCLIP: מקודד החזון החדש של Meta מתרגם תמונות לייצוגי טוקן, מה שמוביל לשיפור בהבנה מולטימודאלית. מקודד זה מאפשר ל-Llama 4 לעבד ולפרש מידע חזותי ביעילות.
• אימון בטיחות GOAT: Meta הטמיעה את בודק הסוכן הפוגעני הגנרטיבי (GOAT) לאורך כל האימון כדי לזהות נקודות תורפה של LLM ולשפר את בטיחות המודל. טכניקה זו מסייעת להפחית את הסיכון שהמודל ייצור תוכן מזיק או מוטה.

אבולוציה של מודלי Llama

לאחר ההשקה פורצת הדרך של ChatGPT בנובמבר 2022, חברות ברחבי התעשייה מיהרו לבסס דריסת רגל בשוק ה-LLM. Meta הייתה בין המגיבים הראשונים, והציגה את מודלי ה-Llama הראשוניים שלה בתחילת 2023, אם כי עם גישה מוגבלת. החל משחרורו של Llama 2 באמצע 2023, כל המודלים הבאים הועמדו לרשות הציבור ברישיונות פתוחים.

• Llama 1: מודל ה-Llama המקורי, הושק בפברואר 2023 עם גישה מוגבלת.
• Llama 2: שוחרר ביולי 2023 כמודל ה-Llama הראשון עם רישיון פתוח, Llama 2 הציע גישה ושימוש חופשיים. איטרציה זו כללה גרסאות של 7B, 13B ו-70B פרמטרים, המספקות צרכים חישוביים מגוונים.
• Llama 3: מודלי Llama 3 הופיעו לראשונה באפריל 2024, בתחילה עם גרסאות של 8B ו-70B פרמטרים.
• Llama 3.1: הושק ביולי 2024, Llama 3.1 הוסיף מודל פרמטרים של 405B, ודחף את גבולות היכולות של LLM.
• Llama 3.2: מודל זה, ה-LLM הרב-תחומי המלא הראשון של Meta, שוחרר באוקטובר 2024, וסימן אבן דרך משמעותית באבולוציה של משפחת Llama.
• Llama 3.3: Meta טענה בשחרורו בדצמבר 2024 כי גרסת ה-70B של Llama 3.3 סיפקה את אותם ביצועים כמו גרסת ה-405B של 3.1, תוך שהיא דורשת פחות משאבים חישוביים, והציגה את מאמצי האופטימיזציה המתמשכים.

Llama 4 בהשוואה למודלים אחרים

הנוף של AI גנרטיבי הופך לתחרותי יותר ויותר, וכולל שחקנים בולטים כמו GPT-4o של OpenAI, Google Gemini 2.0 ופרויקטים שונים בקוד פתוח כולל DeepSeek.

ניתן להעריך את הביצועים של Llama 4 באמצעות מספר מדדים, כולל:

• MMMU (הבנה מולטימודאלית מסיבית מרובת תחומים): מעריך יכולות חשיבה תמונה.
• LiveCodeBench: מעריך מיומנות קידוד.
• GPQA Diamond (שאלות ותשובות יהלום ברמת בוגר עם הוכחת גוגל): מודד חשיבה וידע.

ציונים גבוהים יותר במדדים אלה מצביעים על ביצועים טובים יותר.

מדדים אלה מדגישים את החוזקות של Llama 4 Maverick בחשיבה תמונה, קידוד וידע כללי, וממקמים אותו כמתחרה חזק בזירת ה-LLM.

גישה ל-Llama 4

Meta Llama 4 Maverick ו-Scout זמינים בקלות באמצעות ערוצים שונים:

• Llama.com: הורד את Scout ו-Maverick ישירות מאתר llama.com המופעל על ידי Meta בחינם.
• Meta.ai: ממשק האינטרנט של Meta.ai מספק גישה מבוססת דפדפן ל-Llama 4, ומאפשר למשתמשים ליצור אינטראקציה עם המודל מבלי לדרוש התקנה מקומית כלשהי.
• Hugging Face: Llama 4 נגיש גם בכתובת https://huggingface.co/meta-llama, פלטפורמה פופולרית לשיתוף וגילוי מודלים של למידת מכונה.
• Meta AI App: Llama 4 מפעיל את העוזרת הווירטואלית של Meta AI, הנגישה באמצעות קול או טקסט על פני פלטפורמות שונות. משתמשים יכולים למנף את העוזרת לביצוע משימות כגון סיכום טקסט, יצירת תוכן ומענה על שאלות.