מיקרוסופט, בעודה שותפה מיוחסת של OpenAI ועובדת עם רוב השחקנים לשילוב מודלי ה-AI שלהם ב-Azure AI Foundry, אינה נרתעת מלרדוף אחר דרכים טכנולוגיות משלה. זה כולל עבודה על חידושים בליבת הרשתות הנוירוניות, כמו מודל BitNet b1.58 המסקרן המבוסס על Trit, ה-SLMs שלה בקוד פתוח, ואפילו מודלים פורצי דרך השמורים בסוד (Project MAI-1).
שנה לאחר שהציגה את מגוון מודלי ה-AI הקטנים שלה (SLMs) Phi-3 וחודשיים לאחר הופעת הבכורה של הדור הרביעי עם SLM מרובה מודלים (Phi-4-Multimodal) ומודל זעיר (Phi-4-mini), מיקרוסופט מכריזה על שלושה גרסאות חדשות של ה-SLM מהדור האחרון שלה: Phi-4-reasoning, Phi-4-reasoning-plus, ו-Phi-4-mini-reasoning.
גרסאות “משולבות-היסק” אלו, שיצאו ב-30 באפריל 2025, מרחיבות את היצע המשקלים הפתוחים של מודלים קומפקטיים למפתחים שצריכים לשמור על חביון נמוך תוך שהם דורשים היסק מורכב.
בלב הגישה של מהנדסי מיקרוסופט להפיכת ה-SLMs שלהם ל”היסק”: הסתמכות על פיקוח גרעיני דק (SFT) משרשראות ההיסק o3-mini של OpenAI, ומינוף למידת חיזוק (RL) עבור גרסת ה-“plus”. “באמצעות זיקוק, למידת חיזוק ונתונים באיכות גבוהה, מודלים אלה מיישבים גודל וביצועים”, מסבירה מיקרוסופט.
קטן אך מחונן
התוצאות על אמות המידה המובילות השונות בשוק מספיקות כדי לגרום לתחרות להחוויר: בדרך כלל עם 14 מיליארד פרמטרים בלבד, Phi-4-reasoning עולה על DeepSeek-R1-Distill-Llama-70B (70 מיליארד פרמטרים) בסדרת AIME 2025, MMLU-Pro או HumanEval-Plus, ומתקרב למודל DeepSeek-R1 המלא (671 מיליארד פרמטרים)! גרסת Phi-4-reasoning-plus, המיושרת על אותם 14 מיליארד פרמטרים אך אומנה עם פי 1.5 יותר טוקנים, כמעט תואמת את הציונים של o3-mini של OpenAI ב-OmniMath! לידיעתך, Phi-4-reasoning נהנה מחלון הקשר קלאסי של 128,000 טוקנים שהורחב ל-256,000 טוקנים עבור גרסת Phi-4-reasoning-plus.
Phi-4-mini-reasoning, שתוכנן עבור מערכות משובצות, מציג 3.8 מיליארד פרמטרים, סט סינתטי של מיליון בעיות מתמטיות שנוצרו על ידי DeepSeek-R1, ומשיג ביצועים של o1-mini ב-Math-500 תוך שהוא עולה על מספר מודלים עם 7 עד 8 מיליארד פרמטרים. עם הגודל הקטן במיוחד שלו, מודל זה אידיאלי לביצוע מקומי, כולל במכשירים ניידים, ולמענה על הצורך בתגובות כמעט מיידיות. הוא מתאים במיוחד לשימושים חינוכיים ולצ’אטבוטים מקומיים.
מודלים פתוחים לשימושים מגוונים
בצד הפריסה, CISOs ימצאו שמודלים אלה כבר מותאמים ל-Copilot+ PCs: גרסת ה-NPU “Phi Silica” נטענת מראש לזיכרון ומספקת זמן תגובה כמעט מיידי, ומבטיחה דו-קיום חסכוני באנרגיה עם יישומים עסקיים. ממשקי ה-API של Windows מאפשרים שילוב של דור לא מקוון ב-Outlook או בכלים פנימיים.
במונחים של אבטחה, מיקרוסופט טוענת על צינור המיושר עם עקרונות האחריות שלה - אחריותיות, הוגנות, אמינות, בטיחות והכללה. המודלים עוברים אימון לאחר שילוב SFT, אופטימיזציה ישירה של העדפות ו-RLHF מסטים ציבוריים ופנימיים המכוונים ל”עזרה/חוסר נזק”. מיקרוסופט מפרסמת גם את ה-“Cards” של המודלים שלה, המפרטים את המגבלות השיוריות ואת אמצעי המיגון.
שלושת המודלים, הזמינים כעת ב-Azure AI Foundry, ב-Hugging Face וב-GitHub Models, מתפרסמים תחת רישיון MIT המתירני מאוד, ופותחים את הדרך להיסק מקומי כמו גם לפריסות ענן היברידיות. עבור צוותי אבטחה וארכיטקטורה, הדור החדש הזה של SLMs מציע אלטרנטיבה אמינה ל-LLMs מסיביים, עם TCO מופחת, ביצוע מקומי כמו גם בקצה, ושליטה מוגברת בנתונים. מודלים אלה הם הוכחה להתקדמות המדהימה שנעשתה על ידי SLMs בשנה והפוטנציאל המדהים שלהם ביקום בחיפוש אחר AI זול יותר וחוסך יותר באנרגיה ובמשאבים.
צלילה עמוקה יותר ליכולות ההיסק של Phi-4
הגעת משפחת מודלי Phi-4 מייצגת צעד משמעותי קדימה בפיתוח מודלי שפה קטנים (SLMs). מה שמייחד את המודלים האלה הוא יכולות ההיסק המשופרות שלהם, שהושגו באמצעות טכניקות אימון חדשניות והתמקדות בנתונים באיכות גבוהה. המחויבות של מיקרוסופט לעקרונות קוד פתוח ממשיכה להדמוקרט גישה לכלים העוצמתיים האלה, ומאפשרת למפתחים לשלב יכולות AI מתקדמות במגוון רחב של יישומים.
הבנת הארכיטקטורה
מודלי Phi-4 בנויים על ארכיטקטורת שנאים, מסגרת מוכחת לעיבוד שפה טבעית. עם זאת, מיקרוסופט יישמה כמה חידושים מרכזיים כדי לייעל את המודלים עבור משימות היסק.
- פיקוח גרעיני דק (SFT): המודלים מאומנים באמצעות טכניקה הנקראת פיקוח גרעיני דק (SFT), הכוללת למידה משרשראות היסק מפורטות שנוצרו על ידי מודל o3-mini של OpenAI. זה מאפשר למודלי Phi-4 ללמוד את השלבים הכרוכים בתהליכי היסק מורכבים.
- למידת חיזוק (RL): גרסת ה-“plus” של מודל Phi-4, Phi-4-reasoning-plus, משתמשת בלמידת חיזוק (RL) כדי לשפר עוד יותר את יכולות ההיסק שלה. RL כולל אימון המודל כדי למקסם אות תגמול, שבמקרה זה מבוסס על הדיוק והיעילות של ההיסק שלו.
- זיקוק: זיקוק משמש להעברת ידע ממודלים גדולים ומורכבים יותר למודלי Phi-4 הקטנים יותר. זה מאפשר ל-SLMs להשיג רמות ביצועים הדומות למודלים גדולים בהרבה, תוך שמירה על גודלם ויעילותם הקומפקטיים.
ביצועי הערכה
מודלי Phi-4 הדגימו ביצועים מרשימים על מגוון אמות מידה להיסק, ועלו על מודלים גדולים יותר במקרים מסוימים. לדוגמה, Phi-4-reasoning, עם 14 מיליארד פרמטרים בלבד, עולה על DeepSeek-R1-Distill-Llama-70B (70 מיליארד פרמטרים) בכמה מערכי נתונים מאתגרים, כולל AIME 2025, MMLU-Pro ו-HumanEval-Plus. זה מדגיש את היעילות והאפקטיביות של הארכיטקטורה וטכניקות האימון של Phi-4.
גרסת Phi-4-reasoning-plus, שאומנה עם פי 1.5 יותר טוקנים, משיגה ציונים הקרובים ל-o3-mini של OpenAI על אמת המידה OmniMath, ומדגימה את יכולתה להתמודד עם בעיות היסק מתמטי מורכבות.
יישומים ומקרי שימוש
מודלי Phi-4 מתאימים היטב למגוון יישומים הדורשים יכולות היסק מתקדמות.
- כלי עזר חינוכיים: מודל Phi-4-mini-reasoning, עם גודלו הקטן וביצועיו הגבוהים, אידיאלי ליישומים חינוכיים. ניתן להשתמש בו ליצירת כלי למידה אינטראקטיביים המספקים לסטודנטים משוב ותמיכה מותאמים אישית.
- צ’אטבוטים מקומיים: ניתן להשתמש במודלי Phi-4 לבניית צ’אטבוטים מקומיים המספקים למשתמשים גישה מיידית למידע ותמיכה. גודלם הקטן מאפשר לפרוס אותם במכשירים ניידים ובסביבות אחרות מוגבלות משאבים.
- מחשבי Copilot+: מודלי Phi-4 מותאמים למחשבי Copilot+, ומספקים למשתמשים חוויית AI חלקה. גרסת “Phi Silica” נטענת מראש לזיכרון ומספקת זמני תגובה כמעט מיידיים.
- דור לא מקוון: ממשקי ה-API של Windows מאפשרים שילוב של דור לא מקוון ב-Outlook או בכלים פנימיים, ומאפשרים למשתמשים לגשת ליכולות AI גם כאשר הם אינם מחוברים לאינטרנט.
אבטחה ואחריות
מיקרוסופט מחויבת לפתח ולפרוס מודלי AI בצורה אחראית ואתית. מודלי Phi-4 אינם יוצאי דופן.
- עקרונות אחריות: צינור הפיתוח של ה-AI של מיקרוסופט מיושר עם עקרונות האחריות שלה, הכוללים אחריותיות, הוגנות, אמינות, בטיחות והכללה.
- אימון לאחר: מודלי Phi-4 עוברים אימון לאחר באמצעות SFT, אופטימיזציה ישירה של העדפות ו-RLHF ממערכי נתונים ציבוריים ופנימיים המכוונים ל”עזרה/חוסר נזק”. זה עוזר להבטיח שהמודלים בטוחים ואמינים.
- כרטיסי מודל: מיקרוסופט מפרסמת “כרטיסים” עבור המודלים שלה, המפרטים את המגבלות השיוריות ואת אמצעי המיגון. זה מספק למשתמשים שקיפות ומאפשר להם לקבל החלטות מושכלות לגבי אופן השימוש במודלים.
עתיד ה-SLMs
מודלי Phi-4 מייצגים צעד משמעותי קדימה בפיתוח מודלי שפה קטנים (SLMs). יכולות ההיסק המשופרות שלהם, בשילוב עם גודלם ויעילותם הקטנים, הופכים אותם לאלטרנטיבה משכנעת למודלי שפה גדולים יותר (LLMs) ביישומים רבים.
ככל ש-SLMs ממשיכים להשתפר, הם צפויים למלא תפקיד חשוב יותר ויותר בנוף ה-AI. היכולת שלהם לפעול במכשירים מוגבלים משאבים ולספק ביצועים מהירים ויעילים הופכת אותם למתאימים היטב למגוון רחב של יישומים, החל מכלי עזר חינוכיים ועד צ’אטבוטים מקומיים ועד מכשירי מחשוב קצה.
המחויבות של מיקרוסופט לעקרונות קוד פתוח ופיתוח AI אחראי ממשיכה למקם את מודלי Phi-4 כמשאב בעל ערך עבור קהילת ה-AI. על ידי הדמוקרטיזציה של גישה לכלים העוצמתיים האלה, מיקרוסופט מאפשרת למפתחים ליצור יישומים חדשניים ומשפיעים שיכולים להועיל לחברה כולה.
מבט מקרוב על ההיבטים הטכניים
התעמקות יותר במפרטים של ארכיטקטורת Phi-4 והאימון שלהמגלה את הטכניקות החדשניות המאפשרות ל-SLMs אלה להשיג יכולות היסק מרשימות כאלה. השילוב של מערכי נתונים שנאספו בקפידה, אלגוריתמי אימון מתוחכמים והתמקדות ביעילות הביא למשפחה של מודלים שהם גם עוצמתיים וגם מעשיים.
אוסף נתונים והכנה
ההצלחה של כל מודל למידת מכונה תלויה באיכות הרלוונטית של הנתונים שעליהם הוא מאומן. מיקרוסופט השקיעה מאמץ משמעותי באיסוף והכנת מערכי הנתונים ששימשו לאימון מודלי Phi-4.
- שרשראות היסק מ-o3-mini של OpenAI: המודלים ממנפים שרשראות היסק שנוצרו על ידי מודל o3-mini של OpenAI כדי ללמוד את השלבים הכרוכים בתהליכי היסק מורכבים. שרשראות אלה מספקות מפת דרכים מפורטת עבור ה-SLMs לעקוב אחריה, ומאפשרות להם לפתח הבנה עמוקה יותר של הלוגיקה הבסיסית.
- בעיות מתמטיות סינתטיות: מודל Phi-4-mini-reasoning מאומן על מערך נתונים סינתטי של מיליון בעיות מתמטיות שנוצרו על ידי DeepSeek-R1. מערך נתונים זה מספק מגוון רחב של אתגרים מתמטיים, ומאפשר למודל לפתח כישורי פתרון בעיות חזקים.
- מערכי נתונים של עזרה/חוסר נזק: המודלים עוברים אימון לאחר באמצעות מערכי נתונים שנועדו לקדם עזרה וחוסר נזק. זה עוזר להבטיח שהמודלים מייצרים פלטים בטוחים ואחראיים.
אלגוריתמי אימון
מודלי Phi-4 מאומנים באמצעות שילוב של למידה בפיקוח, למידת חיזוק וזיקוק. טכניקות אלה פועלות יחד כדי לייעל את המודלים למשימות היסק ולהבטיח שהם גם מדויקים וגם יעילים.
- כוונון עדין בפיקוח (SFT): SFT משמש לכוונון עדין של המודלים על שרשראות ההיסק שנוצרו על ידי מודל o3-mini של OpenAI. זה מאפשר למודלים ללמוד את הדפוסים והקשרים הספציפיים המאפיינים תהליכי היסק מורכבים.
- למידת חיזוק (RL): RL משמש לאימון מודל Phi-4-reasoning-plus כדי למקסם אות תגמול המבוסס על הדיוק והיעילות של ההיסק שלו. זה מעודד את המודל לפתח אסטרטגיות לפתרון בעיות שהן גם יעילות וגם יעילות מבחינה חישובית.
- זיקוק: זיקוק משמש להעברת ידע ממודלים גדולים ומורכבים יותר למודלי Phi-4 הקטנים יותר. זה מאפשר ל-SLMs להשיג רמות ביצועים הדומות למודלים גדולים בהרבה, תוך שמירה על גודלם ויעילותם הקומפקטיים.
אופטימיזציה ליעילות
אחד היעדים המרכזיים בפיתוח מודלי Phi-4 היה לייעל אותם ליעילות. זה בא לידי ביטוי בכמה היבטים של העיצוב והאימון שלהם.
- ארכיטקטורה קומפקטית: מודלי Phi-4 מעוצבים עם ארכיטקטורה קומפקטית הממזערת את מספר הפרמטרים הנדרשים. זה מצמצם את העלות החישובית של הפעלת המודלים והופך אותם למתאימים היטב לפריסה במכשירים מוגבלים משאבים.
- קוונטיזציה: קוונטיזציה משמשת להפחתת טביעת הרגל של הזיכרון של המודלים ולשיפור מהירות ההסקה שלהם. זה כולל ייצוג הפרמטרים של המודל באמצעות פחות ביטים, מה שיכול להפחית באופן משמעותי את העלות החישובית של הפעלת המודל.
- האצת חומרה: מודלי Phi-4 מותאמים להאצת חומרה במגוון פלטפורמות, כולל מעבדים, מעבדים גרפיים ו-NPUs. זה מאפשר להם להשיג ביצועים מרביים במגוון רחב של מכשירים.
השלכות לעתיד ה-AI
מודלי Phi-4 מייצגים צעד משמעותי קדימה בפיתוח ה-AI, עם השלכות המשתרעות הרבה מעבר ליישומים הספציפיים שעבורם הם מתוכננים. היכולת שלהם להשיג ביצועים גבוהים עם גודל ומשאבים חישוביים קטנים יחסית פותחת אפשרויות חדשות לפריסת AI במגוון רחב של הגדרות.
הדמוקרטיזציה של ה-AI
מודלי Phi-4 הם עדות לעובדה שיכולות AI עוצמתיות ניתנות להשגה מבלי לדרוש משאבים חישוביים עצומים או גישה למערכי נתונים קנייניים. זה מדמוקרט את הגישה ל-AI, ומאפשר למפתחים וחוקרים ליצור יישומים חדשניים גם עם משאבים מוגבלים.
מחשוב קצה
הגודל והיעילות הקטנים של מודלי Phi-4 הופכים אותם למתאימים היטב ליישומי מחשוב קצה. זה מאפשר לפרוס AI קרוב יותר למקור הנתונים, ולהפחית את החביון ולשפר את ההיענות. למחשוב קצה יש פוטנציאל לחולל מהפכה במגוון רחב של תעשיות, מייצור ועד שירותי בריאות ועד תחבורה.
AI מותאם אישית
ניתן להתאים אישית את מודלי Phi-4 ולהתאים אותם כדי לענות על הצרכים הספציפיים של משתמשים או ארגונים בודדים. זה מאפשר ליצור חוויות AI מותאמות אישית המותאמות לדרישות הייחודיות של כל משתמש. ל-AI מותאם אישית יש פוטנציאל לשפר את הפרודוקטיביות, לשפר את הלמידה ולשפר את הרווחה הכללית.
AI בר קיימא
מודלי Phi-4 הם אלטרנטיבה בת קיימא יותר למודלי שפה גדולים יותר, הדורשים פחות אנרגיה ומשאבים חישוביים. זה חשוב להפחתת ההשפעה הסביבתית של ה-AI ולהבטחה שניתן לפרוס אותו בצורה אחראית ובת קיימא.
מודלי ה-Microsoft Phi-4-Reasoning אינם רק איטרציה נוספת בעולם ה-AI המתפתח כל הזמן; הם שינוי פרדיגמה. הם מדגימים שאינטליגנציה אינה רק פונקציה של גודל ועוצמה חישובית אלא ניתנת להשגה באמצעות עיצוב חכם, אוסף קפדני של נתונים וטכניקות אימון חדשניות. ככל שהמודלים האלה ממשיכים להתפתח, הם עומדים לפתוח אפשרויות חדשות עבור ה-AI ולשנות את האופן שבו אנו מקיימים אינטראקציה עם הטכנולוגיה.