פענוח מסגרת אימוני SASR של גוקו
חברת Shanghai Goku Technologies, שנוסדה בשנת 2015, הציגה מסגרת אימוני בינה מלאכותית חדשנית בשם SASR, או אימון היברידי אדפטיבי צעד-אחר-צעד. גישה זו נועדה להתמודד עם המגבלות הנתפסות של שיטות נפוצות כמו כוונון עדין מפוקח (SFT) ולמידת חיזוק (RL). גוקו טוענת כי SASR, בהשראת האופן שבו בני אדם מפתחים מיומנויות חשיבה, מציעה מסלול אדפטיבי ויעיל יותר לבניית מודלים מתקדמים של בינה מלאכותית.
SFT ו-RL נחשבות לאבני יסוד בתהליך אימון הבינה המלאכותית, המשמשות ענקיות תעשייה כמו OpenAI ו-DeepSeek. DeepSeek הדגישה במפורש את התפקיד הקריטי של טכניקות אלה באופטימיזציה של הביצועים של מודל V3 שלה, ששוחרר בדצמבר ועורר עניין רב בתוך מגזר הטכנולוגיה.
על פי מאמר המחקר של גוקו, שנכתב בשיתוף עם חוקרים מאוניברסיטת ג’יאו טונג בשנגחאי וחברת הבת החדשה שלה לבינה מלאכותית, Shanghai AllMind Artificial Intelligence Technology, SASR מדגימה ביצועים מעולים בהשוואה ל-SFT, RL ומתודולוגיות אימון היברידיות סטטיות. “תוצאות ניסיוניות מדגימות ש-SASR עולה על שיטות אימון היברידיות סטטיות, RL ו-SFT”, טען צוות גוקו במאמר המחקר שלהם.
ההשלכות של ההתקדמות של גוקו
פריצת הדרך של גוקו באימוני בינה מלאכותית מדגישה, על פי הדיווחים, את ההתקדמות המתמשכת של סין בתחום הבינה המלאכותית. זה עשוי להדגיש את המגבלות של המדיניות הנוכחית המיושמת על ידי ממשלת ארה"ב, שמטרתה לעכב את ההתקדמות של סין בבינה המלאכותית באמצעות הגבלות חומרה. ג’נסן הואנג, מנכ"ל אנבידיה, הגיב לאחרונה על חוסר האפקטיביות הנתפס של הגבלות אלה, ואמר כי “לסין יש 50 אחוז ממפתחי הבינה המלאכותית בעולם”.
DeepSeek, סטארט-אפ סיני לבינה מלאכותית שצמח מקרן הגידור High-Flyer, זכה להכרה נרחבת על שהציג את הפוטנציאל של סין למנהיגות בתחום הבינה המלאכותית באמצעות אלגוריתמים מתקדמים ושילוב של חומרה ותוכנה.
תפקידה של AllMind באסטרטגיית הבינה המלאכותית של גוקו
הקמת AllMind, במקביל לפרסום המחקר של גוקו, מעידה על מהלך אסטרטגי להקדיש משאבים למחקר ופיתוח של בינה מלאכותית. רשומות רישום עסקים סיניות מצביעות על כך ש-AllMind נרשמה רשמית באותו יום שבו גוקו פרסמה את המחקר שלה.
וואנג שיאו, מייסד גוקו והנציג המשפטי של AllMind, הצהיר כי הישות החדשה נוצרה כדי לחקור גבולות חדשים של בינה מלאכותית. זה משקף את הגישה שננקטה על ידי High-Flyer, שהקימה את DeepSeek כישות נפרדת בשנת 2023.
נכון לסוף השנה שעברה, גוקו ניהלה יותר מ-15 מיליארד יואן (כ-2.1 מיליארד דולר) בנכסים מקומיים ובינלאומיים כאחד, תוך שימוש באסטרטגיות מונעות בינה מלאכותית, על פי מידע הזמין באתר הרשמי שלה.
התעמקות ב-SASR: מסגרת אימוני היברידית אדפטיבית צעד-אחר-צעד
מסגרת ה-SASR של גוקו מציגה אלטרנטיבה מעניינת בנוף אימוני המודלים של בינה מלאכותית. כדי להעריך באמת את ההשפעה הפוטנציאלית שלה, חיונית הבנה מפורטת יותר של מרכיביה ופעולתה.
ההיבט ה"צעד-אחר-צעד" של SASR מרמז על תהליך אימון רב-שלבי שבו המודל של הבינה המלאכותית עובר עידון איטרטיבי. כל שלב כנראה כרוך ביעדים ספציפיים ומשתמש בנתוני הדרכה נפרדים כדי לטפח יכולות מסוימות בתוך המודל. גישה מדורגת זו יכולה להציע יתרונות כמו הפחתת האתגרים של אימון מודלים מורכבים מאפס ולאפשר אופטימיזציה מותאמת בכל שלב.
האלמנט ה"אדפטיבי" מצביע על כך שתהליך האימון אינו סטטי אלא מגיב באופן דינמי לביצועים ולמאפיינים של המודל. יכולת הסתגלות זו יכולה לכלול התאמת היפר-פרמטרים, שינוי התפלגות נתוני האימון או שקלול דינמי של תרומת יעדי אימון שונים. תהליך אדפטיבי מאפשר לבינה המלאכותית ללמוד ולהשתפר בצורה יעילה יותר.
האופי ה"היברידי" של SASR מגלה שהוא משלב אלמנטים של מתודולוגיות אימון שונות. זהו היבט חיוני מכיוון שיש חוזקות וחולשות ב-SFT ו-RL. שילוב של שיטות מאפשר למודל למנף את היתרונות של כל גישה תוך התייחסות למגבלות שלה. על ידי שילוב שלושת המאפיינים הללו, SARS מותאמת באופן תיאורטי טוב יותר לפיתוח לוגיקה וחשיבה.
השוואת SASR לשיטות מסורתיות
כוונון עדין סופרווייזר (SFT) מסתמך באופן מסורתי על מערך נתונים גדול ומסומן שבו מודל הבינה המלאכותית לומד למפות כניסות ליציאות רצויות. למידת חיזוק (RL) כרוכה באימון המודל באמצעות ניסוי וטעייה, מתן תגמול או ענישה לפעולות כדי למקסם מטרה ספציפית.
SASR מנסה לשלב את השניים תוך התגברות על המגבלות של כל שיטה. לדוגמה, SFT יכול להיות תלוי מאוד באיכות ובמקיפות של הנתונים המסומנים. בתרחישים רבים בעולם האמיתי, השגת נתונים מדויקים ומספיקים יכולה להיות גם גוזלת זמן ויקרה. RL, למרות שאינו דורש נתונים מסומנים, יכול להיות לא יציב ונוטה לפרוץ פרסים. פריצת פרסים מתרחשת כאשר מודל הבינה המלאכותית מגלה דרכים לא מכוונות למקסם את התגמול שלו, מה שעלול להוביל להתנהגות לא רצויה.
למסגרת של גוקו יש אפשרות להיות שיפור על פני המגבלות של SFT ו-RL. עם זאת, נדרשת בדיקה נוספת ומתמשכת כדי לאמת את התוצאות הראשוניות המתועדות במאמר החברה.
חדשנות אלגוריתמית ואילוצי חומרה
החדשות על מסגרת ה-SASR של גוקו רלוונטיות במיוחד בהקשר של יחסי הטכנולוגיה בין ארה"ב לסין. במשך זמן מה, ממשלת ארה"ב ניסתה לצמצם את עלייתה של סין בתחום הבינה המלאכותית על ידי הגבלת הגישה לחומרת מחשוב מתקדמת, במיוחד מעבדים גרפיים מתקדמים מחברות כמו אנבידיה. הרעיון מאחורי הגבלות אלה הוא שהגבלת הגישה של סין לחומרה עוצמתית תאט את מאמצי הפיתוח שלהם בתחום הבינה המלאכותית.
עם זאת, הערות של מנכ"ל אנבידיה ג’נסן הואנג והתקדמות שצצה ממעבדות בינה מלאכותית סיניות נראה שמצביעות על כך שמדיניות זו עשויה שלא להיות יעילה כפי שתוכנן. הואנג ציין כי לסין יש חלק ניכר מכוח האדם של הבינה המלאכותית בעולם, וכי הגבלת גישה לחומרה עשויה לתמרץ אותם למצוא פתרונות חלופיים.
פריצת הדרך של גוקו בתחום הבינה המלאכותית מרמזת שחדשנות אלגוריתמית יכולה לפצות באופן פוטנציאלי על מגבלות חומרה, לפחות במידה מסוימת. אם חוקרים סינים יכולים לפתח אלגוריתמי הדרכה יעילים יותר, הם עשויים להיות מסוגלים להשיג ביצועי בינה מלאכותית דומים עם חומרה פחות עוצמתית. לכך יכולות להיות השלכות משמעותיות על נוף הבינה המלאכותית העולמי, מכיוון שהיא מרמזת שסין עשויה להיות מסוגלת להמשיך לקדם את יכולות הבינה המלאכותית שלה למרות ההגבלות המתמשכות.
אין זה מרמז שחומרה אינה רלוונטית. מעבדים גרפיים מתקדמים עדיין קריטיים לאימון מודלים מתקדמים של בינה מלאכותית, וגישה לחומרה העדכנית ביותר ללא ספק מציעה יתרון תחרותי משמעותי. עם זאת, עבודתו של גוקו מדגימה את החשיבות של השקעה הן בחומרה והן בתוכנה, וכי התקדמות בתחום אחד עשויה לפצות על מגבלות בתחום האחר.
עלייתה של הבינה המלאכותית הסינית: מעבר ל-DeepSeek
הופעתה של DeepSeek כשחקנית בולטת בזירת הבינה המלאכותית הייתה זרז, המדגים את נחישותה של סין להפוך למובילה עולמית בטכנולוגיה טרנספורמטיבית זו. עם זאת, DeepSeek היא רק דוגמה אחת, ועלייתה של גוקו, עם מסגרת האימונים SASR שלה, ממחישה עוד יותר את הכוח והחדשנות הגוברת בתוך המערכת האקולוגית של הבינה המלאכותית הסינית.
מספר גורמים תורמים לתנופה זו. ראשית, לסין יש מאגר עצום של נתונים, החיוני לאימון מודלים של בינה מלאכותית. עם אוכלוסייה גדולה ואימוץ נרחב של טכנולוגיות דיגיטליות, לחברות סיניות יש גישה למערכי נתונים מסיביים שניתן להשתמש בהם כדי לפתח ולחדד את אלגוריתמי הבינה המלאכותית שלהן.
שנית, לסין יש דגש חזק על השכלה STEM, המייצרת מספר רב של מהנדסים ומדענים מוכשרים. זה יצר כוח עבודה מיומן ביותר המסוגל להניע חדשנות בתחום הבינה המלאכותית ותחומים קשורים.
שלישית, ממשלת סין הפכה את הבינה המלאכותית לסדרי עדיפויות אסטרטגיים, וסיפקה מימון ותמיכה משמעותיים למחקר ופיתוח. זה יצר סביבה פורייה עבור סטארט-אפים בתחום הבינה המלאכותית וטיפח שיתוף פעולה בין האקדמיה והתעשייה.
לבסוף, חברות סיניות לרוב מוכנות לנקוט גישה פרגמטית ונוטלת סיכונים יותר לחדשנות, מה שמאפשר להן לנוע במהירות ולהתנסות ברעיונות חדשים.
כתוצאה מגורמים אלה, סין מדביקה במהירות את הפער עם ארה"ב מבחינת יכולות בינה מלאכותית. בעוד שארה"ב עדיין מובילה בתחומים מסוימים, כגון מחקר בסיסי וחומרה מתקדמת, סין עושה צעדים משמעותיים בתחומים כמו ראייה ממוחשבת, עיבוד שפה טבעית ורובוטיקה.
הופעתן של חברות כמו גוקו ו-DeepSeek מעידה שסין נמצאת בעמדה טובה להמשיך בעלייתה בתחום הבינה המלאכותית בשנים הבאות.
Shanghai Goku Technologies: החברה מאחורי innovation
Shanghai Goku Technologies היא קרן מסחר כמותי שהוקמה בשנת 2015. היא מנהלת נכסים משמעותיים באמצעות אסטרטגיות מונעות בינה מלאכותית. המשימה המוצהרת של החברה היא “לשלב טכנולוגיה וניתוח בסיסי” כדי לתת תשואות טובות יותר ללקוחותיה. מלבד עסקי הליבה שלה בניהול נכסים, גוקו הפגינה מחויבות לדחיפת גבולות מחקר הבינה המלאכותית. AllMind Artificial Intelligence Technology, חברת הבת של הבינה המלאכותית, מייצגת מהלך אסטרטגי כדי למסד ולהאיץ את מאמצי מחקר הבינה המלאכותית שלה.
פרטים על המבנה הפנימי והדינמיקה התפעולית של החברה נותרו דלים יחסית. עם זאת, ההצהרות הפומביות והפעילויות האחרונות שלה מציעות תובנות לגבי הגישה שלה. הסלוגן של החברה, המתורגם ל”הלוגיקה והאמת הם העקרונות היחידים שאנו מצייתים להם”, משקף תרבות מונעת נתונים ואנליטית. ההשקעה במחקר ופיתוח של בינה מלאכותית מעידה על חזון ארוך טווח ומודעות לפוטנציאל הטרנספורמטיבי של בינה מלאכותית, לא רק בתוך המגזר הפיננסי אלא גם בתעשיות שונות. סביר להניח שגוקו מתכוונת למנף תובנות ממחקר בינה מלאכותית כדי לשפר את אסטרטגיות המסחר שלה ולזכות ביתרון תחרותי בשוק.