בזירה עתירת הסיכונים של הבינה המלאכותית, שבה ענקים מתנגשים ופריצות דרך מעצבות מחדש את הנוף כמעט בן לילה, מתמודדת חדשה יחסית מסין מושכת תשומת לב עולמית. DeepSeek, סטארט-אפ AI שמקורותיו נעוצים רק בשנת 2023, עבר במהירות מאלמוניות לחזית הדיונים, מונע על ידי הדגמות טכנולוגיות מרשימות והבאזז המתמשך סביב הקפיצה הפוטנציאלית הבאה שלו. בעוד העולם מצפה ליורש של המודלים שכבר זכו לשבחים, DeepSeek, בשיתוף פעולה עם מוחות אקדמיים, חשפה בשקט טכניקה חדשה ומתוחכמת שמטרתה להתמודד עם אחד האתגרים העיקשים ביותר של ה-AI: חשיבה מתקדמת.
אתגר הקוגניציה המורכב של AI
הדור הנוכחי של מודלי שפה גדולים (LLMs) הדהים את העולם ביכולתו לייצר טקסט דמוי אנושי, לתרגם שפות ואפילו לכתוב קוד. עם זאת, המעבר מעבר לזיהוי תבניות ויצירת טקסט הסתברותית לעבר חשיבה אמיתית – היכולת לעבד מידע באופן לוגי, להסיק מסקנות ולפתור בעיות מורכבות – נותר משוכה משמעותית. זה ההבדל בין AI שיכול לתאר לוח שחמט לבין כזה שיכול לתכנן אסטרטגיה כמו רב-אמן. השגת רמה עמוקה יותר זו של יכולת קוגניטיבית היא הגביע הקדוש עבור מעבדות מחקר רבות, ומבטיחה מערכות AI שהן לא רק רהוטות אלא גם אינטליגנטיות באמת ושותפות אמינות במשימות מורכבות. מרדף זה דורש גישות חדשניות החורגות מעבר להגדלה פשוטה של גודל המודל או נתוני האימון. הוא דורש מתודולוגיות חדשות ללמד את המוחות הדיגיטליים המורכבים הללו כיצד לחשוב, לא רק מה לומר.
סלילת דרך חדשה: הסינרגיה של GRM וביקורת מבוססת עקרונות
על רקע זה, DeepSeek, בשיתוף פעולה עם חוקרים מאוניברסיטת Tsinghua היוקרתית, הציגה מתודולוגיה שעשויה להיות פורצת דרך. גישתם, המפורטת במאמר שפורסם במאגר המדעי arXiv, אינה כדור כסף יחיד אלא שילוב מובנה בקפידה של שתי טכניקות נפרדות: Generative Reward Modelling (GRM) ו-Self-Principled Critique Tuning.
בואו נפרק את האסטרטגיה הכפולה הזו:
Generative Reward Modelling (GRM): במהותו, מודל תגמול ב-AI נועד לכוון את התנהגות המודל לעבר תוצאות שבני אדם רואים כרצויות או נכונות. באופן מסורתי, זה עשוי לכלול בני אדם המדרגים תגובות AI שונות, ויוצרים מערך נתונים של העדפות שהמודל לומד ממנו. נראה ש-GRM מייצג אבולוציה של מושג זה, וככל הנראה כולל שיטות שבהן אותות התגמול עצמם נוצרים או מעודנים באופן דינמי או מתוחכם יותר, מה שעשוי להפחית את ההסתמכות על תיוג אנושי מייגע תוך לכידה יעילה של העדפות אנושיות מורכבות. המטרה היא להקנות ל-LLM הבנה טובה יותר של מה מהווה תשובה ‘טובה’, לא רק כזו שנכונה דקדוקית או סבירה סטטיסטית. מדובר ביישור המצפן הפנימי של ה-AI עם ערכים ומטרות אנושיים.
Self-Principled Critique Tuning: רכיב זה מציע מנגנון מסקרן לשיפור עצמי. במקום להסתמך אך ורק על משוב חיצוני (אנושי או שנוצר על ידי מודל), ה-LLM מאומן פוטנציאלית להעריך את תהליכי החשיבה שלו עצמו בהתבסס על קבוצה של עקרונות או כללים מוגדרים מראש. זה יכול לכלול את המודל הלומד לזהות כשלים לוגיים, חוסר עקביות או סטיות מדפוסי חשיבה רצויים בתוך הפלטים שהוא מייצר. זה דומה ללמד את ה-AI לא רק את התשובות, אלא את העקרונות הבסיסיים של לוגיקה וחשיבה ביקורתית, מה שמאפשר לו לחדד את תגובותיו באופן אוטונומי. לולאת ביקורת פנימית זו יכולה לשפר משמעותית את החוסן והאמינות של יכולות החשיבה של המודל.
החוקרים טוענים כי מודלים המשלבים טכניקה משולבת זו, המכונה DeepSeek-GRM, הראו הצלחה ניכרת. על פי מאמרם, מודלים אלה השיגו רמות ביצועים ‘תחרותיות’ מול מודלי תגמול ציבוריים קיימים וחזקים. טענה זו, אם תאומת באמצעות בדיקות ויישומים רחבים יותר, מצביעה על צעד משמעותי קדימה בפיתוח LLMs שיכולים לחשוב בצורה יעילה ויעילה יותר, ולספק תוצאות איכותיות יותר מהר יותר כאשר הם מתמודדים עם שאילתות משתמש מגוונות. היא מסמנת נתיב פוטנציאלי למערכות AI שהן לא רק חזקות אלא גם מיושרות יותר עם הציפיות האנושיות לקוהרנטיות לוגית ודיוק.
החישוב האסטרטגי של פתיחות
בהוספת רובד נוסף לאסטרטגיה שלהם, חוקרי DeepSeek ו-Tsinghua ציינו כוונה להפוך את מודלי DeepSeek-GRM לקוד פתוח. בעוד לוח זמנים ספציפי נותר לא ידוע, מהלך זה מתיישב עם מגמה גוברת, אם כי מורכבת, בתעשיית ה-AI.
מדוע חברה המפתחת טכנולוגיה שעשויה להיות חדישה תבחר לשתף אותה? המניעים יכולים להיות מרובי פנים:
- מעורבות קהילתית ומשוב: שחרור מודלים לתחום הקוד הפתוח מזמין בדיקה, בחינה ושיפור מצד קהילת המפתחים העולמית. זה יכול להאיץ את הפיתוח, לחשוף פגמים ולטפח חדשנות הרבה מעבר ליכולתו של ארגון בודד.
- בניית אמון ושקיפות: בתחום המאופיין לעיתים באטימות, קוד פתוח יכול לבנות רצון טוב ולבסס חברה כשחקנית שיתופית המחויבת לקידום הטכנולוגיה באופן קולקטיבי. DeepSeek עצמה הדגישה בעבר מחויבות ל’התקדמות כנה בשקיפות מלאה’ כאשר שחררה מאגרי קוד מוקדם יותר השנה.
- קביעת סטנדרטים והנעת אימוץ: הפיכת מודל או טכניקה חזקים לזמינים באופן חופשי יכולה לעודד את אימוצם הנרחב, ועלולה לבסס אותם כסטנדרט דה פקטו ולבנות מערכת אקולוגית סביב הטכנולוגיה של החברה.
- משיכת כישרונות: תרומות לקוד פתוח משמשות לעתים קרובות כמגנט רב עוצמה למשיכת כישרונות AI מובילים, שלעתים קרובות נמשכים לסביבות המעודדות פתיחות ושיתוף פעולה.
- דינמיקה תחרותית: במקרים מסוימים, קוד פתוח יכול להיות מהלך אסטרטגי כדי להתמודד עם הדומיננטיות של מודלים סגורים וקנייניים המוצעים על ידי מתחרים גדולים יותר, ליישר את מגרש המשחקים או להפוך שכבות מסוימות של ערימת הטכנולוגיה לסחורה.
הכוונה המוצהרת של DeepSeek להפוך את GRM לקודפתוח, בעקבות שחרור מאגרי הקוד הקודמים שלה, מצביעה על אסטרטגיה מכוונת המאמצת היבטים מסוימים של פתיחות, גם כשהיא שומרת על מידה של שיקול דעת תאגידי בנוגע להשקות מוצרים עתידיות. שקיפות מחושבת זו עשויה להתברר כחיונית בבניית מומנטום ואמינות בנוף ה-AI העולמי התחרותי ביותר.
הדי הצלחה ולחישות על הבאות
המאמר האקדמי המפרט את מתודולוגיית החשיבה החדשה מגיע על רקע תחושת ציפייה מוחשית סביב מסלול העתיד של DeepSeek. החברה עדיין רוכבת על גל של הכרה שנוצר על ידי השחרורים הקודמים שלה:
- DeepSeek-V3: מודל הבסיס שלה זכה לתשומת לב משמעותית, במיוחד לאחר שדרוג במרץ 2024 (DeepSeek-V3-0324) שהתפאר בחשיבה משופרת, יכולות פיתוח אתרים משופרות וכישורי כתיבה סינית מיומנים יותר.
- DeepSeek-R1: מודל זה, המתמקד בחשיבה, עשה גלים משמעותיים, וזעזע את קהילת הטכנולוגיה העולמית עם אמות המידה המרשימות שלו לביצועים, במיוחד ביחס לעלות החישובית שלו. הוא הדגים כי ניתן להשיג יכולות חשיבה ברמה גבוהה בצורה יעילה יותר, תוך אתגור מנהיגים מבוססים.
רקורד זה מתדלק באופן בלתי נמנע ספקולציות לגבי האיטרציה הבאה, ככל הנראה DeepSeek-R2. דיווח של Reuters בסוף האביב הצביע על כך ששחרור R2 עשוי להיות קרוב, אולי כבר ביוני 2024, מה שמצביע על שאיפה בתוך החברה לנצל במהירות את הפרופיל העולה שלה. עם זאת, DeepSeek עצמה שמרה על שתיקה בולטת בנושא דרך ערוציה הרשמיים. באופן מסקרן, התקשורת הסינית דיווחה כי חשבון שירות לקוחות הקשור לחברה הכחיש את לוח הזמנים הקרוב לשחרור בקבוצת צ’אט פרטית עם לקוחות עסקיים.
הסתייגות זו אופיינית לסגנון הפעולה של DeepSeek עד כה. למרות שמצאה את עצמה באור הזרקורים העולמי, הסטארט-אפ מהאנגג’ואו, שהוקם על ידי היזם Liang Wenfeng, נמנע במידה רבה מהצהרות פומביות וממסעות שיווק רועשים. נראה שהמיקוד שלה מכוון באינטנסיביות למחקר ופיתוח, ומאפשר לביצועי המודלים שלה לדבר בעד עצמם. גישת ‘להראות, לא לספר’ זו, למרות שאולי מתסכלת עבור משקיפי שוק הלהוטים למפות דרכים מוגדרות, מדגישה מחויבות להתקדמות טכנולוגית מהותית על פני הייפ מוקדם מדי.
הכוח מאחורי הכתר: מנהיגות בעלת חזון וכוח פיננסי
הבנת העלייה המהירה של DeepSeek דורשת התבוננות במייסדה ובגיבוי הפיננסי שלה. Liang Wenfeng, היזם בן ה-40 מאחורי המיזם, אינו רק בעל חזון בתחום ה-AI אלא גם מייסד חברת האם של DeepSeek, High-Flyer Quant.
קשר זה הוא מרכזי. High-Flyer Quant היא קרן גידור מצליחה, והמשאבים הפיננסיים המשמעותיים שלה מספקים את הדלק החיוני למאמצי המחקר והפיתוח עתירי החישוב של DeepSeek. אימון מודלי LLM חדישים דורש כוח מחשוב עצום ומאגרי נתונים רחבי היקף, המייצגים חסם כניסה פיננסי משמעותי. הגיבוי של High-Flyer Quant מספק למעשה ל-DeepSeek את הכיסים העמוקים הדרושים כדי להתחרות טכנולוגית, ומממן את החומרה היקרה, גיוס הכישרונות והניסויים הנרחבים הנדרשים כדי לדחוף את גבולות ה-AI.
קיימת גם סינרגיה פוטנציאלית בין עולמות הפיננסים הכמותיים והבינה המלאכותית. שני התחומים מסתמכים במידה רבה על עיבוד כמויות אדירות של נתונים, זיהוי דפוסים מורכבים ובניית מודלים חיזויים מתוחכמים. המומחיות שפותחה בתוך High-Flyer Quant בטיפול בנתונים פיננסיים ואלגוריתמים עשויה בהחלט לספק הפריה הדדית חשובה למאמצי ה-AI של DeepSeek.
Liang Wenfeng עצמו אינו רק מממן אלא גם תורם טכנית. בפברואר 2024, הוא היה שותף לכתיבת מחקר טכני שחקר ‘native sparse attention’, טכניקה שמטרתה להפוך את ה-LLMs ליעילים יותר בעת עיבוד הקשרים גדולים מאוד או כמויות גדולות של נתונים – תחום קריטי נוסף לקידום יכולות ה-AI. שילוב זה של מנהיגות יזמית, תובנה טכנית וגיבוי פיננסי משמעותי יוצר שילוב רב עוצמה המניע את התקדמותה של DeepSeek.
ניווט בנוף ה-AI הגלובלי: טכנולוגיה, שאפתנות וגיאופוליטיקה
לא ניתן לראות את הופעתה והתקדמותה הטכנולוגית של DeepSeek במנותק. הן מתרחשות בהקשר הרחב יותר של תחרות עולמית אינטנסיבית בבינה מלאכותית, במיוחד בין ארצות הברית לסין. שתי המדינות רואות בעליונות ב-AI חשיבות קריטית לצמיחה כלכלית עתידית ולביטחון לאומי, מה שמוביל להשקעות מסיביות וליוזמות אסטרטגיות.
בסביבה זו, חברות בולטות כמו DeepSeek מושכות באופן בלתי נמנע תשומת לב לאומית. חשיבות הדבר הודגשה בסוף פברואר 2024, כאשר Liang Wenfeng השתתף בסימפוזיון ב-Beijing שהתמקד ביזמי טכנולוגיה, ואירח אותו נשיא סין Xi Jinping עצמו. הכללת מייסד DeepSeek במפגש כה רם דרג מסמנת הכרה ברמות הגבוהות ביותר וממקמת את הסטארט-אפ כנושא דגל פוטנציאלי לשאיפות ה-AI של סין.
DeepSeek זוכה לשבחים גוברים, הן בבית והן בעולם, כעדות לחוסן הטכנולוגי של סין וליכולתה לחדש בחזית ה-AI, למרות המאמצים המתמשכים של ה-US להגביל את הגישה של סין לטכנולוגיית מוליכים למחצה מתקדמת החיונית לפיתוח AI. אור הזרקורים הלאומי הזה מביא עמו הזדמנויות ולחצים כאחד. הוא יכול לפתוח משאבים ותמיכה נוספים אך גם עלול להכפיף את החברה לבדיקה גיאופוליטית רבה יותר.
בעוד DeepSeek ממשיכה בעבודתה, מחדדת מתודולוגיות חשיבה כמו GRM וביקורת עצמית מבוססת עקרונות, ייתכן שמכינה את הדור הבא של מודל R2 שלה, ומנווטת את אסטרטגיית הפתיחות המחושבת שלה, היא עושה זאת לא רק כחברת טכנולוגיה, אלא כשחקנית משמעותית על לוח שחמט גלובלי מורכב. מסעה מייצג מקרה מבחן מרתק בשאפתנות, חדשנות, מימון אסטרטגי, והמשחק המורכב בין התקדמות טכנולוגית לאינטרס לאומי במרוץ הטכנולוגי המגדיר של זמננו. המיקוד השקט במחקר ופיתוח, בשילוב עם שחרורים תקופתיים של טכנולוגיה מרשימה באמת, מצביע על אסטרטגיה ארוכת טווח שמטרתה לבנות מנהיגות בת קיימא בתחום הקריטי של חשיבה בבינה מלאכותית.