בהתנגשות מרתקת בין עידנים טכנולוגיים, צץ נרטיב המגשר בין הימים הראשונים של המחשוב הביתי הנפוץ לבין חזית הבינה המלאכותית. Marc Andreessen, דמות בולטת בעולם הטכנולוגיה ומייסד שותף של קרן ההון סיכון המשפיעה Andreessen Horowitz, הדגיש לאחרונה הישג יוצא דופן: גרסה קומפקטית של מודל הבינה המלאכותית Llama של Meta הופעלה בהצלחה על מחשב המריץ את מערכת ההפעלה הוותיקה Windows 98, המצויד ב-128 מגה-בייט של RAM בלבד. גילוי זה משמש תזכורת חזקה לפוטנציאל טכנולוגי ומעלה שאלות מסקרנות לגבי המסלול ההיסטורי של המחשוב.
עצם הרעיון של הרצת AI מתוחכם, אפילו מוקטן, על חומרה מלפני למעלה מרבע מאה נראה כמעט פרדוקסלי. AI גנרטיבי מודרני, הטכנולוגיה המניעה כלים כמו ChatGPT ו-Copilot של Microsoft עצמה, מזוהה בדרך כלל עם מעבדים חזקים, הקצאות זיכרון משמעותיות, ולעיתים קרובות, תשתית מבוססת ענן. Microsoft עצמה השקיעה רבות בשילוב יכולות AI, במיוחד העוזר שלה Copilot, עמוק במערכת ההפעלה האחרונה שלה, Windows 11, ובדור חדש של חומרה המכונה Copilot+ PCs, שתוכננה במפורש תוך מחשבה על עומסי עבודה של AI. ניגוד זה הופך את הניסוי ב-Windows 98 למדהים עוד יותר. הוא מאתגר את ההנחות שלנו לגבי המשאבים הנחוצים באמת לפונקציות AI מסוימות ומציע הצצה לציר זמן טכנולוגי חלופי.
החייאת העבר: המאמץ ההרקוליאני מאחורי הניסוי
בעוד Andreessen הפנה תשומת לב רחבה יותר להישג זה, נראה שהעבודה הטכנית הכבדה נובעת מעבודה מוקדמת יותר, בעיקר על ידי הצוות ב-Exo Labs. מסעם לשכנע AI מודרני לפעול על מכונות וינטג’ כאלה היה רחוק מלהיות פשוט; זה היה תרגיל בארכיאולוגיה דיגיטלית ופתרון בעיות יצירתי, המדגיש את ההבדלים העצומים בין המחשוב אז והיום.
המכשול הראשון כלל לוגיסטיקה בסיסית ותאימות חומרה. מציאת חומרה פונקציונלית מתקופת Windows 98 היא מאתגרת מספיק. אך מעבר להפעלת המכונה בלבד, הצוות נזקק לציוד היקפי. ממשקי USB מודרניים, הנפוצים כיום, לא היו סטנדרטיים בשיא תהילתו של Windows 98. הדבר הצריך השגת התקני קלט תואמים המשתמשים במחברי PS/2 הישנים יותר – מקלדות ועכברים שחובבי טכנולוגיה צעירים רבים אולי מעולם לא נתקלו בהם.
לאחר שההתקנה הפיזית טופלה, המכשול המשמעותי הבא היה העברת נתונים. כיצד מעבירים את קבצי מודל ה-AI וכלי הפיתוח הדרושים למכונה חסרת אפשרויות קישוריות מודרניות כמו יציאות USB מהירות או שילוב רשת חלק? סביר להניח שהדבר כלל פנייה לשיטות ישנות ואיטיות יותר, אולי צריבת קבצים על תקליטורי CD או שימוש בפרוטוקולי רשת מוגבלים של התקופה, מה שהפך העתקת קבצים פשוטה לתהליך שעלול לגזול זמן רב.
האתגר הטכני המרכזי, עם זאת, היה בקומפילציה של קוד מודרני לסביבה עתיקה. מודל ה-AI, המבוסס על ארכיטקטורת Llama של Meta, בנוי באמצעות פרקטיקות ושפות תכנות עכשוויות. הפיכת קוד זה למובן וניתן להרצה על ידי Windows 98 דרשה קומפיילר – תוכנה המתרגמת קוד מקור לשפת מכונה – שיוכל לרוץ על מערכת ההפעלה הישנה וגם להתמודד עם המורכבויות של קוד ה-AI.
Exo Labs פנו בתחילה ל-Borland C++ 5.02, בעצמו פיסת היסטוריה של תוכנה – סביבת פיתוח משולבת (IDE) וקומפיילר בני 26 שנים שרצו באופן טבעי על Windows 98. בחירה זו ייצגה גשר פוטנציאלי בין בסיס הקוד המודרני למערכת ההפעלה הוינטג’ית. עם זאת, הדרך הייתה רצופה סיבוכים. המורכבויות של תקני C++ מודרניים וספריות התבררו כקשות ליישוב עם היכולות והמגבלות של הקומפיילר של Borland וסביבת Windows 98. בעיות תאימות צצו, ואילצו את הצוות לשנות כיוון.
הפתרון שלהם כלל נסיגה לגרסה ישנה יותר של שפת התכנות C. בעוד ש-C היא שפה יסודית והמבשרת של C++, שימוש בתקן C ישן יותר פירושו הקרבת חלק מההפשטות והנוחות ברמה הגבוהה יותר של C++. הדבר דרש תהליך קידוד מייגע יותר, ניהול ידני של אלמנטים כמו פונקציות ומשתנים ש-C++ מטפלת בהם באלגנטיות רבה יותר. ההתקדמות הייתה איטית בהכרח, ודרשה תשומת לב קפדנית לפרטים כדי למנוע שגיאות שכלי הפיתוח הישנים יותר אולי לא יזהו בקלות.
לחץ הזיכרון: אילוף Llama למשאבים מוגבלים
אולי המגבלה המרתיעה ביותר הייתה הזיכרון הגישה האקראית (RAM) המוגבל ביותר. המכונה המיועדת החזיקה רק 128 מגה-בייט של RAM. כדי לשים זאת בפרספקטיבה, סמארטפונים מודרניים מגיעים באופן שגרתי עם 8, 12 או אפילו 16 ג’יגה-בייט של RAM (ג’יגה-בייט הוא בערך 1000 מגה-בייט). מחשבים אישיים מתקדמים המיועדים למשחקים או לעבודה מקצועית כוללים לעיתים קרובות 32GB, 64GB או יותר. הרצת יישום מורכב כמו מודל AI בתוך טביעת רגל זיכרון זעירה כזו דומה לביצוע ניתוח מורכב בארון מטאטאים.
משפחת המודלים Llama של Meta, למרות שנחשבת בדרך כלל ליעילה יותר במשאבים מאשר ענקים כמו GPT-4 של OpenAI, עדיין כוללת גרסאות עם מיליארדי פרמטרים. ארכיטקטורת Llama 2, למשל, כוללת מודלים המגיעים עד 70 מיליארד פרמטרים. מודלים גדולים אלה דורשים כוח חישובי משמעותי, ובאופן מכריע, כמויות עצומות של זיכרון כדי לטעון את משקולות המודל ולנהל את החישובים הכרוכים בעיבוד מידע ויצירת תגובות. מודל Llama 2 סטנדרטי לא יהיה מסוגל כלל לרוץ במגבלת 128MB.
לכן, הצלחת הניסוי הייתה תלויה בשימוש או פיתוח של איטרציה מותאמת במיוחד וקטנה משמעותית של ארכיטקטורת Llama. גרסה מיוחדת זו הייתה צריכה להיות מותאמת במיוחד לתפקוד תחת מגבלות חומרה חמורות. סביר להניח שהיא כללה טכניקות כגון קוונטיזציה של מודלים (הפחתת הדיוק של המספרים המשמשים בחישובי המודל) וגיזום (הסרת חלקים פחות חשובים של הרשת העצבית) כדי לכווץ באופן דרסטי את טביעת הרגל הזיכרונית והחישובית שלה. Exo Labs העמידו את הגרסה המותאמת שלהם לזמינות ב-GitHub, והציגו את השינויים הספציפיים שנדרשו.
ה-AI הזעיר הזה, שרץ על חומרה מיושנת, לא היה בעל הידע הרחב או היכולות השיחתיות המדויקות של בני דודיו הגדולים יותר, המופעלים בענן. יכולותיו היו מוגבלות. עם זאת, עצם העובדה שהוא יכול לרוץ ולבצע משימות גנרטיביות בסיסיות מייצגת הישג טכני משמעותי. זה מדגים שניתן, באופן עקרוני, להקטין באופן דרמטי את מושגי הליבה של מודלי שפה גדולים, גם אם התועלת המעשית מוגבלת בקיצוניות כזו.
הפרובוקציה של Andreessen: ציר זמן אבוד למחשוב שיחתי?
Marc Andreessen ניצל את ההדגמה הטכנית הזו כדי להעלות נקודה רחבה ופרובוקטיבית יותר לגבי ההיסטוריה והעתיד הפוטנציאלי של המחשוב. הרהוריו לא היו רק על הסקרנות הטכנית של הרצת תוכנה חדשה על חומרה ישנה; זו הייתה הרהור על היסטוריה חלופית אפשרית של אינטראקציה בין אדם למחשב.
הוא ביטא זאת בכך שהציע שהפעולה המוצלחת של Llama על מחשב Dell בן 26 מרמזת על הזדמנות שהוחמצה במשך עשורים. “כל המחשבים הישנים האלה יכלו פשוטו כמשמעו להיות חכמים כל הזמן הזה”, טען Andreessen. “יכולנו לדבר עם המחשבים שלנו כבר 30 שנה”.
הצהרה זו מזמינה אותנו לדמיין עולם שבו מסלול פיתוח ה-AI התכנס באופן שונה עם עליית המחשוב האישי. במקום שמחשבים אישיים יהיו בעיקר כלים לחישוב, יצירת מסמכים, ובסופו של דבר, גישה לאינטרנט, אולי הם יכלו להתפתח לשותפים שיחתיים הרבה יותר מוקדם. התמונה המועלית היא של משתמשים המקיימים אינטראקציה עם מכונות ה-Windows 95, 98, או אפילו מוקדמות יותר שלהם באמצעות שפה טבעית, שואלים שאלות, מקבלים סיוע ומנהלים דיאלוג באופן שהפך למציאות מיינסטרימית רק עם הופעתם של עוזרים דיגיטליים מודרניים ו-LLMs מתוחכמים.
כמובן, זו קפיצה קונטרפקטואלית משמעותית. AI גנרטיבי, כפי שאנו מבינים אותו כיום, עם הסתמכותו על מערכי נתונים מסיביים, ארכיטקטורות רשת עצביות מתוחכמות (כמו ארכיטקטורת ה-Transformer העומדת בבסיס מודלי Llama ו-GPT), וכוח חישובי עצום לאימון, הוא תופעה חדשה יחסית. מחקר ה-AI של שנות ה-80 וה-90, למרות שהיה שאפתני, התמקד בפרדיגמות שונות, כגון מערכות מומחים והיסק סמלי. החומרה של התקופה, למרות שהייתה מסוגלת להריץ את ה-Llama המצומצם שהודגם על ידי Exo Labs, הייתה חלשה בסדרי גודל ממערכות היום, ומערכי הנתונים הדיגיטליים העצומים הדרושים לאימון מודלים גנרטיביים מוכשרים פשוט לא היו קיימים בצורה נגישה.
Andreessen הכיר בהקשר זה, וציין את האופטימיות של בום ה-AI בשנות ה-80: “הרבה אנשים חכמים בשנות ה-80 חשבו שכל זה יקרה אז”. עידן זה ראה השקעות ומחקר משמעותיים בבינה מלאכותית, אך בסופו של דבר הוביל ל”חורף AI” – תקופה של מימון ועניין מופחתים כאשר הטכנולוגיה לא הצליחה לעמוד בהבטחותיה השאפתניות ביותר. המגבלות בכוח החישוב, זמינות הנתונים והגישות האלגוריתמיות היו עמוקות.
לכן, הערתו של Andreessen מובנת אולי בצורה הטובה ביותר לא כטענה מילולית ש-AI מתוחכם, דמוי אדם, היה אפשרי על חומרת שנות ה-90 באופן שבו אנו חווים אותו כעת, אלא כניסוי מחשבתי. היא מדגישה את הפוטנציאל שאולי היה נפתח אם סדרי עדיפויות מחקריים, פריצות דרך אלגוריתמיות ופיתוח חומרה היו הולכים במסלול אחר. היא מדגישה את הרעיון שאבני הבניין לצורה כלשהי של אינטראקציה אינטליגנטית אולי היו ניתנות להשגה טכנית, גם אם התוצאה הייתה פשוטה בהרבה מה-AI של ימינו.
ניגוד בין עידנים: מחלומות Dial-Up למציאות חדורת AI
הניסוי ב-Windows 98 משמש נקודת ניגוד חדה לנוף הנוכחי של שילוב AI. כיום, AI עובר במהירות משירות ממוקד-ענן להיות מוטמע עמוק בתוך מערכת ההפעלה ואפילו בחומרה עצמה.
הדחיפה של Microsoft עם Copilot ו-Copilot+ PCs מדגימה מגמה זו. Windows 11 כולל נקודות כניסה רבות ל-Copilot, המציעות סיוע AI למשימות החל מסיכום מסמכים וניסוח מיילים ועד ליצירת תמונות והתאמת הגדרות מערכת. מפרט ה-Copilot+ PC החדש מחייב הכללת יחידת עיבוד עצבית (NPU) – סיליקון מיוחד שנועד להאיץ חישובי AI ביעילות. הדבר מסמן שינוי מהותי שבו עיבוד AI הופך לפונקציה מרכזית של המחשב האישי, המטופלת באופן מקומי במקום להסתמך אך ורק על שרתים מרוחקים.
גישה מודרנית זו מניחה, וממנפת, משאבים בשפע. Copilot+ PCs דורשים מינימום של 16GB של RAM ואחסון SSD מהיר, מפרטים העולים בהרבה על 128MB הצנועים של מכונת ה-Windows 98. מודלי ה-AI המועסקים, למרות שהם מותאמים לביצוע בצד הלקוח, מורכבים ובעלי יכולות גבוהות בהרבה מגרסת ה-Llama המיניאטורית ששימשה בניסוי. הם נהנים מעשרות שנים של עידון אלגוריתמי, מערכי נתונים מסיביים לאימון, וחומרה שתוכננה במיוחד לצרכיהם.
הניגוד מאיר מספר נקודות:
- אופטימיזציה של תוכנה לעומת התנפחות (Bloat): הניסוי של Exo Labs הוא עדות לאופטימיזציה קיצונית, הכופה אלגוריתמים מודרניים לסביבה מוגבלת ביותר. הוא מבקר במרומז את הנטייה של תוכנה מודרנית להניח משאבי חומרה הולכים וגדלים, מה שמוביל לעיתים לחוסר יעילות או “התנפחות”.
- אבולוציה של חומרה: ההבדל העצום בכוח החישוב ובזיכרון בין מחשב PC טיפוסי משנת 1998 לבין Copilot+ PC משנת 2024 הוא מדהים, ומייצג דורות מרובים של חוק מור וחדשנות ארכיטקטונית.
- נגישות לנתונים: האימון של LLMs מודרניים מסתמך על מערכי נתונים בקנה מידה אינטרנטי שלא היו ניתנים לדמיון בעידן Windows 98. היקום הדיגיטלי היה פשוט קטן מדי ומנותק מדי אז.
- פריצות דרך אלגוריתמיות: פיתוח ארכיטקטורות כמו מודל ה-Transformer בשנת 2017 היה רגע מכונן, שאפשר את קנה המידה והביצועים הנראים ב-AI הגנרטיבי של ימינו. לגישות AI מוקדמות יותר היו מגבלות יסודיות.
בעוד Andreessen חולם על מחשבים מדברים לפני 30 שנה, המציאות היא שהמפגש של כוח חומרה, זמינות נתונים וחדשנות אלגוריתמית הנדרש לחוויית ה-AI של ימינו התרחש רק לאחרונה.
מה כל זה אומר? הרהורים מעבר לנוסטלגיה
האם הפריסה המוצלחת של מודל Llama על Windows 98 היא רק פריצה חכמה, פעלול נוסטלגי לחובבי טכנולוגיה? או שמא יש לה משמעות עמוקה יותר? ניתן לטעון שהיא משרתת מספר מטרות:
- הדגמת סקלביליות קיצונית: היא מוכיחה שניתן להתאים את העקרונות הבסיסיים מאחורי מודלי שפה גדולים לפעולה תחת מגבלות משאבים הדוקות להפליא. לכך יש השלכות פוטנציאליות לפריסת AI על מערכות משובצות דלות-הספק, התקני IoT, או חומרה ישנה יותר שעדיין בשימוש בחלקים שונים של העולם.
- הדגשת כוחן של מגבלות: עבודה במסגרת מגבלות חמורות מאלצת לעיתים קרובות חדשנות ויעילות. צוות Exo Labs נאלץ למצוא פתרונות יצירתיים ולבצע אופטימיזציה ללא רחם, מיומנויות בעלות ערך גם בסביבות עשירות במשאבים.
- אתגור הנחות: היא מעוררת הרהור בשאלה האם כל כוח החישוב והזיכרון המשמשים יישומים מודרניים נחוצים בהחלט לערך שהם מספקים. האם תוכנה מסוימת יכולה להיות רזה ויעילה יותר?
- המחשת המקריות של נתיבים טכנולוגיים: ההיסטוריה לעיתים רחוקות עוקבת אחר קו ישר. העובדה שאיזושהי AI בסיסית אולי הייתה אפשרית על חומרה ישנה יותר מדגישה כיצד בחירות שונות, כיווני מחקר, או אפילו תגליות מקריות יכלו להוביל אותנו בנתיב טכנולוגי אחר.
ניסוי זה אינו משכתב את ההיסטוריה, וגם אינו אומר שחוויות ה-AI המתוחכמות של 2024 היו ניתנות להשגה איכשהו בשנת 1998. הפער בטכנולוגיות המאפשרות – כוח עיבוד, זיכרון, נתונים, אלגוריתמים – נותר עצום. עם זאת, הוא מספק נקודת נתונים מרתקת, עדות לכושר המצאה הנדסי, וזרז להרהור על הדרך המתפתלת של הקידמה הטכנולוגית. הוא מזכיר לנו שלעיתים ניתן להתגבר על מגבלות העבר באמצעות הידע של היום, מה שמניב תוצאות מפתיעות ומניע אותנו לשקול מחדש מה עשוי להיות אפשרי, הן כעת והן בעתיד. הרוח במכונה הישנה לוחשת לא רק על מה שהיה, אלא אולי גם על פוטנציאל לא מנוצל השוכן בפשטות וביעילות.