В завладяващ сблъсък на технологични епохи се появи разказ, който свързва ранните дни на масовото разпространение на домашните компютри с върха на изкуствения интелект. Marc Andreessen, видна фигура в света на технологиите и съосновател на влиятелната фирма за рисков капитал Andreessen Horowitz, наскоро изтъкна забележително постижение: компактна версия на модела за изкуствен интелект Llama на Meta беше успешно стартирана на компютър, работещ с уважаемата операционна система Windows 98, оборудван само със 128 мегабайта RAM. Това разкритие служи като мощно напомняне за технологичния потенциал и повдига интригуващи въпроси за историческата траектория на компютърните технологии.
Самата идея за стартиране на сложен AI, дори и в умален мащаб, на хардуер отпреди повече от четвърт век изглежда почти парадоксална. Съвременният генеративен AI, технологията, задвижваща инструменти като ChatGPT и собствения Copilot на Microsoft, обикновено се свързва с мощни процесори, значителни обеми памет и често с облачна инфраструктура. Самият Microsoft инвестира сериозно в интегрирането на AI възможности, особено на своя асистент Copilot, дълбоко в най-новата си операционна система Windows 11 и в ново поколение хардуер, наречен Copilot+ PCs, проектиран изрично с мисъл за AI натоварвания. Този контраст прави експеримента с Windows 98 още по-поразителен. Той оспорва нашите предположения за ресурсите, които са наистина необходими за определени AI функции, и предлага поглед към алтернативна технологична времева линия.
Възкресяване на миналото: Херкулесовите усилия зад експеримента
Докато Andreessen привлече по-широко внимание към това постижение, тежката техническа работа изглежда произтича от по-ранни усилия, по-специално на екипа на Exo Labs. Тяхното пътуване да накарат модерен AI да работи на такава стара машина далеч не беше лесно; това беше упражнение по дигитална археология и творческо решаване на проблеми, подчертаващо огромните разлики между компютърните технологии тогава и сега.
Първото препятствие включваше основна логистика и хардуерна съвместимост. Намирането на функциониращ хардуер от ерата на Windows 98 е достатъчно предизвикателство. Но освен простото стартиране на машината, екипът се нуждаеше от периферия. Съвременните USB интерфейси, повсеместни днес, не бяха стандартни по времето на разцвета на Windows 98. Това наложи намирането на съвместими входни устройства, използващи по-старите PS/2 конектори – клавиатури и мишки, които много по-млади технологични ентусиасти може би никога не са срещали.
След като физическата настройка беше решена, следващото значително препятствие беше прехвърлянето на данни. Как да прехвърлите необходимите файлове на AI модела и инструментите за разработка на машина, лишена от съвременни опции за свързване като високоскоростни USB портове или безпроблемна мрежова интеграция? Това вероятно е включвало прибягване до по-стари, по-бавни методи, може би записване на файлове на CD дискове или използване на ограничени мрежови протоколи от онова време, превръщайки простото копиране на файлове в потенциално времеемък процес.
Основното техническо предизвикателство обаче се криеше в компилирането на модерен код за древна среда. AI моделът, базиран на архитектурата Llama на Meta, е изграден с помощта на съвременни програмни практики и езици. За да стане този код разбираем и изпълним от Windows 98, беше необходим компилатор – програма, която превежда изходния код в машинен език – който може да работи на старата операционна система и да се справи със сложността на AI кода.
Първоначално Exo Labs се обърнаха към Borland C++ 5.02, само по себе си част от софтуерната история – 26-годишна интегрирана среда за разработка (IDE) и комбинация от компилатор, която работеше нативно на Windows 98. Този избор представляваше потенциален мост между съвременната кодова база и старата операционна система. Пътят обаче беше изпълнен с усложнения. Тънкостите на съвременните C++ стандарти и библиотеки се оказаха трудни за съгласуване с възможностите и ограниченията на компилатора Borland и средата на Windows 98. Възникнаха проблеми със съвместимостта, което принуди екипа да промени посоката.
Тяхното решение включваше връщане към по-стара версия на езика за програмиране C. Въпреки че C е основополагащ език и предшественик на C++, използването на по-стар стандарт на C означаваше жертване на някои от абстракциите и удобствата от по-високо ниво на C++. Това изискваше по-трудоемък процес на кодиране, ръчно управление на елементи като функции и променливи, които C++ обработва по-елегантно. Напредъкът неизбежно беше по-бавен, изисквайки щателно внимание към детайла, за да се избегнат грешки, които по-старите инструменти за разработка може да не уловят лесно.
Притискане на паметта: Укротяване на Llama за ограничени ресурси
Може би най-страшното ограничение беше изключително ограничената памет с произволен достъп (RAM). Целевата машина притежаваше само 128 мегабайта RAM. За да поставим това в перспектива, съвременните смартфони рутинно се доставят с 8, 12 или дори 16 гигабайта RAM (един гигабайт е приблизително 1000 мегабайта). Високопроизводителните компютри, предназначени за игри или професионална работа, често разполагат с 32GB, 64GB или повече. Стартирането на сложно приложение като AI модел в такъв миниатюрен обем памет е подобно на извършване на сложна операция в килер за метли.
Семейството модели Llama на Meta, макар и като цяло считани за по-ефективни по отношение на ресурсите от гиганти като GPT-4 на OpenAI, все пак обхваща версии с милиарди параметри. Архитектурата Llama 2, например, включва модели, достигащи до 70 милиарда параметри. Тези по-големи модели изискват значителна изчислителна мощност и, което е от решаващо значение, огромни количества памет за зареждане на теглата на модела и управление на изчисленията, свързани с обработката на информация и генерирането на отговори. Стандартен модел Llama 2 би бил напълно неспособен да работи в рамките на ограничение от 128MB.
Следователно успехът на експеримента зависеше от използването или разработването на силно оптимизирана, значително по-малка итерация на архитектурата Llama. Тази специализирана версия трябваше да бъде специално пригодена да функционира при тежки хардуерни ограничения. Вероятно са използвани техники като квантуване на модела (намаляване на точността на числата, използвани в изчисленията на модела) и подрязване (премахване на по-малко важни части от невронната мрежа), за да се намали драстично отпечатъкът върху паметта и изчислителната мощност. Exo Labs направиха своята адаптирана версия достъпна на GitHub, показвайки специфичните необходими модификации.
Този мъничък AI, работещ на остарял хардуер, не би притежавал широките познания или нюансираните разговорни способности на своите по-големи, работещи в облак братовчеди. Неговите възможности биха били ограничени. И все пак, самият факт, че може да работи и да изпълнява основни генеративни задачи, представлява значително техническо постижение. Той демонстрира, че основните концепции на големите езикови модели могат по принцип да бъдат драстично намалени, дори ако практическата полза е ограничена при такива крайности.
Провокацията на Andreessen: Изгубена времева линия за разговорни компютри?
Marc Andreessen се възползва от тази техническа демонстрация, за да направи по-широко, по-провокативно изявление относно историята и потенциалното бъдеще на компютърните технологии. Неговото разсъждение не беше просто за техническото любопитство да се стартира нов софтуер на стар хардуер; това беше размисъл върху възможна алтернативна история на взаимодействието човек-компютър.
Той формулира това, като предположи, че успешното стартиране на Llama на 26-годишен компютър Dell предполага пропусната възможност, обхващаща десетилетия. „Всички тези стари компютри буквално можеха да бъдат умни през цялото това време“, заяви Andreessen. „Можехме да разговаряме с компютрите си вече 30 години.“
Това твърдение ни кани да си представим свят, в който траекторията на развитие на AI се е сляла по различен начин с възхода на персоналните компютри. Вместо компютрите да бъдат предимно инструменти за изчисление, създаване на документи и в крайна сметка достъп до интернет, може би те биха могли да се превърнат в разговорни партньори много по-рано. Представената картина е на потребители, взаимодействащи със своите машини с Windows 95, 98 или дори по-ранни чрез естествен език, задаващи въпроси, получаващи помощ и участващи в диалог по начин, който стана масова реалност едва с появата на съвременните дигитални асистенти и сложни LLM.
Разбира се, това е значителен контрафактуален скок. Генеративният AI, както го разбираме днес, със своята зависимост от масивни набори от данни, сложни архитектури на невронни мрежи (като архитектурата Transformer, лежаща в основата на моделите Llama и GPT) и огромна изчислителна мощност за обучение, е сравнително скорошно явление. Изследванията на AI през 80-те и 90-те години, макар и амбициозни, се фокусираха върху различни парадигми, като експертни системи и символни разсъждения. Хардуерът от епохата, макар и способен да стартира орязания Llama, демонстриран от Exo Labs, беше с порядъци по-малко мощен от днешните системи, а огромните цифрови набори от данни, необходими за обучение на способни генеративни модели, просто не съществуваха в достъпна форма.
Andreessen призна този контекст, отбелязвайки оптимизма на бума на AI през 80-те години: „Много умни хора през 80-те смятаха, че всичко това ще се случи тогава.“ Тази ера видя значителни инвестиции и изследвания в областта на изкуствения интелект, но в крайна сметка доведе до „AI зима“ – период на намалено финансиране и интерес, когато технологията не успя да изпълни най-амбициозните си обещания. Ограниченията в изчислителната мощност, наличността на данни и алгоритмичните подходи бяха дълбоки.
Следователно коментарът на Andreessen може би най-добре се разбира не като буквално твърдение, че сложен, подобен на човешкия AI е бил осъществим на хардуер от 90-те години по начина, по който го преживяваме сега, а по-скоро като мисловен експеримент. Той подчертава потенциала, който можеше да бъде отключен, ако изследователските приоритети, алгоритмичните пробиви и развитието на хардуера бяха последвали различен курс. Той подчертава идеята, че градивните елементи за някаква форма на интелигентно взаимодействие може да са били технически постижими, дори ако резултатът би бил далеч по-прост от днешния AI.
Контрастни епохи: От Dial-Up мечти до реалност, пропита с AI
Експериментът с Windows 98 служи като ярък контрапункт на настоящия пейзаж на AI интеграция. Днес AI бързо се премества от услуга, ориентирана към облака, към дълбоко вграждане в операционната система и дори в самия хардуер.
Натискът на Microsoft с Copilot и Copilot+ PCs илюстрира тази тенденция. Windows 11 разполага с множество входни точки за Copilot, предлагайки AI помощ за задачи, вариращи от обобщаване на документи и изготвяне на имейли до генериране на изображения и коригиране на системни настройки. Новата спецификация Copilot+ PC изисква включването на Neural Processing Unit (NPU) – специализиран силиций, предназначен за ефективно ускоряване на AI изчисленията. Това означава фундаментална промяна, при която AI обработката се превръща в основна функция на персоналния компютър, обработвана локално, а не разчитаща единствено на отдалечени сървъри.
Този модерен подход предполага и използва изобилие от ресурси. Copilot+ PCs изискват минимум 16GB RAM и бързо SSD съхранение, спецификации, които значително надвишават скромните 128MB на машината с Windows 98. Използваните AI модели, макар и оптимизирани за изпълнение от страна на клиента, са далеч по-сложни и способни от миниатюрната версия на Llama, използвана в експеримента. Те се възползват от десетилетия на алгоритмично усъвършенстване, масивни набори от данни за обучение и хардуер, специално проектиран за техните нужди.
Контрастът осветлява няколко точки:
- Оптимизация на софтуера срещу раздуване: Експериментът на Exo Labs е свидетелство за екстремна оптимизация, принуждаваща съвременните алгоритми да работят в силно ограничена среда. Той имплицитно критикува тенденцията съвременният софтуер да приема постоянно нарастващи хардуерни ресурси, което понякога води до неефективност или „раздуване“.
- Еволюция на хардуера: Огромната разлика в изчислителната мощност и паметта между типичен компютър от 1998 г. и Copilot+ PC от 2024 г. е зашеметяваща, представляваща множество поколения на закона на Мур и архитектурни иновации.
- Достъпност на данните: Обучението на съвременните LLM разчита на набори от данни в интернет мащаб, които бяха невъобразими в ерата на Windows 98. Цифровата вселена просто беше твърде малка и несвързана тогава.
- Алгоритмични пробиви: Развитието на архитектури като модела Transformer през 2017 г. беше ключов момент, позволяващ мащабирането и производителността, наблюдавани в днешния генеративен AI. По-ранните подходи към AI имаха фундаментални ограничения.
Докато Andreessen мечтае за говорещи компютри преди 30 години, реалността е, че сливането на хардуерна мощност, наличност на данни и алгоритмични иновации, необходими за днешното AI изживяване, се случи много по-скоро.
Какво означава всичко това? Размисли отвъд носталгията
Дали успешното внедряване на модел Llama на Windows 98 е просто умен хак, носталгичен трик за технологични ентусиасти? Или има по-дълбоко значение? Може да се твърди, че служи за няколко цели:
- Демонстриране на екстремна мащабируемост: Доказва, че основните принципи зад големите езикови модели могат да бъдат адаптирани да работят при невероятно строги ограничения на ресурсите. Това има потенциални последици за внедряване на AI в нискоенергийни вградени системи, IoT устройства или по-стар хардуер, който остава в употреба в различни части на света.
- Подчертаване на силата на ограниченията: Работата в рамките на сериозни ограничения често налага иновации и ефективност. Екипът на Exo Labs трябваше да намери креативни решения и да оптимизира безмилостно, умения, които са ценни дори в среди, богати на ресурси.
- Оспорване на предположения: Подтиква към размисъл дали цялата изчислителна мощност и памет, използвани от съвременните приложения, са строго необходими за стойността, която предоставят. Може ли някой софтуер да бъде по-икономичен и по-ефективен?
- Илюстриране на условността на технологичните пътища: Историята рядко следва права линия. Фактът, че някой рудиментарен AI може да е бил възможен на по-стар хардуер, подчертава как различни избори, изследователски насоки или дори случайни открития биха могли да ни поведат по различен технологичен път.
Този експеримент не пренаписва историята, нито означава, че сложните AI изживявания от 2024 г. са били някак постижими през 1998 г. Пропастта в поддържащите технологии – процесорна мощност, памет, данни, алгоритми – остава огромна. Въпреки това, той предоставя завладяваща точка от данни, свидетелство за инженерната изобретателност и катализатор за размисъл върху криволичещия път на технологичния прогрес. Напомня ни, че вчерашните ограничения понякога могат да бъдат преодолени с днешните знания, давайки изненадващи резултати и подтиквайки ни да преосмислим какво може да е възможно, както сега, така и в бъдеще. Духът в старата машина шепне не само за това, което е било, но може би и за неизползван потенциал, криещ се в простотата и ефективността.