В захватывающем столкновении технологических эпох возникла история, которая соединяет зарождающиеся дни повсеместного распространения домашних компьютеров с передовым краем искусственного интеллекта. Marc Andreessen, видная фигура в мире технологий и соучредитель влиятельной венчурной компании Andreessen Horowitz, недавно обратил внимание на выдающееся достижение: компактная версия модели искусственного интеллекта Llama от Meta была успешно запущена на компьютере под управлением почтенной операционной системы Windows 98, оснащенном всего лишь 128 мегабайтами оперативной памяти (RAM). Это откровение служит мощным напоминанием о технологическом потенциале и поднимает интригующие вопросы об исторической траектории развития вычислительной техники.
Сама идея запуска сложного ИИ, даже в урезанном виде, на оборудовании более чем четвертьвековой давности кажется почти парадоксальной. Современный генеративный ИИ, технология, лежащая в основе таких инструментов, как ChatGPT и собственный Copilot от Microsoft, обычно ассоциируется с мощными процессорами, значительными объемами памяти и, зачастую, облачной инфраструктурой. Сама Microsoft вложила значительные средства в интеграцию возможностей ИИ, особенно своего помощника Copilot, глубоко в свою последнюю операционную систему Windows 11 и новое поколение оборудования, получившее название Copilot+ PCs, разработанное специально с учетом рабочих нагрузок ИИ. Этот контраст делает эксперимент с Windows 98 еще более поразительным. Он бросает вызов нашим предположениям о ресурсах, действительно необходимых для определенных функций ИИ, и предлагает взглянуть на альтернативную технологическую временную шкалу.
Воскрешение прошлого: Геркулесовы усилия за экспериментом
Хотя Andreessen привлек более широкое внимание к этому достижению, основная техническая работа, по-видимому, восходит к более ранним усилиям, в частности, команды Exo Labs. Их путь к тому, чтобы заставить современный ИИ работать на таком винтажном оборудовании, был далеко не простым; это было упражнение в цифровой археологии и творческом решении проблем, подчеркивающее огромные различия между вычислениями тогда и сейчас.
Первое препятствие касалось базовой логистики и совместимости оборудования. Найти функционирующее оборудование эпохи Windows 98 уже достаточно сложно. Но помимо просто загрузки машины, команде требовались периферийные устройства. Современные интерфейсы USB, повсеместно распространенные сегодня, не были стандартным явлением в расцвет Windows 98. Это потребовало поиска совместимых устройств ввода, использующих старые разъемы PS/2 – клавиатур и мышей, с которыми многие молодые энтузиасты технологий, возможно, никогда не сталкивались.
После решения вопроса с физической настройкой следующим значительным препятствием стала передача данных. Как перенести необходимые файлы модели ИИ и инструменты разработки на машину, лишенную современных возможностей подключения, таких как высокоскоростные порты USB или бесшовная сетевая интеграция? Вероятно, пришлось прибегнуть к более старым, медленным методам, возможно, записывая файлы на компакт-диски или используя ограниченные сетевые протоколы того времени, превращая простое копирование файлов в потенциально трудоемкий процесс.
Однако основная техническая проблема заключалась в компиляции современного кода для древней среды. Модель ИИ, основанная на архитектуре Llama от Meta, создана с использованием современных практик программирования и языков. Чтобы сделать этот код понятным и исполняемым для Windows 98, требовался компилятор – программа, которая переводит исходный код в машинный язык – который мог бы работать на старой операционной системе и справляться со сложностями кода ИИ.
Изначально Exo Labs обратились к Borland C++ 5.02, самому по себе являющемуся частью истории программного обеспечения – 26-летней интегрированной среде разработки (IDE) и компилятору, который работал нативно на Windows 98. Этот выбор представлял собой потенциальный мост между современной кодовой базой и винтажной операционной системой. Однако путь был полон осложнений. Тонкости современных стандартов и библиотек C++ оказалось трудно согласовать с возможностями и ограничениями компилятора Borland и среды Windows 98. Возникли проблемы совместимости, заставившие команду изменить подход.
Их решение заключалось в возврате к более старой версии языка программирования C. Хотя C является основополагающим языком и предшественником C++, использование более старого стандарта C означало отказ от некоторых высокоуровневых абстракций и удобств C++. Это потребовало более трудоемкого процесса кодирования, ручного управления такими элементами, как функции и переменные, которые C++ обрабатывает более элегантно. Прогресс неизбежно замедлился, требуя скрупулезного внимания к деталям, чтобы избежать ошибок, которые старые инструменты разработки могли бы легко пропустить.
Дефицит памяти: Укрощение Llama для ограниченных ресурсов
Возможно, самым сложным ограничением был чрезвычайно ограниченный объем оперативной памяти (RAM). Целевая машина обладала всего 128 мегабайтами RAM. Для сравнения, современные смартфоны обычно поставляются с 8, 12 или даже 16 гигабайтами RAM (гигабайт примерно равен 1000 мегабайтам). Высокопроизводительные ПК, предназначенные для игр или профессиональной работы, часто имеют 32 ГБ, 64 ГБ или больше. Запуск сложного приложения, такого как модель ИИ, в таком крошечном объеме памяти сродни выполнению сложной операции в чулане.
Семейство моделей Llama от Meta, хотя и считается в целом более ресурсоэффективным, чем такие гиганты, как GPT-4 от OpenAI, все же включает версии с миллиардами параметров. Архитектура Llama 2, например, включает модели, масштабирующиеся до 70 миллиардов параметров. Эти более крупные модели требуют значительной вычислительной мощности и, что особенно важно, огромных объемов памяти для загрузки весов модели и управления вычислениями, связанными с обработкой информации и генерацией ответов. Стандартная модель Llama 2 была бы абсолютно неспособна работать в пределах 128 МБ.
Следовательно, успех эксперимента зависел от использования или разработки высокооптимизированной, значительно меньшей итерации архитектуры Llama. Эта специализированная версия должна была быть адаптирована специально для работы в условиях жестких аппаратных ограничений. Вероятно, использовались такие методы, как квантование модели (уменьшение точности чисел, используемых в вычислениях модели) и прунинг (удаление менее важных частей нейронной сети), чтобы резко сократить ее потребление памяти и вычислительных ресурсов. Exo Labs сделали свою адаптированную версию доступной на GitHub, демонстрируя конкретные необходимые модификации.
Этот крошечный ИИ, работающий на устаревшем оборудовании, не обладал бы широкими знаниями или тонкими разговорными способностями своих более крупных, работающих в облаке собратьев. Его возможности были бы ограничены. Тем не менее, сам факт того, что он мог работать и выполнять базовые генеративные задачи, представляет собой значительное техническое достижение. Это демонстрирует, что основные концепции больших языковых моделей могут, в принципе, быть значительно уменьшены, даже если практическая польза на таких крайних пределах ограничена.
Провокация Андриссена: Упущенная временная линия разговорных вычислений?
Marc Andreessen ухватился за эту техническую демонстрацию, чтобы высказать более широкую и провокационную точку зрения на историю и потенциальное будущее вычислительной техники. Его размышления касались не просто технического любопытства запуска нового ПО на старом оборудовании; это было размышление о возможной альтернативной истории взаимодействия человека и компьютера.
Он сформулировал это, предположив, что успешная работа Llama на 26-летнем ПК Dell подразумевает упущенную возможность, охватывающую десятилетия. ‘Все эти старые ПК буквально могли быть умными все это время’, – предположил Andreessen. ‘Мы могли бы разговаривать с нашими компьютерами уже 30 лет’.
Это заявление приглашает нас представить мир, где траектория развития ИИ иначе пересеклась с ростом персональных компьютеров. Вместо того чтобы ПК были в первую очередь инструментами для вычислений, создания документов и, в конечном итоге, доступа в Интернет, возможно, они могли бы превратиться в разговорных партнеров гораздо раньше. Возникает образ пользователей, взаимодействующих со своими машинами под управлением Windows 95, 98 или даже более ранних версий посредством естественного языка, задающих вопросы, получающих помощь и ведущих диалог так, как это стало основной реальностью только с появлением современных цифровых помощников и сложных LLM.
Конечно, это значительный контрфактический скачок. Генеративный ИИ, каким мы его понимаем сегодня, с его зависимостью от массивных наборов данных, сложных архитектур нейронных сетей (таких как архитектура Transformer, лежащая в основе моделей Llama и GPT) и огромной вычислительной мощности для обучения, является относительно недавним явлением. Исследования ИИ 1980-х и 1990-х годов, хотя и были амбициозными, фокусировались на других парадигмах, таких как экспертные системы и символические рассуждения. Оборудование той эпохи, хотя и способное запустить урезанную Llama, продемонстрированную Exo Labs, было на порядки менее мощным, чем сегодняшние системы, а огромные цифровые наборы данных, необходимые для обучения способных генеративных моделей, просто не существовали в доступной форме.
Andreessen признал этот контекст, отметив оптимизм бума ИИ 1980-х годов: ‘Многие умные люди в 80-х думали, что все это произойдет тогда’. Та эпоха видела значительные инвестиции и исследования в области искусственного интеллекта, но в конечном итоге привела к ‘зиме ИИ’ – периоду сокращения финансирования и интереса, когда технология не смогла оправдать свои самые амбициозные обещания. Ограничения в вычислительной мощности, доступности данных и алгоритмических подходах были глубокими.
Поэтому комментарий Andreessen, возможно, лучше всего понимать не как буквальное утверждение о том, что сложный, человекоподобный ИИ был осуществим на оборудовании 1990-х годов так, как мы его воспринимаем сейчас, а скорее как мысленный эксперимент. Он подчеркивает потенциал, который мог бы быть раскрыт, если бы приоритеты исследований, алгоритмические прорывы и развитие оборудования пошли по другому пути. Он подчеркивает идею о том, что строительные блоки для некоторой формы интеллектуального взаимодействия могли быть технически достижимы, даже если результат был бы намного проще, чем сегодняшний ИИ.
Контраст эпох: От Dial-Up мечтаний до реальности, пронизанной ИИ
Эксперимент с Windows 98 служит резким контрастом с текущим ландшафтом интеграции ИИ. Сегодня ИИ быстро переходит от облачного сервиса к глубокой интеграции в операционную систему и даже в само оборудование.
Продвижение Microsoft с Copilot и Copilot+ PCs является примером этой тенденции. Windows 11 имеет множество точек входа для Copilot, предлагая помощь ИИ для задач, начиная от суммирования документов и составления электронных писем до генерации изображений и настройки системных параметров. Новая спецификация Copilot+ PC требует включения нейронного процессора (NPU) – специализированного кремния, предназначенного для эффективного ускорения вычислений ИИ. Это означает фундаментальный сдвиг, когда обработка ИИ становится основной функцией персонального компьютера, выполняемой локально, а не исключительно с опорой на удаленные серверы.
Этот современный подход предполагает и использует обильные ресурсы. Copilot+ PCs требуют минимум 16 ГБ RAM и быстрого твердотельного накопителя – спецификации, значительно превосходящие скромные 128 МБ машины с Windows 98. Используемые модели ИИ, хотя и оптимизированы для выполнения на стороне клиента, намного сложнее и способнее, чем миниатюрная версия Llama, использованная в эксперименте. Они выигрывают от десятилетий алгоритмического совершенствования, массивных наборов обучающих данных и оборудования, специально разработанного для их нужд.
Контраст освещает несколько моментов:
- Оптимизация ПО против раздувания (Bloat): Эксперимент Exo Labs является свидетельством экстремальной оптимизации, заставляющей современные алгоритмы работать в крайне ограниченной среде. Он неявно критикует тенденцию современного программного обеспечения предполагать постоянно растущие аппаратные ресурсы, что иногда приводит к неэффективности или ‘раздуванию’.
- Эволюция оборудования: Огромная разница в вычислительной мощности и памяти между типичным ПК 1998 года и Copilot+ PC 2024 года ошеломляет, представляя собой несколько поколений закона Мура (Moore’s Law) и архитектурных инноваций.
- Доступность данных: Обучение современных LLM зависит от наборов данных интернет-масштаба, которые были невообразимы в эпоху Windows 98. Цифровая вселенная тогда была просто слишком мала и разобщена.
- Алгоритмические прорывы: Разработка архитектур, таких как модель Transformer в 2017 году, стала поворотным моментом, обеспечившим масштабирование и производительность, наблюдаемые в сегодняшнем генеративном ИИ. Более ранние подходы к ИИ имели фундаментальные ограничения.
Хотя Andreessen мечтает о говорящих компьютерах 30 лет назад, реальность такова, что слияние мощности оборудования, доступности данных и алгоритмических инноваций, необходимых для сегодняшнего опыта ИИ, произошло гораздо позже.
Что все это значит? Размышления за пределами ностальгии
Является ли успешное развертывание модели Llama на Windows 98 просто умным хаком, ностальгическим трюком для энтузиастов технологий? Или оно имеет более глубокое значение? Можно утверждать, что оно служит нескольким целям:
- Демонстрация экстремальной масштабируемости: Это доказывает, что фундаментальные принципы, лежащие в основе больших языковых моделей, могут быть адаптированы для работы в условиях невероятно жестких ограничений ресурсов. Это имеет потенциальные последствия для развертывания ИИ на маломощных встраиваемых системах, устройствах IoT или старом оборудовании, которое все еще используется в различных частях мира.
- Подчеркивание силы ограничений: Работа в условиях жестких ограничений часто стимулирует инновации и эффективность. Команде Exo Labs пришлось найти творческие решения и безжалостно оптимизировать – навыки, которые ценны даже в средах с богатыми ресурсами.
- Оспаривание предположений: Это побуждает задуматься о том, действительно ли вся вычислительная мощность и память, используемые современными приложениями, строго необходимы для той ценности, которую они предоставляют. Могло бы некоторое программное обеспечение быть более экономичным и эффективным?
- Иллюстрация случайности технологических путей: История редко следует прямой линии. Тот факт, что некоторый рудиментарный ИИ мог быть возможен на старом оборудовании, подчеркивает, как различные выборы, направления исследований или даже случайные открытия могли привести нас по другому технологическому пути.
Этот эксперимент не переписывает историю и не означает, что сложный опыт ИИ 2024 года был каким-то образом достижим в 1998 году. Разрыв в обеспечивающих технологиях – вычислительной мощности, памяти, данных, алгоритмах – остается огромным. Однако он предоставляет увлекательную точку данных, свидетельство инженерной изобретательности и катализатор для размышлений об извилистом пути технологического прогресса. Он напоминает нам, что вчерашние ограничения иногда можно преодолеть с помощью сегодняшних знаний, получая удивительные результаты и побуждая нас переосмыслить то, что может быть возможно, как сейчас, так и в будущем. Призрак в старой машине шепчет не только о том, что было, но, возможно, и о неиспользованном потенциале, скрытом в простоте и эффективности.