Генеративный ИИ: высокие оценки против дешевых моделей

Мир искусственного интеллекта в настоящее время представляет собой театр резких контрастов. На одной сцене колоссальные суммы денег направляются в гигантские технологические компании, подпитывая стремления к беспрецедентной когнитивной мощи и вызывая споры о надвигающемся инвестиционном пузыре. Многомиллиардные оценки становятся обычным явлением, ходят слухи о раундах финансирования, достигающих астрономических цифр. Тем не менее, на более тихой, параллельной сцене, в академических кругах и сообществах с открытым исходным кодом назревает революция. Здесь исследователи демонстрируют поразительную изобретательность, создавая способные генеративные модели ИИ не за миллиарды, а иногда буквально за копейки, коренным образом оспаривая преобладающее мнение о том, что в гонке за превосходство в области искусственного интеллекта больше — значит лучше.

Это расхождение становится все более выраженным. Рассмотрим OpenAI, движущую силу ChatGPT, которая, по сообщениям, ищет дальнейшие инвестиции, способные поднять ее оценку до головокружительных 300 миллиардов долларов. Такие цифры, наряду с прогнозами быстро растущих доходов, рисуют картину безудержного оптимизма и экспоненциального роста. Однако одновременно с этим толчки осторожности сотрясают основы этой эйфории вокруг ИИ. Так называемые акции технологических компаний ‘Великолепной семерки’ (‘Magnificent 7’), долгое время бывшие фаворитами рынка в значительной степени благодаря своему потенциалу в области ИИ, пережили периоды значительного отставания, что говорит о растущем беспокойстве инвесторов. Это беспокойство усиливается предупреждениями от опытных ветеранов отрасли, таких как соучредитель Alibaba Joe Tsai, который недавно указал на тревожные признаки потенциального формирования пузыря ИИ, особенно на рынке США. Огромный масштаб требуемых инвестиций, особенно для массивных центров обработки данных, питающих эти сложные модели, подвергается тщательному анализу. Являются ли текущие уровни расходов устойчивыми, или они свидетельствуют о иррациональном изобилии, оторванном от краткосрочных реалий?

Призрак пузыря ИИ маячит на горизонте

Опасения по поводу пузыря ИИ — это не просто абстрактные финансовые тревоги; они отражают более глубокие вопросы о темпах и направлении самого развития ИИ. Повествование в значительной степени определялось несколькими крупными игроками, инвестирующими миллиарды в создание все более крупных больших языковых моделей (LLM). Это создало среду, в которой лидерство на рынке, по-видимому, зависит от наличия самых глубоких карманов и самой обширной вычислительной инфраструктуры.

• Головокружение от оценок: Потенциальная оценка OpenAI в 300 миллиардов долларов, хотя и отражает огромную уверенность со стороны некоторых инвесторов, также вызывает удивление. Оправдана ли эта цифра текущими возможностями и потоками доходов, или она в значительной степени основана на будущих, возможно, неопределенных, прорывах? Исторические параллели с предыдущими технологическими бумами и спадами, такими как эра доткомов, неизбежно всплывают, побуждая к осторожности.
• Тщательный анализ инвестиций в инфраструктуру: Миллиарды, вливаемые в специализированные центры обработки данных для ИИ и специализированное оборудование, такое как высокопроизводительные GPU, представляют собой колоссальные капитальные затраты. Предупреждение Joe Tsai подчеркивает риск, связанный с такими массивными первоначальными инвестициями, особенно если путь к монетизации окажется длиннее или сложнее, чем ожидалось. Эффективность и рентабельность этих инвестиций становятся критическими точками обсуждения.
• Рыночные сигналы: Колеблющаяся производительность технологических гигантов, активно инвестирующих в ИИ, предполагает определенную степень рыночного скептицизма. Хотя долгосрочный потенциал остается сильным фактором притяжения, краткосрочная волатильность указывает на то, что инвесторы активно переоценивают риски и ставят под сомнение устойчивость текущих траекторий роста. Судьба предстоящих IPO в сфере ИИ, таких как ожидаемое размещение акций специалиста по чипам ИИ CoreWeave, внимательно отслеживается как барометр рыночных настроений. Возродит ли оно энтузиазм или подтвердит скрытые опасения?
• Геополитические аспекты: Гонка ИИ также имеет значительные геополитические подтексты, особенно между США и Китаем. Огромные расходы в США частично обусловлены желанием сохранить конкурентное преимущество. Это привело к сложным политическим дебатам, включая призывы к ужесточению экспортного контроля над передовыми полупроводниковыми технологиями, чтобы потенциально замедлить прогресс Китая. С другой стороны, венчурный капитал продолжает поступать в китайские стартапы ИИ, что указывает на глобальную конкуренцию, где технологическое мастерство и экономическая стратегия тесно переплетены.

Эта среда высоких ставок и больших расходов создает почву для прорывных инноваций, бросающих вызов установленному порядку. Появление значительно более дешевых альтернатив заставляет переоценить, являются ли грубая вычислительная сила и огромный масштаб единственными путями вперед.

Прорывное заявление DeepSeek и его волновые эффекты

На этот ландшафт колоссальных расходов и растущей тревоги вышла DeepSeek, китайская организация, сделавшая поразительное заявление: она разработала свою генеративную большую языковую модель R1 всего за 6 миллионов долларов. Эта цифра, на порядки ниже предполагаемых многомиллиардных инвестиций западных коллег, немедленно вызвала волнение в отрасли.

Хотя скептицизм в отношении расчета в 6 миллионов долларов сохраняется – возникают вопросы о том, какие затраты были включены, а какие исключены – влияние объявления было неоспоримым. Оно послужило мощным катализатором, заставив критически изучить структуры затрат и методологии разработки, используемые лидерами рынка. Если достаточно способную модель действительно можно было построить за миллионы, а не миллиарды, что это означало для эффективности текущих подходов?

• Оспаривание нарратива: Заявление DeepSeek, точное оно или нет, пробило брешь в преобладающем нарративе о том, что передовая разработка ИИ является исключительной прерогативой компаний с триллионными оборотами и неограниченными ресурсами. Оно представило возможность более демократизированного ландшафта разработки.
• Усиление пристального внимания: Это усилило уже имевшее место пристальное внимание к огромным расходам компаний, таких как поддерживаемая Microsoft OpenAI. Инвесторы, аналитики и конкуренты начали задавать более жесткие вопросы о распределении ресурсов и рентабельности инвестиций в эти капиталоемкие проекты.
• Геополитический резонанс: Заявление также нашло отклик в контексте технологического соперничества между США и Китаем. Оно предполагало, что могут существовать альтернативные, потенциально более ресурсоэффективные пути к компетенции в области ИИ, добавляя еще один уровень сложности к дискуссиям о технологическом лидерстве и стратегической конкуренции. Это стимулировало дальнейшие дебаты о политике, такой как эмбарго на чипы, одновременно побуждая венчурных капиталистов внимательно присмотреться к развивающимся игрокам в Китае, которые могут обладать более экономичными моделями разработки.

Несмотря на скептицизм, выпуск DeepSeek R1, особенно сопутствующие ему открытые исследовательские компоненты, предоставил важные идеи, которые вдохновили других. Не только заявленная стоимость, но и потенциальные методологии, на которые намекали, вызвали любопытство и инновации в других местах, особенно в академических лабораториях, работающихв совершенно иных финансовых условиях.

Расцвет ультра-экономного ИИ: университетская революция

Пока корпоративные гиганты боролись с миллиардными бюджетами и рыночным давлением, в стенах академии тихо разворачивалась иная революция ИИ. Исследователи, не обремененные немедленными требованиями коммерциализации, но серьезно ограниченные в финансировании, начали изучать способы воспроизведения принципов, лежащих в основе продвинутого ИИ, если не его масштаба, используя минимальные ресурсы. Яркий пример появился из Калифорнийского университета в Беркли.

Команда в Беркли, заинтригованная недавними достижениями, но не имеющая огромного капитала промышленных лабораторий, приступила к проекту под названием TinyZero. Их цель была дерзкой: могли ли они продемонстрировать сложное поведение ИИ, в частности, тот вид рассуждений, который позволяет моделям ‘думать’ перед ответом, используя радикально уменьшенную модель и бюджет? Ответ оказался оглушительным ‘да’. Они успешно воспроизвели ключевые аспекты парадигмы рассуждений, исследованной как OpenAI, так и DeepSeek, за поразительно низкую стоимость – около 30 долларов.

Это было достигнуто не путем создания прямого конкурента GPT-4, а путем умного снижения сложности как модели, так и задачи.

• Эксперимент за 30 долларов: Эта цифра в основном представляла собой стоимость аренды двух GPU Nvidia H200 на общедоступной облачной платформе на необходимое время обучения. Это продемонстрировало потенциал использования существующей облачной инфраструктуры для передовых исследований без массивных первоначальных инвестиций в оборудование.
• Масштабирование модели: В проекте TinyZero использовалась модель ‘3B’, что означает примерно три миллиарда параметров. Это значительно меньше, чем у самых больших LLM, которые могут похвастаться сотнями миллиардов или даже триллионами параметров. Ключевым выводом было то, что сложное поведение может проявляться даже в меньших моделях, если задача разработана соответствующим образом.
• Вдохновение от гигантов и претендентов: Jiayi Pan, руководитель проекта TinyZero, отметил, что прорывы OpenAI, особенно концепции, связанные с тем, что модели тратят больше времени на обработку перед ответом, были основным источником вдохновения. Однако именно открытые исследования DeepSeek R1 предоставили потенциальный план того, как достичь этой улучшенной способности к рассуждению, хотя заявленная DeepSeek стоимость обучения в 6 миллионов долларов все еще была далеко за пределами возможностей университетской команды.

Команда Беркли предположила, что, уменьшив как размер модели, так и сложность проблемы, которую ей нужно было решить, они все еще могли наблюдать желаемое ‘эмерджентное поведение рассуждения’. Этот редукционистский подход был ключом к резкому снижению затрат, при этом все еще позволяя проводить ценные научные наблюдения.

Расшифровка ‘момента озарения’: рассуждения с ограниченным бюджетом

Основное достижение проекта TinyZero и аналогичных низкозатратных инициатив заключается в демонстрации того, что исследователи часто называют ‘моментом озарения’ (‘Aha moment’) – точки, когда модель ИИ начинает проявлять подлинные способности к рассуждению и решению проблем, а не просто сопоставлять шаблоны или извлекать сохраненную информацию. Это эмерджентное поведение является ключевой целью для разработчиков даже самых больших моделей.

Чтобы проверить свою гипотезу и вызвать это поведение в малом масштабе, команда Беркли использовала конкретную, ограниченную задачу: математическую игру под названием ‘Countdown’.

• Игра ‘Countdown’: Эта игра требует, чтобы ИИ достиг целевого числа, используя заданный набор начальных чисел и основные арифметические операции (сложение, вычитание, умножение, деление). Важно отметить, что успех в ‘Countdown’ в большей степени зависит от стратегического мышления и планирования – исследования различных комбинаций и последовательностей операций – чем от запоминания огромных объемов уже существующих математических знаний.
• Обучение через игру: Первоначально модель TinyZero подходила к игре случайным образом, пробуя комбинации почти наугад. Однако через процесс обучения с подкреплением (обучение на основе проб и ошибок и вознаграждений) она начала различать закономерности и стратегии. Она научилась корректировать свой подход, отбрасывать неэффективные пути и быстрее сходиться к правильным решениям. По сути, она научилась как рассуждать в рамках определенных правил игры.
• Появление самопроверки: Важно отметить, что обученная модель начала проявлять признаки самопроверки – оценки своих собственных промежуточных шагов и потенциальных решений, чтобы определить, ведут ли они к целевому числу. Эта способность внутренне оценивать и корректировать курс является отличительной чертой более продвинутых рассуждений.

Как объяснил Jiayi Pan: “Мы показываем, что с моделью размером всего 3B она может научиться рассуждать о простых проблемах и начать учиться самопроверке и поиску лучших решений”. Это продемонстрировало, что фундаментальные механизмы, лежащие в основе рассуждений и ‘момента озарения’, ранее связанные в основном с колоссальными, дорогими моделями, могут быть воспроизведены и изучены в среде с крайне ограниченными ресурсами. Успех TinyZero доказал, что передовые концепции ИИ не являются исключительной прерогативой технологических гигантов, но могут быть доступны исследователям, инженерам и даже любителям с ограниченными бюджетами, способствуя более инклюзивной экосистеме для исследования ИИ. Решение команды открыто поделиться своими результатами, особенно через платформы вроде GitHub, позволило другим воспроизвести эксперименты и испытать этот ‘момент озарения’ на собственном опыте дешевле, чем стоимость нескольких пицц.

Стэнфорд присоединяется к борьбе: подтверждение низкозатратного обучения

Волны, созданные TinyZero, быстро распространились по академическому сообществу ИИ. Исследователи из Стэнфордского университета, которые уже изучали схожие концепции и даже ранее представили игру ‘Countdown’ как исследовательскую задачу, сочли работу команды Беркли весьма актуальной и подтверждающей их собственные изыскания.

Под руководством Kanishk Gandhi команда Стэнфорда углублялась в связанный, фундаментальный вопрос: почему некоторые LLM демонстрируют резкие, почти внезапные улучшения в своих способностях к рассуждению во время обучения, в то время как другие, кажется, выходят на плато? Понимание основных механизмов, управляющих этими скачками в возможностях, имеет решающее значение для создания более эффективных и надежных ИИ.

• Опираясь на общую почву: Gandhi признал ценность TinyZero, заявив, что это было ‘замечательно’ отчасти потому, что в нем успешно использовалась задача ‘Countdown’, которую изучала его собственная команда. Это сближение позволило быстрее проверять и итерировать идеи между различными исследовательскими группами.
• Преодоление инженерных препятствий: Исследователи из Стэнфорда также подчеркнули, как их прогресс ранее сдерживался инженерными проблемами. Доступность инструментов с открытым исходным кодом стала решающей в преодолении этих препятствий.
• Сила инструментов с открытым исходным кодом: В частности, Gandhi отдал должное системе обучения с подкреплением Volcano Engine Reinforcement Learning (VERL), проекту с открытым исходным кодом, разработанному ByteDance (материнской компанией TikTok), как ‘необходимой для проведения наших экспериментов’. Соответствие возможностей VERL экспериментальным потребностям команды Стэнфорда значительно ускорило их исследовательские циклы.

Эта зависимость от компонентов с открытым исходным кодом подчеркивает критический аспект движения низкозатратного ИИ. Прогресс часто строится совместно, используя инструменты и идеи, свободно распространяемые в сообществе. Gandhi далее высказал мнение, что крупные научные прорывы в понимании рассуждений и интеллекта LLM могут больше не исходить исключительно из крупных, хорошо финансируемых промышленных лабораторий. Он утверждал, что ‘научное понимание текущих LLM отсутствует, даже в больших лабораториях’, оставляя значительное пространство для вклада со стороны ‘DIY AI, open source и академии’. Эти меньшие, более гибкие проекты могут глубоко исследовать конкретные явления, генерируя идеи, которые приносят пользу всей области.

Невоспетый герой: основы с открытым исходным кодом

Замечательные достижения проектов, таких как TinyZero, демонстрирующие сложное поведение ИИ за десятки долларов, в значительной степени зависят от критически важного, часто недооцененного элемента: обширной экосистемы моделей и инструментов ИИ с открытым исходным кодом и открытыми весами. Хотя предельные затраты на конкретный эксперимент могут быть низкими, он строится на основах, которые часто представляют собой миллионы, если не миллиарды, долларов предшествующих инвестиций.

Nina Singer, старший ведущий научный сотрудник по машинному обучению в консалтинговой компании по ИИ OneSix, предоставила важный контекст. Она указала, что стоимость обучения TinyZero в 30 долларов, хотя и точна для конкретной задачи, выполненной командой Беркли, не учитывает первоначальную стоимость разработки базовых моделей, которые он использовал.

• Стоя на плечах гигантов: Обучение TinyZero использовало не только систему VERL от ByteDance, но и Qwen от Alibaba Cloud, LLM с открытым исходным кодом. Alibaba инвестировала значительные ресурсы – вероятно, миллионы – в разработку Qwen, прежде чем выпустить ее ‘веса’ (обученные параметры, определяющие возможности модели) для общественности.
• Ценность открытых весов: Singer подчеркнула, что это не критика TinyZero, а скорее подчеркивание огромной ценности и важности моделей с открытыми весами. Выпуская параметры модели, даже если полный набор данных и архитектура обучения остаются проприетарными, компании, такие как Alibaba, позволяют исследователям и небольшим организациям опираться на их работу, экспериментировать и внедрять инновации без необходимости воспроизводить дорогостоящий первоначальный процесс обучения с нуля.
• Демократизация дообучения (Fine-Tuning): Этот открытый подход способствует развитию бурно растущей области ‘дообучения’ (fine-tuning), где меньшие модели ИИ адаптируются или специализируются для конкретных задач. Как отметила Singer, эти дообученные модели часто могут ‘соперничать с гораздо более крупными моделями при доле размера и стоимости’ для своей предназначенной цели. Примеров множество, таких как Sky-T1, предлагающий пользователям возможность обучить свою собственную версию продвинутой модели примерно за 450 долларов, или сам Qwen от Alibaba, позволяющий дообучение всего за 6 долларов.

Эта зависимость от открытых основ создает динамичную экосистему, где инновации могут происходить на нескольких уровнях. Крупные организации вкладывают значительные средства в создание мощных базовых моделей, в то время как более широкое сообщество использует эти активы для изучения новых приложений, проведения исследований и разработки специализированных решений гораздо экономичнее. Эти симбиотические отношения способствуют быстрому прогрессу и демократизации в этой области.

Оспаривание парадигмы ‘чем больше, тем лучше’

Истории успеха, возникающие из проектов, таких как TinyZero, и более широкая тенденция эффективного, низкозатратного дообучения бросают серьезный вызов давно устоявшемуся в отрасли убеждению, что прогресс в ИИ является исключительно функцией масштаба – больше данных, больше параметров, больше вычислительной мощности.

Одним из самых глубоких последствий, как подчеркнула Nina Singer, является то, что качество данных и обучение под конкретную задачу часто могут быть более критичными, чем чистый размер модели. Эксперимент TinyZero продемонстрировал, что даже относительно небольшая модель (3 миллиарда параметров) может изучать сложные формы поведения, такие как самокоррекция и итеративное улучшение, при эффективном обучении на четко определенной задаче.

• Убывающая отдача от масштаба?: Этот вывод прямо ставит под сомнение предположение, что только массивные модели, такие как серия GPT от OpenAI или Claude от Anthropic, с их сотнями миллиардов или триллионами параметров, способны к такому сложному обучению. Singer предположила: “Этот проект предполагает, что мы, возможно, уже пересекли порог, за которым дополнительные параметры обеспечивают убывающую отдачу — по крайней мере, для определенных задач”. Хотя более крупные модели могут сохранять преимущества в общности и широте знаний, для конкретных приложений гипермасштабированные модели могут представлять собой излишество, как с точки зрения стоимости, так и вычислительных требований.
• Сдвиг в сторону эффективности и специфичности: Ландшафт ИИ может претерпевать тонкий, но значительный сдвиг. Вместо исключительного фокуса на создании все более крупных базовых моделей, все больше внимания уделяется эффективности, доступности и целевому интеллекту. Создание меньших, высокооптимизированных моделей для конкретных областей или задач оказывается жизнеспособной и экономически привлекательной альтернативой.
• Давление на закрытые модели: Растущие возможности и доступность моделей с открытыми весами и методов низкозатратного дообучения оказывают конкурентное давление на компании, которые в основном предлагают свои возможности ИИ через ограниченные API (интерфейсы прикладного программирования). Как отметила Singer, компаниям, таким как OpenAI и Anthropic, возможно, придется все чаще обосновывать ценностное предложение своих закрытых экосистем, особенно “по мере того, как открытые альтернативы начинают соответствовать или превосходить их возможности в конкретных областях”.

Это не обязательно означает конец большим базовым моделям, которые, вероятно, будут продолжать служить важными отправными точками. Однако это предполагает будущее, в котором экосистема ИИ будет гораздо более разнообразной, включающей смесь массивных моделей общего назначения и распространение меньших, специализированных и высокоэффективных моделей, адаптированных для конкретных нужд.

Волна демократизации: ИИ для большего числа людей?

Слияние доступных облачных вычислений, мощных инструментов с открытым исходным кодом и доказанной эффективности меньших, дообученных моделей подпитывает волну демократизации по всему ландшафту ИИ. То, что когда-то было исключительной прерогативой элитных исследовательских лабораторий и технологических корпораций с миллиардными бюджетами, становится все более доступным для более широкого круга участников.

Отдельные лица, академические исследователи, стартапы и небольшие компании обнаруживают, что они могут осмысленно взаимодействовать с передовыми концепциями и разработкой ИИ, не требуя непомерных инвестиций в инфраструктуру.

• Снижение барьеров для входа: Возможность дообучить способную модель за сотни или даже десятки долларов, опираясь на основы с открытыми весами, резко снижает барьер для входа в экспериментирование и разработку приложений.
• Стимулирование инноваций: Эта доступность побуждает более широкий круг талантов вносить свой вклад в эту область. Исследователи могут легче проверять новые идеи, предприниматели могут экономичнее разрабатывать нишевые решения ИИ, а любители могут из первых рук исследовать передовые технологии.
• Улучшение, управляемое сообществом: Успех усилий, управляемых сообществом, в улучшении и специализации моделей с открытыми весами демонстрирует силу совместной разработки. Этот коллективный интеллект иногда может опережать циклы итераций в более закрытых корпоративных средах для конкретных задач.
• Гибридное будущее?: Вероятная траектория указывает на гибридную экосистему. Гигантские базовые модели будут продолжать раздвигать абсолютные границы возможностей ИИ, служа платформами. Одновременно с этим живая экосистема специализированных моделей, дообученных разнообразным сообществом, будет стимулировать инновации в конкретных приложениях и отраслях.

Эта демократизация не устраняет потребность в значительных инвестициях, особенно в создание следующего поколения базовых моделей. Однако она коренным образом меняет динамику инноваций и конкуренции. Способность достигать замечательных результатов при ограниченном бюджете, примером чему служат проект TinyZero и более широкое движение дообучения, сигнализирует о сдвиге к более доступному, эффективному и потенциально более разнообразному будущему для разработки искусственного интеллекта. ‘Момент озарения’ рассуждений больше не ограничен исключительно кремниевыми крепостями; он становится опытом, доступным дешевле, чем ужин, разжигая творчество и раздвигая границы возможного снизу вверх.