Meta недавно представила последние версии своей модели искусственного интеллекта (AI) Llama, что является значительным шагом вперед в постоянном стремлении компании к инновациям в области AI. Среди новых предложений - Llama 4 Scout и Llama 4 Maverick, которые Meta назвала “мультимодальными моделями”, подчеркивая их способность обрабатывать и взаимодействовать с различными формами медиа за пределами простого текста.
Кроме того, Meta продемонстрировала Llama 4 Behemoth, позиционируемую как одну из самых интеллектуальных LLM в мире и предназначенную для обучения вновь выпущенных моделей.
Это объявление подчеркивает значительные инвестиции Meta в AI за последние два года. Генеральный директор Марк Цукерберг публично заявил о своем намерении выделить до 65 миллиардов долларов в 2025 году для дальнейшего расширения возможностей компании в области AI. Амбиции Meta выходят за рамки ее домена социальных сетей, изучая потенциальные премиальные подписки для своего AI-помощника, Meta AI, для обработки таких задач, как бронирование и создание видео.
Open AI и Открытый Исходный Код
Параллельно с этим, OpenAI, как сообщается, рассматривает возможность выпуска версии своей LLM с открытым исходным кодом, что является отходом от ее недавней практики. Этот шаг даст пользователям свободу использовать, изменять и распространять модель без уплаты лицензионных сборов. OpenAI ищет вклад сообщества от разработчиков, исследователей и широкой публики для оптимизации полезности модели.
Ожидается, что модель с открытым исходным кодом будет запущена в течение нескольких месяцев. Последний раз OpenAI придерживалась принципов открытого исходного кода в 2019 году с GPT-2 LLM. Его последняя версия LLM - GPT-4.5. OpenAI перешла к запатентованным моделям после получения миллиардных инвестиций от Microsoft, сформировав тесный союз для продвижения разработки моделей AI. С тех пор Microsoft инвестировала более 13 миллиардов долларов в OpenAI, при этом модели OpenAI являются эксклюзивными для клиентов облачных сервисов Azure от Microsoft.
Llama от Meta, LLM от Mistral и DeepSeek - это некоторые из моделей с открытым исходным кодом, которые в последнее время набирают популярность. Цукерберг упомянул в Threads, что Llama была загружена 1 миллиард раз. Llama была запущена в 2023 году.
Задержка с Моделью “Behemoth” от Meta
Однако, как сообщается, Meta задерживает выпуск “Behemoth”, который первоначально планировался к запуску летом, при этом самый ранний возможный выпуск теперь прогнозируется на осень. Источники предполагают, что прогресс модели не был “достаточно значительным”, чтобы оправдать июньский релиз, и это представляет собой задержку с конференции разработчиков Meta.
Задержка бросает тень на выпуск флагманского семейства больших языковых моделей Llama от Meta. Wall Street Journal говорит, что их хвалили за скорость их выпуска. Llama сыграла важную роль в расширении возможностей разработчиков в небольших компаниях, некоммерческих организациях и академических учреждениях. Это альтернатива закрытым запатентованным моделям, предлагаемым такими компаниями, как OpenAI, Google и Amazon.
Влияние задержки Behemoth на более крупные компании менее выражено, поскольку они часто полагаются на облачные запатентованные модели. Даже если небольшие компании могут настраивать модели Llama с открытым исходным кодом, им требуются дополнительные услуги развертывания, которые Meta не предлагает. Использование Llama компанией Meta направлено на расширение ее собственных инструментов социальных сетей, что позволяет Цукербергу сохранять контроль над траекторией своего AI.
Важным фактором задержки является то, демонстрирует ли модель достаточно существенные улучшения, чтобы оправдать публичный запуск.
Императив для Инноваций
В быстро меняющемся мире технологической индустрии новые выпуски должны демонстрировать ощутимые достижения, чтобы оправдать их внедрение. На LlamaCon Meta продемонстрировала две более мелкие модели Llama 4, обладающие впечатляющими возможностями:
- Maverick имеет 400 миллиардов общих параметров с контекстным окном в 1 миллион токенов (750 000 слов).
- Scout имеет 109 миллиардов параметров и контекстное окно в 10 миллионов токенов (7,5 миллиона слов).
Behemoth первоначально планировалась к одновременному выпуску, включающему 2 триллиона параметров.
По данным Wall Street Journal, Meta теряет терпение по отношению к своей команде Llama 4 из-за ее продолжающихся инвестиций в AI. В 2024 году компания выделила до 72 миллиардов долларов капитальных затрат, в основном направленных на разработку AI.
Растущие Опасения
Цукерберг и другие руководители высшего звена еще не объявили окончательную дату выпуска Behemoth. Инсайдеры опасаются, что его производительность может не соответствовать ожиданиям, установленным публичными заявлениями Meta.
Источники указывают на растущее недовольство среди руководства Meta прогрессом, достигнутым командой, разрабатывающей модели Llama 4. Это привело к обсуждениям о возможных изменениях в руководстве внутри ее группы продуктов AI.
Meta рекламировала Behemoth как высокопроизводительную систему, превосходящую конкурентов, таких как OpenAI, Google и Anthropic, по определенным бенчмаркам. Внутренние проблемы препятствовали его эффективности, как утверждают те, кто знаком с его разработкой.
OpenAI также столкнулась с задержками. Их следующая основная модель, GPT-5, первоначально была запланирована к выпуску в середине 2024 года. Wall Street Journal сообщила в декабре, что разработка отстала от графика.
В феврале генеральный директор OpenAI Сэм Альтман заявил, что промежуточной моделью будет GPT-4.5, а GPT-5 останется в нескольких месяцах.
Возможные Причины Остановки Прогресса
Несколько факторов могут способствовать замедлению разработки моделей AI, в том числе:
Уменьшение Объема Данных Высокого Качества
Большим языковым моделям требуются огромные объемы данных для обучения, отражающие огромные просторы Интернета. Они, возможно, исчерпывают общедоступные источники данных, сталкиваясь при этом с юридическими обязательствами, связанными с авторским правом.
Это привело к тому, что OpenAI, Google и Microsoft выступают за сохранение своего права на обучение на материалах, защищенных авторским правом.
OpenAI отметила, что правительство может обеспечить американцам свободу учиться у AI и не допустить утраты лидерства в области AI в пользу КНР [Китайской Народной Республики], сохранив способность американских моделей AI учиться на материалах, защищенных авторским правом.
Алгоритмические Препятствия
Убеждение, что увеличение размера модели, использование большего количества вычислений и обучение на большем количестве данных приведет к заметным успехам, оказалось неверным. Bloomberg сообщает, что наблюдается снижение отдачи, что заставляет некоторых говорить о замедлении законов масштабирования.