Meta представляет Llama 4: Новое поколение ИИ-моделей

Meta Platforms, технологический гигант, стоящий за Facebook, Instagram и WhatsApp, значительно укрепил свои позиции в области искусственного интеллекта, представив серию Llama 4. Этот запуск знаменует собой следующую итерацию влиятельного семейства открытых моделей Llama компании, сигнализируя о неизменной приверженности конкуренции на переднем крае разработки ИИ и потенциальном изменении конкурентной динамики в отрасли. Релиз представляет трио различных моделей, каждая из которых разработана с конкретными возможностями и вычислительными архитектурами, нацеленными на удовлетворение разнообразных потребностей приложений, от общих функций чата до сложных задач обработки данных.

Представляем семейство Llama 4: Scout, Maverick и Behemoth

Первоначальный выпуск поколения Llama 4 включает три модели с конкретными названиями: Llama 4 Scout, Llama 4 Maverick и все еще находящуюся в разработке Llama 4 Behemoth. Meta указала, что основой для этих моделей служат обширные наборы обучающих данных, включающие огромные объемы неразмеченного текста, изображений и видеоконтента. Этот мультимодальный подход к обучению предназначен для наделения моделей сложным и ‘широким визуальным пониманием’, расширяя их возможности за пределы чисто текстовых взаимодействий.

Траектория развития Llama 4, по-видимому, находилась под влиянием конкурентного давления в быстро развивающемся секторе ИИ. Сообщается, что появление и заметная эффективность открытых моделей от международных лабораторий ИИ, в частности, китайской лаборатории DeepSeek, побудили Meta ускорить собственные разработки. Подразумевается, что Meta выделила значительные ресурсы, возможно, создав специализированные команды или ‘военные комнаты’, для анализа и понимания методологий, используемых конкурентами, такими как DeepSeek, уделяя особое внимание техникам, которые успешно снизили вычислительные затраты, связанные с запуском и развертыванием передовых моделей ИИ. Эта конкурентная подоплека подчеркивает интенсивную гонку между крупными технологическими игроками и исследовательскими институтами за достижение прорывов как в производительности ИИ, так и в операционной эффективности.

Доступность варьируется в новой линейке Llama 4. Scout и Maverick становятся открыто доступными для сообщества разработчиков и общественности через установленные каналы, включая собственный портал Meta Llama.com и партнерские платформы, такие как широко используемый центр разработки ИИ Hugging Face. Эта открытая доступность подчеркивает стратегию Meta по развитию более широкой экосистемы вокруг своих моделей Llama. Однако Behemoth, позиционируемая как самая мощная модель в текущей серии, остается в разработке и еще не выпущена для общего использования. Одновременно Meta интегрирует эти новые возможности в свои продукты, ориентированные на пользователя. Компания объявила, что ее собственный ИИ-помощник, Meta AI, работающий в ее наборе приложений, таких как WhatsApp, Messenger и Instagram, был обновлен для использования мощи Llama 4. Эта интеграция развертывается в сорока странах, хотя расширенные мультимодальные функции (сочетающие текст, изображение и потенциально другие типы данных) первоначально ограничены англоязычными пользователями в Соединенных Штатах.

Навигация по ландшафту лицензирования

Несмотря на акцент на открытости для некоторых моделей, развертывание и использование Llama 4 регулируются конкретными условиями лицензирования, которые могут создавать препятствия для определенных разработчиков и организаций. Заметное ограничение явно запрещает пользователям и компаниям, базирующимся или имеющим основное место деятельности в Европейском Союзе, использовать или распространять модели Llama 4. Это географическое ограничение, вероятно, является прямым следствием строгих требований управления, установленных всеобъемлющим Законом ЕС об ИИ (EU’s AI Act) и существующими правилами конфиденциальности данных, такими как GDPR. Навигация по этим сложным нормативным рамкам, по-видимому, является важным фактором, формирующим стратегию развертывания Meta в регионе.

Кроме того, повторяя структуру лицензирования предыдущих итераций Llama, Meta налагает условие на крупные предприятия. Компании, имеющие пользовательскую базу, превышающую 700 миллионов активных пользователей в месяц, обязаны официально запросить специальную лицензию непосредственно у Meta. Важно отметить, что решение о предоставлении или отказе в этой лицензии полностью остается на ‘единоличное усмотрение’ Meta. Этот пункт фактически дает Meta контроль над тем, как ее самые передовые модели используются потенциально конкурентными крупными технологическими фирмами, сохраняя степень стратегического надзора, несмотря на ‘открытый’ характер частей экосистемы Llama. Эти нюансы лицензирования подчеркивают сложное взаимодействие между продвижением открытых инноваций и сохранением стратегического контроля в высококонкурентной области ИИ.

В своих официальных сообщениях, сопровождающих запуск, Meta представила выпуск Llama 4 как поворотный момент. ‘Эти модели Llama 4 знаменуют начало новой эры для экосистемы Llama’, - заявила компания в сообщении в блоге, добавив: ‘Это только начало для коллекции Llama 4’. Это дальновидное заявление предполагает дорожную карту для дальнейшего развития и расширения в рамках поколения Llama 4, позиционируя этот запуск не как конечный пункт назначения, а как значительный этап в продолжающемся пути развития ИИ.

Архитектурные инновации: Подход ‘Смесь экспертов’ (MoE)

Ключевой технической характеристикой, отличающей серию Llama 4, является принятие архитектуры Mixture of Experts (MoE). Meta подчеркивает, что это первая когорта в семействе Llama, использующая эту конкретную парадигму проектирования. Подход MoE представляет собой значительный сдвиг в структуре и обучении больших языковых моделей, предлагая заметные преимущества с точки зрения вычислительной эффективности, как на ресурсоемком этапе обучения, так и на этапе эксплуатации при ответе на запросы пользователей.

По своей сути архитектура MoE функционирует путем декомпозиции сложных задач обработки данных на более мелкие, более управляемые подзадачи. Эти подзадачи затем интеллектуально маршрутизируются или делегируются набору меньших, специализированных компонентов нейронной сети, называемых ‘экспертами’. Каждый эксперт обычно обучается преуспевать в определенных типах данных или задач. Механизм шлюзования в архитектуре определяет, какой эксперт или комбинация экспертов лучше всего подходит для обработки определенной части входных данных или запроса. Это контрастирует с традиционными плотными архитектурами моделей, где вся модель обрабатывает каждую часть входных данных.

Выигрыш в эффективности обусловлен тем, что для любой конкретной задачи задействуется только подмножество общих параметров модели (‘активные’ параметры, принадлежащие выбранным экспертам). Эта избирательная активация значительно снижает вычислительную нагрузку по сравнению с активацией всей массивной плотной модели.

Meta предоставила конкретные детали, иллюстрирующие эту архитектуру в действии:

  • Maverick: Эта модель обладает значительным общим числом параметров в 400 миллиардов. Однако благодаря дизайну MoE, включающему 128 различных ‘экспертов’, во время обработки в любой момент времени активно задействовано только 17 миллиардов параметров. Параметры часто рассматриваются как приблизительный показатель способности модели к обучению и сложности решения проблем.
  • Scout: Аналогично структурированный, Scout имеет 109 миллиардов общих параметров, распределенных между 16 ‘экспертами’, что приводит к тем же 17 миллиардам активных параметров, что и у Maverick.

Этот архитектурный выбор позволяет Meta создавать модели с огромной общей емкостью (большим общим числом параметров), сохраняя при этом управляемые вычислительные требования для вывода (обработки запросов), что делает их потенциально более практичными для развертывания и эксплуатации в больших масштабах.

Бенчмарки производительности и специализации моделей

Meta позиционировала свои новые модели конкурентоспособно, опубликовав внутренние результаты бенчмарков, сравнивающих Llama 4 с известными моделями конкурентов, таких как OpenAI, Google и Anthropic.

Maverick, обозначенная Meta как оптимальная для приложений ‘общего помощника и чата’, включая такие задачи, как творческое письмо и генерация кода, по сообщениям, демонстрирует превосходную производительность по сравнению с такими моделями, как GPT-4o от OpenAI и Gemini 2.0 от Google, на определенных бенчмарках. Эти бенчмарки охватывают такие области, как владение кодированием, логическое мышление, многоязычные возможности, обработка длинных последовательностей текста (длинный контекст) и понимание изображений. Однако собственные данные Meta показывают, что Maverick не всегда превосходит возможности самых последних и самых мощных доступных на данный момент моделей, таких как Gemini 2.5 Pro от Google, Claude 3.7 Sonnet от Anthropic или ожидаемая GPT-4.5 от OpenAI. Это говорит о том, что Maverick стремится занять сильную позицию в высокопроизводительном сегменте, но может не претендовать на абсолютное первое место по всем показателям по сравнению с новейшими флагманскими моделями конкурентов.

Scout, с другой стороны, адаптирован для других сильных сторон. Его возможности выделяются в задачах, связанных с суммированием обширных документов и рассуждением над большими, сложными кодовыми базами. Особенно уникальной и определяющей особенностью Scout является его исключительно большое контекстное окно, способное обрабатывать до 10 миллионов токенов. Токены — это основные единицы текста или кода, которые обрабатывают языковые модели (например, слово может быть разбито на несколько токенов, таких как ‘по-ни-ма-ни-е’). Контекстное окно в 10 миллионов токенов на практике означает способность одновременно воспринимать и обрабатывать огромное количество информации — потенциально эквивалентное миллионам слов или целым библиотекам кода. Это позволяет Scout поддерживать согласованность и понимание в чрезвычайно длинных документах или сложных программных проектах, что является сложной задачей для моделей с меньшими контекстными окнами. Он также может обрабатывать изображения наряду с этим обширным текстовым вводом.

Требования к аппаратному обеспечению для запуска этих моделей отражают их масштаб и архитектуру. Согласно оценкам Meta:

  • Scout относительно эффективен, способен работать на одном высокопроизводительном GPU Nvidia H100.
  • Maverick, с его большим общим числом параметров, несмотря на эффективность MoE, требует более существенных ресурсов, нуждаясь в системе Nvidia H100 DGX (которая обычно содержит несколько GPU H100) или эквивалентной вычислительной мощности.

Ожидается, что грядущая модель Behemoth потребует еще более внушительной аппаратной инфраструктуры. Meta раскрыла, что Behemoth спроектирован с 288 миллиардами активных параметров (из почти двух триллионов общих параметров, распределенных между 16 экспертами). Предварительные внутренние бенчмарки позиционируют Behemoth как превосходящую такие модели, как GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro (хотя, примечательно, не более продвинутую Gemini 2.5 Pro) по нескольким оценкам, сосредоточенным на навыках STEM (Наука, Технологии, Инженерия и Математика), особенно в областях, таких как решение сложных математических задач.

Стоит отметить, однако, что ни одна из анонсированных в настоящее время моделей Llama 4 не разработана явно как ‘рассуждающая’ модель в духе концепций o1 и o3-mini от OpenAI. Эти специализированные рассуждающие модели обычно включают механизмы для внутренней проверки фактов и итеративного уточнения своих ответов, что приводит к потенциально более надежным и точным ответам, особенно на фактологические запросы. Компромиссом часто является увеличенная задержка, что означает, что им требуется больше времени для генерации ответов по сравнению с более традиционными большими языковыми моделями, такими как в семействе Llama 4, которые отдают приоритет более быстрой генерации.

Корректировка разговорных границ: Спорные темы

Интригующим аспектом запуска Llama 4 является преднамеренная настройка Meta поведения моделей при ответе, особенно в отношении чувствительных или спорных тем. Компания явно заявила, что она скорректировала модели Llama 4 так, чтобы они реже отказывались отвечать на ‘спорные’ вопросы по сравнению с их предшественниками в семействе Llama 3.

Согласно Meta, Llama 4 теперь более склонна взаимодействовать с ‘обсуждаемыми’ политическими и социальными темами, где предыдущие версии могли уклоняться или давать общий отказ. Кроме того, компания утверждает, что Llama 4 демонстрирует ‘значительно более сбалансированный’ подход в отношении типов запросов, на которые она вообще откажется отвечать. Заявленная цель — предоставлять полезные и фактические ответы, не навязывая суждений.

Представитель Meta уточнил это изменение, заявив TechCrunch: ‘[В]ы можете рассчитывать на то, что [Llama 4] предоставит полезные, фактические ответы без осуждения… [М]ы продолжаем делать Llama более отзывчивой, чтобы она отвечала на большее количество вопросов, могла реагировать на различные точки зрения […] и не отдавала предпочтения одним взглядам перед другими’.

Эта корректировка происходит на фоне продолжающихся общественных и политических дебатов вокруг предполагаемых предубеждений в системах искусственного интеллекта. Определенные политические фракции и комментаторы, включая видных деятелей, связанных с администрацией Trump, таких как Elon Musk и венчурный капиталист David Sacks, выдвигали обвинения в том, что популярные ИИ-чат-боты демонстрируют политическую предвзятость, часто описываемую как ‘woke’, якобы цензурируя консервативные точки зрения или представляя информацию, искаженную в сторону либеральной перспективы. Sacks, например, ранее критиковал ChatGPT от OpenAI, утверждая, что он был ‘запрограммирован быть woke’ и ненадежен в политических вопросах.

Однако проблема достижения истинной нейтральности и устранения предвзятости в ИИ широко признана в техническом сообществе как невероятно сложная и постоянная проблема (‘неразрешимая’). Модели ИИ изучают паттерны и ассоциации из огромных наборов данных, на которых они обучаются, и эти наборы данных неизбежно отражают предубеждения, присутствующие в созданных человеком текстах и изображениях, которые они содержат. Усилия по созданию идеально беспристрастного или политически нейтрального ИИ, даже компаниями, явно стремящимися к этому, оказались трудными. Собственное ИИ-предприятие Elon Musk, xAI, по сообщениям, столкнулось с проблемами при разработке чат-бота, который избегает поддержки определенных политических позиций над другими.

Несмотря на присущие технические трудности, тенденция среди крупных разработчиков ИИ, включая Meta и OpenAI, по-видимому, движется в сторону корректировки моделей, чтобы они меньше избегали спорных тем. Это включает в себя тщательную калибровку фильтров безопасности и руководств по ответам, чтобы разрешить взаимодействие с более широким кругом вопросов, чем разрешалось ранее, при этом все еще пытаясь смягчить генерацию вредоносного или откровенно предвзятого контента. Эта тонкая настройка отражает деликатный баланс, который компании ИИ должны соблюдать между продвижением открытого дискурса, обеспечением безопасности пользователей и навигацией по сложным социополитическим ожиданиям, окружающим их мощные технологии. Выпуск Llama 4 с его явно заявленными корректировками в обработке спорных запросов представляет собой последний шаг Meta в навигации по этому сложному ландшафту.