IBM недавно представила предварительную версию Granite 4.0 Tiny, самой компактной итерации в рамках предстоящей серии языковых моделей Granite 4.0. Распространяемая под разрешительной лицензией Apache 2.0, эта модель тщательно разработана как для обработки длинного контекста, так и для приложений, управляемых инструкциями, тщательно балансируя эффективность ресурсов, открытую доступность и надежную производительность. Этот запуск подчеркивает постоянную приверженность IBM разработке и развертыванию фундаментальных моделей, которые не только открыты и прозрачны, но и специально адаптированы для приложений корпоративного уровня.
Granite 4.0 Tiny Preview включает в себя две различные версии: Base-Preview, демонстрирующая инновационную архитектуру только декодера, и Tiny-Preview (Instruct), которая усовершенствована как для разговорного, так и для многоязычного взаимодействия. Несмотря на минимизированное количество параметров, Granite 4.0 Tiny достигает конкурентоспособных результатов по ряду тестов рассуждения и генерации, подчеркивая эффективность своей гибридной конструкции.
Архитектурный обзор: Гибридная структура Mixture-of-Experts с динамикой, вдохновленной Mamba-2
В основе Granite 4.0 Tiny лежит сложная гибридная архитектура Mixture-of-Experts (MoE), включающая в себя в общей сложности 7 миллиардов параметров, при этом во время каждого прямого прохода активно задействован только 1 миллиард параметров. Эта присущая разреженность позволяет модели обеспечивать масштабируемую производительность, значительно снижая вычислительные потребности, что делает ее особенно подходящей для развертывания в средах с ограниченными ресурсами и для сценариев логического вывода на периферии.
Вариант Base-Preview использует архитектуру только декодера, усовершенствованную слоями в стиле Mamba-2, предлагая линейную рекуррентную альтернативу традиционным механизмам внимания. Это архитектурное нововведение позволяет модели более эффективно масштабироваться с увеличением длины ввода, тем самым повышая ее эффективность в задачах с длинным контекстом, таких как углубленный анализ документов, всестороннее обобщение диалогов и ответы на вопросы, требующие интенсивных знаний.
Еще одним заслуживающим внимания архитектурным решением является реализация NoPE (No Positional Encodings). Вместо того чтобы полагаться на фиксированные или изученные позиционные вложения, модель включает информацию о положении непосредственно в динамику своих слоев. Этот подход способствует улучшению обобщения по различным длинам ввода и помогает поддерживать согласованность на протяжении всей генерации длинной последовательности.
Эталонная производительность: Эффективность без ущерба для возможностей
Даже в качестве предварительной версии Granite 4.0 Tiny уже демонстрирует значительные улучшения производительности по сравнению с предыдущими моделями в серии IBM Granite. В эталонных оценках Base-Preview демонстрирует:
- Увеличение на 5,6 балла по DROP (Discrete Reasoning Over Paragraphs), широко признанному эталону для многошаговых ответов на вопросы, который оценивает способность модели рассуждать по нескольким сегментам текста для получения ответов.
- Улучшение на 3,8 балла по AGIEval, комплексному эталону, предназначенному для оценки общего понимания языка и возможностей рассуждения, охватывающему широкий спектр лингвистических и когнитивных задач.
Эти улучшения производительности можно отнести как к усовершенствованной архитектуре модели, так и к ее обширному режиму предварительной подготовки, который, как сообщается, включал обработку 2,5 триллионов токенов, взятых из различных областей и лингвистических структур. Эта обширная предварительная подготовка позволяет модели захватывать широкий спектр закономерностей и взаимосвязей в данных, что приводит к улучшению обобщения и производительности в различных задачах.
Вариант, настроенный на инструкции: Адаптирован для диалога, ясности и широкой многоязыковой поддержки
Вариант Granite-4.0-Tiny-Preview (Instruct) основан на базовой модели посредством комбинации контролируемой тонкой настройки (SFT) и обучения с подкреплением (RL), используя набор данных в стиле Tülu, который включает в себя как открытые, так и синтетически сгенерированные диалоги. Этот индивидуальный подход оптимизирует модель для следования инструкциям и интерактивным приложениям.
Поддерживая окна ввода токенов 8192 и длину генерации токенов 8192, модель поддерживает согласованность и точность на протяжении расширенного взаимодействия. В отличие от гибридов кодировщика-декодера, которые часто жертвуют интерпретируемостью ради повышения производительности, установка только декодера здесь дает более четкие и прослеживаемые выходы, что делает ее особенно ценной для корпоративных и критически важных приложений, где прозрачность и предсказуемость имеют первостепенное значение.
Подробные метрики оценки:
- 86,1 по IFEval, что указывает на высокую производительность в эталонах следования инструкциям, отражая способность модели точно и эффективно выполнять сложные инструкции.
- 70,05 по GSM8K, эталону, ориентированному на решение математических задач в начальной школе, демонстрирующему склонность модели к количественным рассуждениям и арифметическим операциям.
- 82,41 по HumanEval, измеряющему точность генерации кода Python, демонстрируя мастерство модели в создании синтаксически правильных и семантически значимых фрагментов кода.
Кроме того, модель instruct поддерживает многоязыковое взаимодействие на 12 языках, что облегчает глобальные развертывания в сфере обслуживания клиентов, автоматизации предприятий и образовательных инструментов. Эта многоязыковая возможность расширяет охват и применимость модели, позволяя ей обслуживать разнообразный круг пользователей и вариантов использования в различных лингвистических контекстах. Поддерживаемые языки включают английский, испанский, французский, немецкий, итальянский, португальский, голландский, русский, китайский, японский, корейский и арабский, охватывая значительную часть населения мира.
Значение доступности с открытым исходным кодом
Решение IBM выпустить обе модели Granite 4.0 Tiny под лицензией Apache 2.0 является важным шагом на пути к укреплению прозрачности и сотрудничества в рамках сообщества ИИ. Предоставляя открытый доступ к весам модели, файлам конфигурации и примерам сценариев использования, IBM дает исследователям, разработчикам и организациям возможность свободно экспериментировать, точно настраивать и интегрировать модели в свои собственные рабочие процессы NLP. Этот подход с открытым исходным кодом не только ускоряет инновации, но и способствует более глубокому пониманию возможностей и ограничений модели.
Лицензия Apache 2.0 особенно выгодна, поскольку позволяет использовать программное обеспечение как в коммерческих, так и в некоммерческих целях, не требуя от пользователей раскрывать какие-либо изменения или производные работы. Эта разрешительная лицензия поощряет широкое распространение и эксперименты, создавая динамичную экосистему вокруг моделей Granite 4.0 Tiny. Кроме того, доступность моделей на Hugging Face, популярной платформе для обмена и обнаружения предварительно обученных моделей, гарантирует, что они легко доступны для широкой аудитории.
Доступность Granite 4.0 Tiny с открытым исходным кодом также соответствует более широкой приверженности IBM ответственному развитию ИИ. Сделав модели прозрачными и поддающимися проверке, IBM позволяет пользователям изучать их поведение, выявлять потенциальные предубеждения и обеспечивать их использование безопасным и этичным образом. Эта приверженность прозрачности имеет решающее значение для укрепления доверия к системам ИИ и содействия их ответственному развертыванию в различных областях.
Закладывая основу для Granite 4.0: Взгляд в будущее
Granite 4.0 Tiny Preview предлагает раннее указание на всеобъемлющую стратегию IBM для ее набора языковых моделей следующего поколения. Интегрируя эффективные архитектуры MoE, надежную поддержку длинного контекста и настройку, ориентированную на инструкции, семейство моделей Granite 4.0 стремится предоставить самые современные возможности в управляемом и оптимизированном по ресурсам пакете. Этот подход подчеркивает приверженность IBM разработке решений ИИ, которые не только мощны, но и практичны и доступны.
Сочетание этих трех ключевых элементов – эффективной архитектуры, поддержки длинного контекста и настройки, ориентированной на инструкции, – позиционирует Granite 4.0 как универсальную и адаптируемую языковую модель, подходящую для широкого спектра приложений. Эффективная архитектура MoE позволяет модели эффективно масштабироваться с увеличением объема данных и сложности, а поддержка длинного контекста позволяет ей обрабатывать и понимать длинные документы и разговоры. С другой стороны, настройка, ориентированная на инструкции, гарантирует, что модель может точно и эффективно выполнять сложные инструкции, что делает ее идеальной для таких задач, как ответы на вопросы, обобщение текста и генерация кода.
По мере того, как будет представлено больше вариантов Granite 4.0, мы можем ожидать, что IBM еще больше укрепит свои инвестиции в ответственный и открытый ИИ, зарекомендовав себя как ключевая сила в формировании траектории развития прозрачных и высокопроизводительных языковых моделей как для предприятий, так и для исследовательских приложений. Эти постоянные инвестиции отражают убеждение IBM в том, что ИИ следует разрабатывать и развертывать таким образом, чтобы это было одновременно этично и выгодно для общества. Отдавая приоритет прозрачности, подотчетности и справедливости, IBM стремится создавать системы ИИ, которые не только мощны, но и надежны и соответствуют человеческим ценностям.
Серия Granite 4.0 представляет собой значительный шаг вперед в эволюции языковых моделей, предлагая убедительное сочетание производительности, эффективности и прозрачности. По мере того, как IBM продолжает внедрять инновации в этой области, мы можем ожидать еще более революционных разработок, которые еще больше преобразят то, как мы взаимодействуем с ИИ и используем его. Granite 4.0 Tiny Preview – это только начало, и будущее языковых моделей выглядит светлее, чем когда-либо. В частности, акцент на возможностях длинного контекста открывает новые возможности для приложений ИИ в таких областях, как научные исследования, юридический анализ и анализ исторических документов, где способность обрабатывать и понимать длинные и сложные тексты имеет решающее значение.
Более того, многоязыковые возможности моделей Granite 4.0 делают их хорошо подходящими для глобальных развертываний в различных отраслях, от обслуживания клиентов до образования. Поддерживая широкий спектр языков, IBM гарантирует, что ее решения ИИ доступны для разнообразной аудитории, независимо от ее родного языка. Эта приверженность инклюзивности необходима для содействия широкому внедрению ИИ и обеспечения того, чтобы его преимущества разделялись всеми.
В дополнение к своим техническим возможностям серия Granite 4.0 также отражает приверженность IBM ответственному развитию ИИ. Отдавая приоритет прозрачности, подотчетности и справедливости, IBM создает системы ИИ, которые не только мощны, но и надежны и соответствуют человеческим ценностям. Эта приверженность ответственному ИИ имеет решающее значение для укрепления общественного доверия к ИИ и обеспечения его использования на благо общества.