Новые возможности с Meta Llama 4 на OCI Generative AI
Сервис Oracle Cloud Infrastructure (OCI) Generative AI пополнился впечатляющим дополнением: семейством моделей Meta Llama 4, включая Scout и Maverick. Эти модели, использующие уникальную архитектуру Mixture of Experts (MoE), обеспечивают значительное улучшение вычислительных возможностей и эффективности. Они специально оптимизированы для достижения выдающихся результатов в различных областях, таких как мультимодальное понимание, многоязычные задачи, генерация кода и вызов инструментов, а также для управления передовыми системами агентов.
В настоящее время эти модели доступны в общедоступной (GA) версии в следующих регионах:
- По требованию: ORD (Чикаго)
- Выделенный кластер AI: ORD (Чикаго), GRU (Гуарульюс), LHR (Лондон), KIK (Кикую)
Основные особенности семейства Llama 4
Мультимодальные возможности: преодолевая границы типов данных
Llama 4 Scout и Maverick – это не просто языковые модели, это настоящие мастера мультимодальности. Они способны изначально обрабатывать и интегрировать различные типы данных, включая текст и изображения, что позволяет создавать более богатые и комплексные AI-приложения. Представьте себе систему AI, которая может одновременно понимать текстовое описание и соответствующую картинку, что позволяет лучше понимать контекст и принимать более взвешенные решения. Эта многомодальность открывает совершенно новые возможности для таких задач, как создание подписей к изображениям, ответы на вопросы по изображениям и т.д.
Многоязыковая поддержка: коммуникация без границ
Еще одним ярким аспектом семейства Llama 4 является его мощная многоязыковая поддержка. Эти модели были обучены на наборе данных, содержащем 200 языков, и были точно настроены для 12 основных языков (арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский). Это означает, что они могут понимать и генерировать текст на многих языках, что открывает двери для приложений в глобальном масштабе. Стоит отметить, что функция понимания изображений в настоящее время поддерживает только английский язык.
Эффективная разработка: меньшая занимаемая площадь GPU
Для разработчиков Llama 4 Scout изначально разрабатывался для достижения большей доступности. Он может эффективно работать на меньшей занимаемой площади GPU, что делает его идеальным выбором для сред с ограниченными ресурсами. Это означает, что даже без мощного оборудования разработчики могут использовать мощные возможности Llama 4 Scout для ускорения разработки и развертывания AI-приложений.
Модели с открытым исходным кодом: расширение возможностей сообщества
Meta выбрала открытую позицию, выпустив обе модели под лицензией сообщества Llama 4. Это означает, что разработчики могут свободно настраивать и развертывать их, соблюдая при этом определенные условия лицензии. Эта открытая модель способствует инновациям и сотрудничеству в AI-сообществе, позволяя большему количеству людей участвовать в разработке и применении AI-технологий.
Дата прекращения актуальности знаний
Важно отметить, что дата прекращения актуальности знаний для моделей Llama 4 – август 2024 года. Это означает, что они могут не предоставлять самую свежую информацию о событиях или информацию, произошедшую после этой даты.
Важное примечание: Политика допустимого использования Llama ограничивает его использование на территории Европейского Союза (EU).
Llama 4 Scout: легковесный чемпион
Архитектура: продуманная конструкция параметров
Llama 4 Scout использует продуманную архитектурную конструкцию, в которой активируются только 17 миллиардов параметров из общего количества около 109 миллиардов параметров. В этой конструкции используется смесь из 16 экспертов, что обеспечивает хороший баланс между производительностью и эффективностью. Активируя только часть параметров, Scout значительно снижает вычислительные требования, что позволяет ему работать в средах с ограниченными ресурсами.
Контекстное окно: возможность обработки длинного текста
Llama 4 Scout поддерживает длину контекста до 10 миллионов токенов (требуется несколько графических процессоров). Однако во время общедоступной (GA) версии сервис OCI Generative AI будет поддерживать длину контекста 192 тыс. токенов. Даже контекстного окна 192 тыс. достаточно для обработки довольно длинного текста, такого как главы книг или подробные отчеты.
Развертывание: компактный и мощный
Одной из целей разработки Llama 4 Scout была эффективная работа на меньшей занимаемой площади GPU. Это делает его идеальным выбором для различных сценариев развертывания, включая периферийные устройства и облачные среды с ограниченными ресурсами.
Производительность: превосходит конкурентов
Llama 4 Scout показал отличные результаты в нескольких сравнительных тестах, превзойдя такие модели, как Google Gemma 3 и Mistral 3.1. Это свидетельствует о превосходных возможностях Scout в плане производительности, делая его мощным инструментом для различных AI-задач.
Llama 4 Maverick: тяжеловес
Архитектура: больший масштаб, большая мощность
По сравнению со Scout, Llama 4 Maverick использует архитектуру большего масштаба. Он также активирует 17 миллиардов параметров, но это достигается в рамках более крупной структуры, содержащей в общей сложности около 400 миллиардов параметров, и использует 128 экспертов. Этот больший масштаб наделяет Maverick большей мощностью, что позволяет ему превосходно справляться с более сложными AI-задачами.
Контекстное окно: сверхдолгая память
Llama 4 Maverick поддерживает длину контекста до 1 миллиона токенов. Во время общедоступной (GA) версии развертывание на OCI будет поддерживать длину контекста 512 тыс. токенов. Такая большая длина контекстного окна позволяет Maverick обрабатывать чрезвычайно сложные тексты, такие как полные книги или наборы нескольких документов.
Развертывание: требуется больше места
Из-за своего большего масштаба Llama 4 Maverick требует больше места для развертывания, чем Scout. Во время общедоступной (GA) версии развертывание Maverick на OCI потребует примерно в два раза больше места, чем Scout.
Производительность: сравнима с лучшими моделями
В задачах генерации кода и логических выводов производительность Llama 4 Maverick сравнима с лучшими моделями, такими как OpenAI GPT-4o и DeepSeek-V3. Это свидетельствует о лидирующей позиции Maverick в области AI.
В целом, семейство Llama 4 представляет собой значительный прогресс в разработке AI-моделей. Они значительно улучшены в плане производительности, универсальности и доступности, предоставляя мощную поддержку для различных сценариев применения.
Клиенты OCI теперь могут легко использовать эти мощные модели, не беспокоясь о сложностях управления инфраструктурой. Они могут получить доступ к этим моделям через интерфейс чата, API или выделенные конечные точки, что упрощает процессы разработки и развертывания AI-приложений.
Выпуск моделей Llama 4 знаменует собой новую эпоху в развитии сервиса OCI Generative AI. Предоставляя эти передовые модели, OCI помогает клиентам раскрыть весь потенциал AI и стимулирует инновации во всех отраслях. Адаптируя эти технологии, разработчики и предприятия могут создавать мощные и эффективные AI-решения, которые формируют будущее.