Nvidia Corp. официально запустила NeMo microservices, комплексный набор инструментов, тщательно разработанных для расширения возможностей разработчиков в ускорении развертывания сложных агентов искусственного интеллекта. Эти микросервисы спроектированы для использования мощности AI-инференса и информационных систем в масштабе, что является значительным шагом вперед в области автоматизации и повышения производительности на основе AI.
Рост AI-агентов: Цифровые коллеги в современной рабочей силе
AI-агенты быстро становятся незаменимымиактивами в современной рабочей силе, готовыми революционизировать методы работы специалистов, занятых интеллектуальным и сервисным трудом. Эти цифровые коллеги предназначены для беспрепятственной интеграции в существующие рабочие процессы, способны выполнять широкий спектр задач, включая:
- Обработка заказов: Эффективное управление и обработка заказов клиентов, оптимизация операций и сокращение ручного вмешательства.
- Обнаружение информации: Быстрое выявление и извлечение соответствующей информации из огромных наборов данных, что позволяет принимать решения и получать аналитические данные на основе данных.
- Проактивное выполнение задач: Предупреждение и проактивное решение потенциальных проблем или возможностей, повышение общей операционной эффективности и гибкости.
В отличие от традиционных AI-чатботов, AI-агенты обладают уникальной способностью выполнять автономные действия с минимальным контролем со стороны человека. Этот уровень автономии требует надежных возможностей обработки данных для обеспечения точного и эффективного принятия решений. Агенты полагаются на постоянный поток данных для обоснования своих рассуждений, что может быть особенно сложной задачей при работе с конфиденциальными знаниями или быстро меняющейся информацией в режиме реального времени.
Решение проблемы данных: Обеспечение точности и надежности агентов
Одной из важнейших задач при разработке и развертывании AI-агентов является обеспечение постоянного потока высококачественных данных. Без доступа к релевантной и актуальной информации из различных источников понимание агента может ухудшиться, что приведет к ненадежным ответам и снижению производительности. Это особенно актуально, когда агентам необходимо получить доступ к конфиденциальным знаниям, хранящимся за корпоративными брандмауэрами, или использовать быстро меняющуюся информацию в режиме реального времени.
Джоуи Конвей, старший директор по генеративному AI-программному обеспечению для предприятий в Nvidia, подчеркнул важность качества данных, заявив: ‘Без постоянного потока высококачественных входных данных — из баз данных, взаимодействий с пользователями или реальных сигналов — понимание агента может ослабнуть, что сделает ответы менее надежными, а агентов — менее продуктивными’.
NeMo Microservices: Комплексный набор инструментов для разработки AI-агентов
Длярешения этих задач и ускорения разработки и развертывания AI-агентов Nvidia представляет NeMo microservices. Этот набор инструментов включает пять ключевых компонентов:
Customizer: Облегчает тонкую настройку больших языковых моделей (LLM), обеспечивая до 1,8 раза более высокую пропускную способность обучения. Это позволяет разработчикам быстро адаптировать модели к конкретным наборам данных, оптимизируя производительность и точность. Customizer предлагает интерфейс прикладного программирования (API), который позволяет разработчикам эффективно курировать модели перед развертыванием.
Evaluator: Упрощает оценку AI-моделей и рабочих процессов на основе пользовательских и отраслевых тестов. Всего за пять вызовов API разработчики могут всесторонне оценить производительность своих AI-решений, гарантируя их соответствие требуемым стандартам.
Guardrails: Действует как предохранительная сетка, предотвращая поведение AI-моделей или агентов, которое является небезопасным или выходящим за рамки допустимого. Это обеспечивает соответствие требованиям и этичное поведение, добавляя всего полсекунды задержки, обеспечивая при этом эффективность в 1,4 раза.
Retriever: Позволяет разработчикам создавать агентов, которые могут извлекать данные из различных систем и точно их обрабатывать. Это позволяет создавать сложные конвейеры данных AI, такие как retrieval-augmented generation (RAG), повышая способность агента получать доступ к релевантной информации и использовать ее.
Curator: Позволяет разработчикам фильтровать и уточнять данные, используемые для обучения AI-моделей, повышая точность модели и уменьшая предвзятость. Обеспечивая использование только высококачественных данных, Curator помогает создавать более надежных и эффективных AI-агентов.
По словам Конвея, ‘NeMo microservices просты в эксплуатации и могут работать на любой ускоренной вычислительной инфраструктуре, как локально, так и в облаке, обеспечивая при этом безопасность, стабильность и поддержку корпоративного уровня’.
Демократизация разработки AI-агентов: Доступность для всех
Nvidia разработала инструменты NeMo с учетом доступности, гарантируя, что разработчики с общими знаниями в области AI могут использовать их с помощью простых вызовов API. Эта демократизация разработки AI-агентов позволяет предприятиям создавать сложные системы с несколькими агентами, в которых сотни специализированных агентов сотрудничают для достижения единых целей, работая вместе с человеческими коллегами.
Широкая поддержка моделей: Принятие открытой экосистемы AI
NeMo microservices могут похвастаться обширной поддержкой широкого спектра популярных открытых AI-моделей, включая:
- Семейство моделей Llama от Meta Platforms Inc.
- Семейство малых языковых моделей Microsoft Phi
- Модели Gemma от Google LLC
- Модели Mistral
Кроме того, Llama Nemotron Ultra от Nvidia, признанная ведущей открытой моделью для научных рассуждений, кодирования и сложных математических тестов, также доступна через микросервисы.
Принятие в отрасли: Растущая экосистема партнеров
Многие ведущие поставщики AI-услуг уже интегрировали NeMo microservices в свои платформы, включая:
- Cloudera Inc.
- Datadog Inc.
- Dataiku
- DataRobot Inc.
- DataStax Inc.
- SuperAnnotate AI Inc.
- Weights & Biases Inc.
Это широкое распространение подчеркивает ценность и универсальность NeMo microservices в AI-экосистеме. Разработчики могут немедленно начать использовать эти микросервисы через популярные AI-фреймворки, такие как CrewAI, Haystack от Deepset, LangChain, LlamaIndex и Llamastack.
Реальные приложения: Стимулирование бизнес-ценности
Партнеры и технологические компании Nvidia уже используют новые NeMo microservices для создания инновационных платформ AI-агентов и привлечения цифровых коллег, стимулируя ощутимую бизнес-ценность.
AT&T Inc.: Использовала NeMo Customizer и Evaluator для тонкой настройки модели Mistral 7B для персонализированных услуг, предотвращения мошенничества и оптимизации производительности сети, что привело к повышению точности AI-агентов.
BlackRock Inc.: Интегрирует микросервисы в свою технологическую платформу Aladdin для унификации управления инвестициями с помощью общего языка данных, повышения эффективности и возможностей принятия решений.
Глубокое погружение в компоненты NeMo Microservices
Чтобы в полной мере оценить преобразующий потенциал NeMo microservices, важно глубже изучить каждый компонент:
Customizer: Адаптация LLM для конкретных задач
Микросервис Customizer меняет правила игры для организаций, стремящихся адаптировать большие языковые модели (LLM) к своим конкретным потребностям. Он решает проблему того, что LLM общего назначения не всегда идеально подходят для нишевых приложений или проприетарных наборов данных.
Ключевые особенности:
- Возможности тонкой настройки: Позволяет разработчикам тонко настраивать LLM с использованием своих собственных данных, адаптируя знания и поведение модели к конкретным задачам.
- Повышенная пропускная способность обучения: Обеспечивает до 1,8 раза более высокую пропускную способность обучения по сравнению с традиционными методами тонкой настройки, ускоряя процесс настройки модели.
- API-интерфейс: Предлагает удобный API, который позволяет разработчикам быстро курировать модели, гарантируя их оптимизацию для развертывания.
Преимущества:
- Улучшенная точность: Тонкая настройка LLM с использованием релевантных данных значительно улучшает точность и производительность в конкретных приложениях.
- Сокращение времени разработки: Ускоренная пропускная способность обучения и оптимизированный API сокращают время, необходимое для настройки моделей.
- Повышенная эффективность: Оптимизированные модели приводят к более эффективным AI-агентам, способным обеспечивать лучшие результаты с меньшими ресурсами.
Evaluator: Оценка производительности модели с уверенностью
Микросервис Evaluator предназначен для упрощения зачастую сложного процесса оценки производительности AI-модели. Он предоставляет стандартизированную структуру для оценки моделей по пользовательским и отраслевым тестам, гарантируя их соответствие требуемым стандартам.
Ключевые особенности:
- Упрощенная оценка: Позволяет разработчикам оценивать AI-модели и рабочие процессы всего за пять вызовов API, оптимизируя процесс оценки.
- Пользовательские и отраслевые тесты: Поддерживает как пользовательские тесты, адаптированные к конкретным приложениям, так и отраслевые тесты для более широких сравнений.
- Комплексная отчетность: Создает подробные отчеты о производительности модели, предоставляя информацию об областях для улучшения.
Преимущества:
- Принятие решений на основе данных: Предоставляет объективные данные для принятия решений о выборе модели, обучении и развертывании.
- Улучшенное качество модели: Определяет области для улучшения, что приводит к более высокому качеству и более надежным AI-моделям.
- Снижение риска: Гарантирует, что модели соответствуют требованиям к производительности перед развертыванием, снижая риск возникновения неожиданных проблем.
Guardrails: Обеспечение безопасного и этичного AI-поведения
Микросервис Guardrails является критически важным компонентом для обеспечения безопасного, этичного и соответствующего требованиям поведения AI-моделей. Он действует как система мониторинга в режиме реального времени, предотвращая создание моделями ненадлежащего или вредоносного контента.
Ключевые особенности:
- Мониторинг в режиме реального времени: Непрерывно отслеживает результаты модели, выявляя и блокируя потенциально вредоносный контент.
- Настраиваемые правила: Позволяет разработчикам определять пользовательские правила и политики в соответствии со своими конкретными этическими требованиями и требованиями соответствия.
- Эффективность и низкая задержка: Обеспечивает дополнительное соответствие требованиям с эффективностью в 1,4 раза и всего на полсекунды больше задержки, сводя к минимуму влияние на производительность.
Преимущества:
- Снижение риска причинения вреда: Предотвращает создание моделями контента, который может быть вредным, оскорбительным или дискриминационным.
- Обеспечение соответствия требованиям: Помогает организациям соблюдать соответствующие нормативные акты и этические нормы.
- Улучшенная репутация: Демонстрирует приверженность ответственному развитию AI, повышая доверие и репутацию.
Retriever: Раскрытие силы доступа к данным
Микросервис Retriever позволяет AI-агентам получать доступ к данным и обрабатывать их из широкого спектра источников, что позволяет им принимать более обоснованные решения и предоставлять более точные ответы.
Ключевые особенности:
- Извлечение данных: Позволяет агентам извлекать данные из различных систем, включая базы данных, API и неструктурированные документы.
- Обработка данных: Позволяет агентам обрабатывать и преобразовывать данные в формат, пригодный для анализа и принятия решений.
- Retrieval-Augmented Generation (RAG): Поддерживает создание сложных конвейеров данных AI, таких как RAG, повышая способность агента получать доступ к релевантной информации и использовать ее.
Преимущества:
- Улучшенная точность: Доступ к более широкому спектру источников данных приводит к более точным и обоснованным решениям.
- Расширенный контекст: Предоставляет агентам более глубокое понимание контекста, окружающего запросы пользователей, что позволяет давать более релевантные ответы.
- Повышенная эффективность: Автоматизирует процесс извлечения и обработки данных, высвобождая человеческие ресурсы для выполнения более стратегических задач.
Curator: Уточнение данных для оптимального обучения модели
Микросервис Curator играет жизненно важную роль в обеспечении обучения AI-моделей на высококачественных, непредвзятых данных. Он позволяет разработчикам фильтровать и уточнять данные, удаляя нерелевантную или вредоносную информацию и снижая риск предвзятости в полученных моделях.
Ключевые особенности:
- Фильтрация данных: Позволяет разработчикам фильтровать данные на основе различных критериев, таких как контент, источник и релевантность.
- Обнаружение предвзятости: Выявляет и смягчает потенциальные предвзятости в данных, обеспечивая справедливость и равенство в результатах модели.
- Обогащение данных: Позволяет разработчикам обогащать данные дополнительной информацией, повышая точность и полноту набора данных для обучения.
Преимущества:
- Улучшенная точность модели: Обучение на высококачественных данных приводит к более точным и надежным AI-моделям.
- Снижение предвзятости: Смягчение предвзятости в данных обеспечивает справедливость и равенство в результатах модели.
- Повышенное доверие: Создание моделей на непредвзятых данных повышает доверие к AI-системе и ее решениям.
Заключение: Новая эра автоматизации на основе AI
NeMo microservices от Nvidia представляют собой значительный прогресс в области разработки AI-агентов. Предоставляя комплексный набор инструментов, решающих ключевые задачи доступа к данным, настройки моделей и этичного поведения, Nvidia позволяет разработчикам создавать инновационные AI-решения, которые стимулируют ощутимую бизнес-ценность. Поскольку все больше организаций используют AI-агентов, NeMo microservices, несомненно, будут играть ключевую роль в формировании будущего работы и автоматизации.