Nvidia официално пусна своята платформа NeMo, цялостен пакет от микроуслуги, проектирани да рационализират разработването на усъвършенствани AI агентски системи. Тази платформа, обявена в сряда, 23 април, поддържа различни големи езикови модели (LLMs) и използва механизъм “Data Flywheel”. Този иновативен подход позволява на AI агентите непрекъснато да се учат от реални преживявания, подобрявайки тяхната производителност и адаптивност.
Основни компоненти на платформата NeMo
Платформата NeMo е екосистема от взаимосвързани микроуслуги, всяка от които е проектирана да адресира специфични аспекти на разработването на AI агенти. Тези компоненти работят в синхрон, за да предоставят на разработчиците стабилен набор от инструменти за създаване на сложни AI решения.
NeMo Customizer: Ускоряване на фината настройка на LLM
NeMo Customizer е ключов компонент, предназначен да ускори фината настройка на големи езикови модели. Тази микроуслуга опростява процеса на приспособяване на LLM към специфични задачи или набори от данни, като позволява на разработчиците да постигнат оптимална производителност с минимални усилия. Чрез рационализиране на процеса на фина настройка, NeMo Customizer намалява времето и ресурсите, необходими за адаптиране на LLM към различни приложения. NeMo Customizer използва техники като Parameter-Efficient Fine-Tuning (PEFT), за да минимизира изчислителните разходи и да ускори процеса на обучение. Той също така поддържа различни формати на данни и предлага инструменти за визуализация, които помагат на разработчиците да наблюдават и оптимизират процеса на фина настройка. В допълнение, NeMo Customizer се интегрира с други компоненти на платформата NeMo, за да осигури безпроблемен работен процес от подготовката на данните до внедряването на модела.
NeMo Evaluator: Опростяване на оценката на AI модели и работни процеси
NeMo Evaluator предоставя рационализиран подход за оценка на AI модели и работни процеси въз основа на персонализирани и специфични за индустрията критерии. Тази микроуслуга позволява на разработчиците бързо да оценят производителността на своите AI агенти, да идентифицират области за подобрение и да гарантират, че техните решения отговарят на необходимите стандарти. Само с пет API повиквания, разработчиците могат да получат ценна информация за ефективността на своите AI модели. NeMo Evaluator поддържа широк набор от показатели за оценка, включително точност, прецизност, извикване и F1-резултат. Той също така предлага възможност за създаване на персонализирани показатели за оценка, за да се отговори на специфичните нужди на различни приложения. В допълнение, NeMo Evaluator предоставя подробни отчети за оценка, които помагат на разработчиците да разберат силните и слабите страни на своите AI модели.
NeMo Guardrails: Подобряване на съответствието и защитата
NeMo Guardrails е проектиран да подобри съответствието и защитата на AI системите, без значително да повлияе на производителността. Тази микроуслуга гарантира, че AI агентите се придържат към етични насоки и регулаторни изисквания, намалявайки риска от непредвидени последствия. Добавяйки само половин секунда латентност, NeMo Guardrails може да подобри защитата на съответствието до 1,4 пъти. NeMo Guardrails използва набор от техники, включително филтриране на съдържание, откриване на пристрастия и обяснима AI (XAI), за да гарантира, че AI агентите са безопасни, справедливи и отговорни. Той също така предлага възможност за определяне на персонализирани правила и политики за съответствие, за да се отговори на специфичните нужди на различни организации. В допълнение, NeMo Guardrails предоставя инструменти за наблюдение и одит, които помагат на организациите да проследяват и проверяват съответствието на своите AI системи.
NeMo Retriever: Улесняване на извличането на знания
NeMo Retriever помага на AI агентите да имат достъп и да извличат точна информация от бази данни. Тази микроуслуга позволява на AI агентите бързо да намират правилните знания, подобрявайки способността им да отговарят на въпроси, да решават проблеми и да вземат информирани решения. Чрез рационализиране на процеса на извличане на знания, NeMo Retriever повишава цялостната ефективност на AI агентите. NeMo Retriever поддържа различни формати на бази данни и предлага набор от техники за извличане на информация, включително семантично търсене, векторно търсене и хибридно търсене. Той също така се интегрира с други компоненти на платформата NeMo, за да осигури безпроблемен работен процес от индексирането на данни до извличането на знания. В допълнение, NeMo Retriever предоставя инструменти за наблюдение и анализ, които помагат на разработчиците да оптимизират производителността на своите системи за извличане на знания.
NeMo Curator: Обучение на високоточни генеративни AI модели
NeMo Curator е проектиран да обучава високоточни генеративни AI модели. Тази микроуслуга предоставя на разработчиците инструментите и ресурсите, необходими за създаване на AI агенти, които могат да генерират реалистичен и кохерентен текст, изображения и други видове съдържание. Чрез оптимизиране на процеса на обучение, NeMo Curator позволява разработването на авангардни генеративни AI решения. NeMo Curator използва набор от техники, включително обучение с подсилване, генериращи състезателни мрежи (GANs) и дифузионни модели, за да обучи висококачествени генеративни AI модели. Той също така предлага възможност за персонализиране на процеса на обучение, за да се отговори на специфичните нужди на различни приложения. В допълнение, NeMo Curator предоставя инструменти за оценка и мониторинг, които помагат на разработчиците да оценят качеството на генерираното съдържание и да идентифицират области за подобрение.
Механизмът Data Flywheel
Data Flywheel е централна концепция в платформата NeMo, предназначена да даде възможност за непрекъснато обучение и подобряване на AI моделите. Този механизъм създава положителен цикъл на обратна връзка, където AI агентите се учат от взаимодействията си със заобикалящата ги среда, ставайки по-интелигентни и ефективни с течение на времето.
Положителният цикъл на обратна връзка
Data Flywheel работи чрез непрекъснат цикъл на взаимодействие, събиране на данни, оценка и усъвършенстване. Тъй като AI агентите взаимодействат с потребителите и заобикалящата ги среда, те генерират огромни количества данни, включително записи на диалози и модели на използване. Тези данни след това се обработват от NeMo Curator, за да се идентифицират съответните прозрения и модели. NeMo Evaluator оценява производителността на AI агента, идентифицирайки области, в които той превъзхожда и области, в които се нуждае от подобрение. Накрая, NeMo Customizer фино настройва модела въз основа на тази оценка, подобрявайки неговата точност и ефективност.
Минимална човешка намеса и максимална автономност
Data Flywheel е проектиран да работи с минимална човешка намеса и максимална автономност. Това позволява на AI агентите непрекъснато да се учат и подобряват, без да се изисква постоянен надзор. Чрез автоматизиране на процеса на обучение, Data Flywheel намалява тежестта върху разработчиците и позволява на AI агентите да се адаптират към променящите се условия и нужди на потребителите. Data Flywheel също така включва механизми за откриване и смекчаване на грешки, за да гарантира, че AI агентите не се учат от неточни или пристрастни данни.
Интеграция и внедряване
Платформата NeMo е проектирана да бъде лесно интегрирана и внедрена в различни изчислителни инфраструктури, включително локални и облачни среди. Тази гъвкавост позволява на организациите да използват платформата по начин, който най-добре отговаря на техните нужди и ресурси.
Софтуерна платформа Nvidia AI Enterprise
Платформата NeMo е внедрена на софтуерната платформа Nvidia AI Enterprise, която предоставя цялостен набор от инструменти и ресурси за разработване и внедряване на AI приложения. Тази платформа опростява процеса на управление и мащабиране на AI решения, като позволява на организациите да се фокусират върху иновациите и бизнес стойността.
Изпълнение върху инфраструктура за ускорени изчисления
NeMo може да бъде изпълнен на всяка инфраструктура за ускорени изчисления, позволявайки на организациите да използватсилата на графичните процесори и друг специализиран хардуер, за да оптимизират производителността на своите AI агенти. Това гарантира, че AI агентите могат лесно да се справят със сложни задачи и големи набори от данни. NeMo също така поддържа разпределено обучение, което позволява на организациите да обучават AI модели на множество графични процесори, за да ускорят процеса на обучение.
Приложения в реалния свят
Платформата NeMo е проектирана да поддържа широк спектър от приложения в различни индустрии. Големите предприятия могат да изграждат стотици AI агенти с различни функционалности, като автоматизирано откриване на измами, помощници за пазаруване, прогнозна поддръжка на машини и преглед на документи.
Внедряването на AT&T
AT&T си партнира с Arize и Quantiphi, за да използва NeMo за разработване на усъвършенстван AI агент, способен да обработва близо 10 000 документа с корпоративни знания, актуализирани всяка седмица. Чрез комбиниране на NeMo Customizer и Evaluator, AT&T фино настройва Mistral 7B, за да постигне персонализирано обслужване на клиенти, предотвратяване на измами и оптимизация на работата на мрежата. Това внедряване доведе до 40% увеличение на общата точност на AI отговорите.
Поддръжка и интеграция на модели с отворен код
Микроуслугите на NeMo поддържат различни популярни модели с отворен код, включително Llama, Microsoft Phi, Google Gemma, Mistral и Llama Nemotron Ultra. Това позволява на разработчиците да използват най-добрите налични AI модели и да ги персонализират, за да отговорят на техните специфични нужди.
Интеграцията на Meta
Meta интегрира NeMo чрез добавяне на конектори към Llamastack. Тази интеграция позволява на разработчиците безпроблемно да включат възможностите на NeMo в съществуващите си AI работни процеси.
Интеграция на доставчици на AI софтуер
Доставчици на AI софтуер като Cloudera, Datadog, Dataiku, DataRobot, DataStax, SuperAnnotate и Weights & Biases са интегрирали NeMo в своите платформи. Тази широко разпространена интеграция прави NeMo достъпен за широк кръг разработчици и организации. Освен тези интеграции, NeMo също така поддържа набор от API и SDK, които позволяват на разработчиците лесно да интегрират платформата в своите собствени приложения. Nvidia също така предоставя обширна документация и примери, за да помогне на разработчиците да започнат работа с NeMo. В допълнение, Nvidia предлага поддръжка и обучение за организации, които искат да внедрят NeMo.