엔비디아, AI 에이전트 구축을 위한 NeMo 플랫폼 공개
엔비디아가 고급 AI 에이전트 시스템 개발을 간소화하도록 설계된 포괄적인 마이크로서비스 스위트인 NeMo 플랫폼을 공식 출시했습니다. 지난 4월 23일 수요일에 발표된 이 플랫폼은 다양한 대규모 언어 모델(LLM)을 지원하며 ‘데이터 플라이휠(Data Flywheel)’ 메커니즘을 활용합니다. 이 혁신적인 접근 방식을 통해 AI 에이전트는 실제 경험에서 지속적으로 학습하여 성능과 적응력을 향상시킬 수 있습니다.
NeMo 플랫폼의 핵심 구성 요소
NeMo 플랫폼은 상호 연결된 마이크로서비스의 생태계로, 각 마이크로서비스는 AI 에이전트 개발의 특정 측면을 해결하도록 설계되었습니다. 이러한 구성 요소는 협력하여 개발자에게 정교한 AI 솔루션을 만들기 위한 강력한 툴킷을 제공합니다.
NeMo Customizer: LLM 미세 조정 가속화
NeMo Customizer는 대규모 언어 모델의 미세 조정을 가속화하도록 설계된 핵심 구성 요소입니다. 이 마이크로서비스는 LLM을 특정 작업이나 데이터 세트에 맞게 조정하는 프로세스를 단순화하여 개발자가 최소한의 노력으로 최적의 성능을 달성할 수 있도록 합니다. 미세 조정 프로세스를 간소화함으로써 NeMo Customizer는 LLM을 다양한 애플리케이션에 적용하는 데 필요한 시간과 리소스를 줄입니다.
NeMo Evaluator: AI 모델 및 워크플로 평가 간소화
NeMo Evaluator는 사용자 정의되고 산업별 벤치마크를 기반으로 AI 모델 및 워크플로를 평가하는 간소화된 접근 방식을 제공합니다. 이 마이크로서비스를 통해 개발자는 AI 에이전트의 성능을 신속하게 평가하고, 개선할 영역을 식별하고, 솔루션이 필요한 표준을 충족하는지 확인할 수 있습니다. 단 5개의 API 호출만으로 개발자는 AI 모델의 효과에 대한 귀중한 통찰력을 얻을 수 있습니다.
NeMo Guardrails: 규정 준수 및 보호 강화
NeMo Guardrails는 성능에 큰 영향을 미치지 않으면서 AI 시스템의 규정 준수 및 보호를 강화하도록 설계되었습니다. 이 마이크로서비스는 AI 에이전트가 윤리적 지침 및 규제 요구 사항을 준수하도록 보장하여 의도치 않은 결과의 위험을 줄입니다. NeMo Guardrails는 단 0.5초의 지연 시간만 추가하여 규정 준수 보호를 최대 1.4배까지 향상시킬 수 있습니다.
NeMo Retriever: 지식 검색 촉진
NeMo Retriever는 AI 에이전트가 데이터베이스에서 정확한 정보에 액세스하고 검색하는 데 도움을 줍니다. 이 마이크로서비스를 통해 AI 에이전트는 올바른 지식을 신속하게 찾아 질문에 답변하고, 문제를 해결하고, 정보에 입각한 결정을 내릴 수 있습니다. 지식 검색 프로세스를 간소화함으로써 NeMo Retriever는 AI 에이전트의 전반적인 효과를 향상시킵니다.
NeMo Curator: 고도로 정확한 생성 AI 모델 학습
NeMo Curator는 고도로 정확한 생성 AI 모델을 학습하도록 설계되었습니다. 이 마이크로서비스는 개발자에게 현실적이고 일관된 텍스트, 이미지 및 기타 유형의 콘텐츠를 생성할 수 있는 AI 에이전트를 만드는 데 필요한 도구와 리소스를 제공합니다. 학습 프로세스를 최적화함으로써 NeMo Curator는 최첨단 생성 AI 솔루션 개발을 가능하게 합니다.
데이터 플라이휠 메커니즘
데이터 플라이휠은 AI 모델의 지속적인 학습과 개선을 가능하게 하도록 설계된 NeMo 플랫폼의 핵심 개념입니다. 이 메커니즘은 AI 에이전트가 환경과의 상호 작용에서 학습하고 시간이 지남에 따라 더욱 지능적이고 효과적이 되는 긍정적인 피드백 루프를 만듭니다.
긍정적인 피드백 루프
데이터 플라이휠은 상호 작용, 데이터 수집, 평가 및 개선의 지속적인 주기를 통해 작동합니다. AI 에이전트가 사용자와 환경과 상호 작용할 때 대화 기록 및 사용 패턴을 포함하여 방대한 양의 데이터를 생성합니다. 그런 다음 이 데이터는 NeMo Curator에 의해 처리되어 관련 통찰력과 패턴을 식별합니다. NeMo Evaluator는 AI 에이전트의 성능을 평가하여 뛰어난 영역과 개선이 필요한 영역을 식별합니다. 마지막으로 NeMo Customizer는 이 평가를 기반으로 모델을 미세 조정하여 정확성과 효과를 향상시킵니다.
최소한의 인간 개입 및 최대한의 자율성
데이터 플라이휠은 최소한의 인간 개입과 최대한의 자율성으로 작동하도록 설계되었습니다. 이를 통해 AI 에이전트는 지속적인 감독 없이도 지속적으로 학습하고 개선할 수 있습니다. 학습 프로세스를 자동화함으로써 데이터 플라이휠은 개발자의 부담을 줄이고 AI 에이전트가 변화하는 조건과 사용자 요구에 적응할 수 있도록 합니다.
통합 및 배포
NeMo 플랫폼은 온프레미스 및 클라우드 환경을 포함한 다양한 컴퓨팅 인프라에서 쉽게 통합하고 배포할 수 있도록 설계되었습니다. 이러한 유연성을 통해 조직은 자신의 요구와 리소스에 가장 적합한 방식으로 플랫폼을 활용할 수 있습니다.
Nvidia AI Enterprise 소프트웨어 플랫폼
NeMo 플랫폼은 AI 애플리케이션 개발 및 배포를 위한 포괄적인 도구 및 리소스 스위트를 제공하는 Nvidia AI Enterprise 소프트웨어 플랫폼에 배포됩니다. 이 플랫폼은 AI 솔루션 관리 및 확장 프로세스를 단순화하여 조직이 혁신과 비즈니스 가치에 집중할 수 있도록 합니다.
가속 컴퓨팅 인프라에서의 실행
NeMo는 모든 가속 컴퓨팅 인프라에서 실행될 수 있으므로 조직은 GPU 및 기타 특수 하드웨어의 성능을 활용하여 AI 에이전트의 성능을 최적화할 수 있습니다. 이를 통해 AI 에이전트는 복잡한 작업과 대용량 데이터 세트를 쉽게 처리할 수 있습니다.
실제 애플리케이션
NeMo 플랫폼은 다양한 산업 분야에서 광범위한 애플리케이션을 지원하도록 설계되었습니다. 대규모 기업은 자동화된 사기 탐지, 쇼핑 지원, 예측적 기계 유지 관리 및 문서 검토와 같은 다양한 기능을 가진 수백 개의 AI 에이전트를 구축할 수 있습니다.
AT&T의 구현
AT&T는 Arize 및 Quantiphi와 협력하여 매주 업데이트되는 약 10,000개의 엔터프라이즈 지식 문서를 처리할 수 있는 고급 AI 에이전트를 개발하기 위해 NeMo를 활용하고 있습니다. NeMo Customizer와 Evaluator를 결합하여 AT&T는 Mistral 7B를 미세 조정하여 개인화된 고객 서비스, 사기 방지 및 네트워크 성능 최적화를 달성했습니다. 이 구현으로 인해 전반적인 AI 응답 정확도가 40% 증가했습니다.
오픈 소스 모델 지원 및 통합
NeMo 마이크로서비스는 Llama, Microsoft Phi, Google Gemma, Mistral, Llama Nemotron Ultra를 포함한 다양한 인기 있는 오픈 소스 모델을 지원합니다. 이를 통해 개발자는 사용 가능한 최고의 AI 모델을 활용하고 특정 요구 사항에 맞게 사용자 정의할 수 있습니다.
Meta의 통합
Meta는 Llamastack에 커넥터를 추가하여 NeMo를 통합했습니다. 이 통합을 통해 개발자는 NeMo의 기능을 기존 AI 워크플로에 원활하게 통합할 수 있습니다.
AI 소프트웨어 제공업체 통합
Cloudera, Datadog, Dataiku, DataRobot, DataStax, SuperAnnotate 및 Weights & Biases와 같은 AI 소프트웨어 제공업체는 NeMo를 자사 플랫폼에 통합했습니다. 이러한 광범위한 통합으로 인해 광범위한 개발자와 조직이 NeMo에 액세스할 수 있습니다.