Nvidia NeMo Microservices: KI-Agenten einfach entwickeln

Nvidia Corp. hat offiziell seine NeMo Microservices auf den Markt gebracht, eine umfassende Suite von Tools, die sorgfältig entwickelt wurden, um Entwickler bei der Beschleunigung der Bereitstellung ausgefeilter künstlicher Intelligenz-Agenten zu unterstützen. Diese Microservices sind so konzipiert, dass sie die Leistung von KI-Inferenz und Informationssystemen in großem Umfang nutzen und einen bedeutenden Fortschritt im Bereich der KI-gesteuerten Automatisierung und Produktivität darstellen.

Der Aufstieg der KI-Agenten: Digitale Teamkollegen in der modernen Arbeitswelt

KI-Agenten entwickeln sich rasant zu unverzichtbaren Assets in der modernen Belegschaft und sind bereit, die Arbeitsweise von Wissens- und Servicemitarbeitern zu revolutionieren. Diese digitalen Teamkollegen sind so konzipiert, dass sie sich nahtlos in bestehende Arbeitsabläufe integrieren und eine breite Palette von Aufgaben ausführen können, darunter:

• Auftragsbearbeitung: Effizientes Verwalten und Bearbeiten von Kundenaufträgen, Rationalisierung von Abläufen und Reduzierung manueller Eingriffe.
• Informationsfindung: Schnelles Identifizieren und Abrufen relevanter Informationen aus riesigen Datensätzen, um datengestützte Entscheidungsfindung und Erkenntnisse zu ermöglichen.
• Proaktive Aufgabenausführung: Antizipieren und proaktives Angehen potenzieller Probleme oder Chancen, wodurch die allgemeine betriebliche Effizienz und Agilität verbessert wird.

Im Gegensatz zu herkömmlichen KI-Chatbots verfügen KI-Agenten über die einzigartige Fähigkeit, autonome Aktionen mit minimaler menschlicher Aufsicht auszuführen. Dieses Maß an Autonomie erfordert robuste Datenverarbeitungsfunktionen, um eine genaue und effiziente Entscheidungsfindung zu gewährleisten. Agenten verlassen sich auf einen konstanten Datenstrom, um ihre Überlegungen zu untermauern, was besonders herausfordernd sein kann, wenn es um proprietäres Wissen oder sich schnell ändernde Echtzeitinformationen geht.

Die Datenherausforderung angehen: Sicherstellung der Genauigkeit und Zuverlässigkeit von Agenten

Eine der größten Herausforderungen bei der Entwicklung und Bereitstellung von KI-Agenten ist die Sicherstellung eines konsistenten Flusses hochwertiger Daten. Ohne Zugriff auf relevante und aktuelle Informationen aus verschiedenen Quellen kann sich das Verständnis eines Agenten verschlechtern, was zu unzuverlässigen Antworten und geringerer Produktivität führt. Dies gilt insbesondere, wenn Agenten auf proprietäres Wissen zugreifen müssen, das sich hinter Unternehmensfirewalls befindet, oder sich schnell ändernde Echtzeitinformationen nutzen müssen.

Joey Conway, Senior Director of Generative AI Software für Unternehmen bei Nvidia, betonte die Bedeutung der Datenqualität und erklärte: ‘Ohne einen konstanten Strom hochwertiger Eingaben – aus Datenbanken, Benutzerinteraktionen oder realen Signalen – kann sich das Verständnis eines Agenten abschwächen, wodurch die Antworten weniger zuverlässig werden, was die Agenten weniger produktiv macht.’

NeMo Microservices: Ein umfassendes Toolkit für die KI-Agentenentwicklung

Um diese Herausforderungen anzugehen und die Entwicklung und Bereitstellung von KI-Agenten zu beschleunigen, führt Nvidia NeMo Microservices ein. Diese Suite von Tools umfasst fünf Schlüsselkomponenten:

1. Customizer: Erleichtert die Feinabstimmung großer Sprachmodelle (LLMs) und bietet einen bis zu 1,8-fach höheren Trainingsdurchsatz. Dies ermöglicht es Entwicklern, Modelle schnell an bestimmte Datensätze anzupassen und so Leistung und Genauigkeit zu optimieren. Der Customizer bietet eine Application Programming Interface (API), mit der Entwickler Modelle vor der Bereitstellung effizient kuratieren können.

2. Evaluator: Vereinfacht die Bewertung von KI-Modellen und -Workflows auf der Grundlage von benutzerdefinierten und Branchen-Benchmarks. Mit nur fünf API-Aufrufen können Entwickler die Leistung ihrer KI-Lösungen umfassend bewerten und sicherstellen, dass sie die erforderlichen Standards erfüllen.

3. Guardrails: Fungiert als Sicherheitsnetz und verhindert, dass sich KI-Modelle oder -Agenten auf unsichere oder unzulässige Weise verhalten. Dies gewährleistet Compliance und ethisches Verhalten und fügt nur eine halbe Sekunde Latenz hinzu, während gleichzeitig eine 1,4-fache Effizienz erzielt wird.

4. Retriever: Ermöglicht es Entwicklern, Agenten zu erstellen, die Daten aus verschiedenen Systemen extrahieren und genau verarbeiten können. Dies ermöglicht die Erstellung komplexer KI-Datenpipelines, wie z. B. Retrieval-Augmented Generation (RAG), wodurch die Fähigkeit des Agenten verbessert wird, auf relevante Informationen zuzugreifen und diese zu nutzen.

5. Curator: Ermöglicht es Entwicklern, Daten, die zum Trainieren von KI-Modellen verwendet werden, zu filtern und zu verfeinern, wodurch die Modellgenauigkeit verbessert und Verzerrungen reduziert werden. Indem sichergestellt wird, dass nur hochwertige Daten verwendet werden, trägt der Curator dazu bei, zuverlässigere und effektivere KI-Agenten zu erstellen.

Laut Conway sind ‘NeMo Microservices einfach zu bedienen und können auf jeder beschleunigten Recheninfrastruktur betrieben werden, sowohl On-Premises als auch in der Cloud, und bieten gleichzeitig Sicherheit, Stabilität und Support auf Enterprise-Niveau.’

Demokratisierung der KI-Agentenentwicklung: Zugänglichkeit für alle

Nvidia hat die NeMo-Tools unter dem Gesichtspunkt der Zugänglichkeit entwickelt und sichergestellt, dass Entwickler mit allgemeinem KI-Wissen sie über einfache API-Aufrufe nutzen können. Diese Demokratisierung der KI-Agentenentwicklung ermöglicht es Unternehmen, komplexe Multi-Agenten-Systeme zu erstellen, in denen Hunderte von spezialisierten Agenten zusammenarbeiten, um einheitliche Ziele zu erreichen und gleichzeitig mit menschlichen Teamkollegen zusammenzuarbeiten.

Breite Modellunterstützung: Einbindung des offenen KI-Ökosystems

NeMo Microservices bieten umfangreiche Unterstützung für eine breite Palette beliebter offener KI-Modelle, darunter:

• Die Llama-Familie von Modellen von Meta Platforms Inc.
• Die Phi-Familie von Small Language Models von Microsoft
• Die Gemma-Modelle von Google LLC
• Mistral-Modelle

Darüber hinaus ist Nvidias Llama Nemotron Ultra, das als führendes offenes Modell für wissenschaftliches Denken, Programmieren und komplexe mathematische Benchmarks anerkannt ist, auch über die Microservices zugänglich.

Branchenakzeptanz: Ein wachsendes Ökosystem von Partnern

Zahlreiche führende KI-Dienstleister haben NeMo Microservices bereits in ihre Plattformen integriert, darunter:

• Cloudera Inc.
• Datadog Inc.
• Dataiku
• DataRobot Inc.
• DataStax Inc.
• SuperAnnotate AI Inc.
• Weights & Biases Inc.

Diese breite Akzeptanz unterstreicht den Wert und die Vielseitigkeit von NeMo Microservices im KI-Ökosystem. Entwickler können diese Microservices sofort über beliebte KI-Frameworks wie CrewAI, Haystack von Deepset, LangChain, LlamaIndex und Llamastack nutzen.

Reale Anwendungen: Steigerung des Geschäftswerts

Die Partner und Technologieunternehmen von Nvidia nutzen bereits die neuen NeMo Microservices, um innovative KI-Agentenplattformen zu erstellen und digitale Teamkollegen einzuarbeiten, wodurch ein konkreter Geschäftswert geschaffen wird.

• AT&T Inc.: Nutzte NeMo Customizer und Evaluator, um ein Mistral 7B-Modell für personalisierte Dienste, Betrugsprävention und Netzwerkleistungsoptimierung zu optimieren, was zu einer erhöhten Genauigkeit des KI-Agenten führte.

• BlackRock Inc.: Integriert die Microservices in seine Aladdin-Tech-Plattform, um das Investmentmanagement durch eine gemeinsame Datensprache zu vereinheitlichen und so die Effizienz und Entscheidungsfindung zu verbessern.

Tiefer Einblick in die NeMo Microservices-Komponenten

Um das transformative Potenzial von NeMo Microservices voll auszuschöpfen, ist es wichtig, tiefer in jede Komponente einzutauchen:

Customizer: LLMs für bestimmte Aufgaben zuschneiden

Der Customizer Microservice ist ein Game-Changer für Organisationen, die große Sprachmodelle (LLMs) an ihre spezifischen Bedürfnisse anpassen möchten. Er geht die Herausforderung an, dass Allzweck-LLMs nicht immer ideal für Nischenanwendungen oder proprietäre Datensätze geeignet sind.

Hauptmerkmale:

• Feinabstimmungsfunktionen: Ermöglicht es Entwicklern, LLMs mit ihren eigenen Daten feinabzustimmen und das Wissen und Verhalten des Modells an bestimmte Aufgaben anzupassen.
• Erhöhter Trainingsdurchsatz: Bietet einen bis zu 1,8-fach höheren Trainingsdurchsatz im Vergleich zu herkömmlichen Feinabstimmungsmethoden, wodurch der Modellanpassungsprozess beschleunigt wird.
• API-gesteuerte Schnittstelle: Bietet eine benutzerfreundliche API, mit der Entwickler Modelle schnell kuratieren und sicherstellen können, dass sie für die Bereitstellung optimiert sind.

Vorteile:

• Verbesserte Genauigkeit: Die Feinabstimmung von LLMs mit relevanten Daten verbessert die Genauigkeit und Leistung in bestimmten Anwendungen erheblich.
• Reduzierte Entwicklungszeit: Der beschleunigte Trainingsdurchsatz und eine optimierte API reduzieren die Zeit, die zum Anpassen von Modellen benötigt wird.
• Erhöhte Effizienz: Optimierte Modelle führen zu effizienteren KI-Agenten, die mit weniger Ressourcen bessere Ergebnisse liefern können.

Evaluator: Bewertung der Modellleistung mit Zuversicht

Der Evaluator Microservice wurde entwickelt, um den oft komplexen Prozess der Bewertung der Leistung von KI-Modellen zu vereinfachen. Er bietet einen standardisierten Rahmen für die Bewertung von Modellen anhand von benutzerdefinierten und Branchen-Benchmarks, um sicherzustellen, dass sie die erforderlichen Standards erfüllen.

Hauptmerkmale:

• Vereinfachte Bewertung: Ermöglicht es Entwicklern, KI-Modelle und -Workflows mit nur fünf API-Aufrufen zu bewerten, wodurch der Bewertungsprozess rationalisiert wird.
• Benutzerdefinierte und Branchen-Benchmarks: Unterstützt sowohl benutzerdefinierte Benchmarks, die auf bestimmte Anwendungen zugeschnitten sind, als auch Branchenstandard-Benchmarks für breitere Vergleiche.
• Umfassende Berichterstattung: Generiert detaillierte Berichte über die Modellleistung, die Einblicke in Bereiche mit Verbesserungspotenzial geben.

Vorteile:

• Datengestützte Entscheidungsfindung: Bietet objektive Daten, um Entscheidungen über Modellauswahl, Training und Bereitstellung zu treffen.
• Verbesserte Modellqualität: Identifiziert Bereiche mit Verbesserungspotenzial, was zu qualitativ hochwertigeren und zuverlässigeren KI-Modellen führt.
• Reduziertes Risiko: Stellt sicher, dass Modelle die Leistungsanforderungen vor der Bereitstellung erfüllen, wodurch das Risiko unerwarteter Probleme reduziert wird.

Guardrails: Gewährleistung eines sicheren und ethischen KI-Verhaltens

Der Guardrails Microservice ist eine wichtige Komponente, um sicherzustellen, dass sich KI-Modelle sicher, ethisch und gesetzeskonform verhalten. Er fungiert als Echtzeit-Überwachungssystem und verhindert, dass Modelle unangemessene oder schädliche Inhalte generieren.

Hauptmerkmale:

• Echtzeitüberwachung: Überwacht kontinuierlich die Modellausgaben und identifiziert und blockiert potenziell schädliche Inhalte.
• Anpassbare Regeln: Ermöglicht es Entwicklern, benutzerdefinierte Regeln und Richtlinien zu definieren, um sie an ihre spezifischen ethischen und Compliance-Anforderungen anzupassen.
• Effizienz und geringe Latenz: Bietet zusätzliche Compliance mit 1,4-facher Effizienz und nur einer halben Sekunde mehr Latenz, wodurch die Auswirkungen auf die Leistung minimiert werden.

Vorteile:

• Reduziertes Schadensrisiko: Verhindert, dass Modelle Inhalte generieren, die schädlich, beleidigend oder diskriminierend sein könnten.
• Gewährleistete Compliance: Hilft Unternehmen, relevante Vorschriften und ethische Richtlinien einzuhalten.
• Verbesserte Reputation: Demonstriert ein Engagement für eine verantwortungsvolle KI-Entwicklung, wodurch Vertrauen und Reputation gestärkt werden.

Retriever: Das Potenzial des Datenzugriffs freisetzen

Der Retriever Microservice ermöglicht es KI-Agenten, auf Daten aus einer Vielzahl von Quellen zuzugreifen und diese zu verarbeiten, wodurch sie fundiertere Entscheidungen treffen und genauere Antworten geben können.

Hauptmerkmale:

• Datenextraktion: Ermöglicht es Agenten, Daten aus verschiedenen Systemen zu extrahieren, darunter Datenbanken, APIs und unstrukturierte Dokumente.
• Datenverarbeitung: Ermöglicht es Agenten, Daten zu verarbeiten und in ein Format zu transformieren, das für die Analyse und Entscheidungsfindung geeignet ist.
• Retrieval-Augmented Generation (RAG): Unterstützt die Erstellung komplexer KI-Datenpipelines, wie z. B. RAG, wodurch die Fähigkeit des Agenten verbessert wird, auf relevante Informationen zuzugreifen und diese zu nutzen.

Vorteile:

• Verbesserte Genauigkeit: Der Zugriff auf eine größere Bandbreite an Datenquellen führt zu genaueren und fundierteren Entscheidungen.
• Erweiterter Kontext: Bietet Agenten ein tieferes Verständnis des Kontexts, der Benutzerabfragen umgibt, und ermöglicht so relevantere Antworten.
• Erhöhte Effizienz: Automatisiert den Prozess der Datenextraktion und -verarbeitung und setzt so Personalressourcen für strategischere Aufgaben frei.

Curator: Verfeinern von Daten für ein optimales Modelltraining

Der Curator Microservice spielt eine wichtige Rolle, um sicherzustellen, dass KI-Modelle auf qualitativ hochwertigen, unverzerrten Daten trainiert werden. Er ermöglicht es Entwicklern, Daten zu filtern und zu verfeinern, irrelevante oder schädliche Informationen zu entfernen und das Risiko von Verzerrungen in den resultierenden Modellen zu reduzieren.

Hauptmerkmale:

• Datenfilterung: Ermöglicht es Entwicklern, Daten basierend auf verschiedenen Kriterien zu filtern, z. B. Inhalt, Quelle und Relevanz.
• Verzerrungserkennung: Identifiziert und mildert potenzielle Verzerrungen in den Daten und gewährleistet so Fairness und Gleichheit bei den Modellergebnissen.
• Datenanreicherung: Ermöglicht es Entwicklern, Daten mit zusätzlichen Informationen anzureichern und so die Genauigkeit und Vollständigkeit des Trainingsdatensatzes zu verbessern.

Vorteile:

• Verbesserte Modellgenauigkeit: Das Training aufqualitativ hochwertigen Daten führt zu genaueren und zuverlässigeren KI-Modellen.
• Reduzierte Verzerrung: Das Mildern von Verzerrungen in den Daten gewährleistet Fairness und Gleichheit bei den Modellergebnissen.
• Erhöhtes Vertrauen: Das Erstellen von Modellen auf unverzerrten Daten erhöht das Vertrauen in das KI-System und seine Entscheidungen.

Fazit: Eine neue Ära der KI-gestützten Automatisierung

Die NeMo Microservices von Nvidia stellen einen bedeutenden Fortschritt im Bereich der KI-Agentenentwicklung dar. Indem Nvidia eine umfassende Suite von Tools bereitstellt, die die wichtigsten Herausforderungen des Datenzugriffs, der Modellanpassung und des ethischen Verhaltens angehen, ermöglicht Nvidia Entwicklern, innovative KI-Lösungen zu erstellen, die einen konkreten Geschäftswert schaffen. Da immer mehr Unternehmen KI-Agenten einsetzen, werden NeMo Microservices zweifellos eine zentrale Rolle bei der Gestaltung der Zukunft der Arbeit und der Automatisierung spielen. Die Möglichkeit zur Anpassung von LLMs an spezifische Bedürfnisse, kombiniert mit der Sicherstellung von Sicherheit und Fairness durch Guardrails und Curator, positioniert NeMo als ein entscheidendes Werkzeug für Unternehmen, die KI in ihre Prozesse integrieren wollen. Der Retriever ermöglicht einen effizienten Datenzugriff und -verarbeitung, während der Evaluator die kontinuierliche Verbesserung der Modelle durch datengestützte Bewertung unterstützt. Insgesamt ebnet NeMo Microservices den Weg für eine breitere und verantwortungsvollere Nutzung von KI-Agenten in verschiedenen Branchen.