Nvidia Corp. heeft officieel zijn NeMo-microservices gelanceerd, een uitgebreide reeks tools die zorgvuldig zijn ontworpen om ontwikkelaars in staat te stellen de implementatie van geavanceerde kunstmatige intelligentie-agents te versnellen. Deze microservices zijn ontworpen om de kracht van AI-inferentie en informatiesystemen op schaal te benutten, wat een aanzienlijke sprong voorwaarts markeert op het gebied van AI-gedreven automatisering en productiviteit.
De opkomst van AI-agents: Digitale teamgenoten in het moderne personeelsbestand
AI-agents komen snel naar voren als onmisbare activa in het moderne personeelsbestand, klaar om een revolutie teweeg te brengen in de manier waarop kennis- en servicemedewerkers werken. Deze digitale teamgenoten zijn ontworpen om naadloos te integreren in bestaande workflows en zijn in staat om een breed scala aan taken uit te voeren, waaronder:
- Orderverwerking: Efficiënt beheren en verwerken van klantorders, stroomlijnen van de bedrijfsvoering en verminderen van handmatige tussenkomst.
- Informatieontdekking: Snel identificeren en ophalen van relevante informatie uit enorme datasets, waardoor datagestuurde besluitvorming en inzichten mogelijk worden.
- Proactieve taakuitvoering: Anticiperen op en proactief aanpakken van potentiële problemen of kansen, waardoor de algehele operationele efficiëntie en flexibiliteit worden verbeterd.
In tegenstelling tot traditionele AI-chatbots beschikken AI-agents over het unieke vermogen om autonome acties uit te voeren met minimale menselijke tussenkomst. Dit niveau van autonomie vereist robuuste mogelijkheden voor gegevensverwerking om nauwkeurige en efficiënte besluitvorming te garanderen. Agents vertrouwen op een constante stroom gegevens om hun redenering te onderbouwen, wat vooral uitdagend kan zijn bij het omgaan met propriëtaire kennis of snel veranderende real-time informatie.
De gegevensuitdaging aanpakken: Nauwkeurigheid en betrouwbaarheid van agents garanderen
Een van de kritieke uitdagingen bij het ontwikkelen en implementeren van AI-agents is het waarborgen van een consistente stroom van hoogwaardige gegevens. Zonder toegang tot relevante en actuele informatie uit verschillende bronnen kan het begrip van een agent achteruitgaan, wat leidt tot onbetrouwbare antwoorden en verminderde productiviteit. Dit geldt met name wanneer agents toegang moeten hebben tot propriëtaire kennis die is opgeslagen achter bedrijfsfirewalls of gebruik moeten maken van snel veranderende real-time informatie.
Joey Conway, senior director van generative AI-software voor ondernemingen bij Nvidia, benadrukte het belang van gegevenskwaliteit en verklaarde: ‘Zonder een constante stroom van hoogwaardige inputs - uit databases, gebruikersinteracties of real-world signalen - kan het begrip van een agent verzwakken, waardoor antwoorden minder betrouwbaar worden, wat agents minder productief maakt.’
NeMo Microservices: Een uitgebreide toolkit voor AI Agent ontwikkeling
Om deze uitdagingen aan te pakken en de ontwikkeling en implementatie van AI-agents te versnellen, introduceert Nvidia NeMo-microservices. Deze suite van tools omvat vijf belangrijke componenten:
Customizer: Faciliteert het finetunen van grote taalmodellen (LLM’s), waardoor een tot 1,8 keer hogere trainingsdoorvoer mogelijk is. Hierdoor kunnen ontwikkelaars modellen snel aanpassen aan specifieke datasets, waardoor de prestaties en nauwkeurigheid worden geoptimaliseerd. De Customizer biedt een application programming interface (API) waarmee ontwikkelaars modellen efficiënt kunnen samenstellen vóór implementatie.
Evaluator: Vereenvoudigt de evaluatie van AI-modellen en workflows op basis van aangepaste en branchebenchmarks. Met slechts vijf API-aanroepen kunnen ontwikkelaars de prestaties van hun AI-oplossingen uitgebreid beoordelen, zodat ze voldoen aan de vereiste normen.
Guardrails: Fungeert als een vangnet en voorkomt dat AI-modellen of -agents zich op een onveilige of onbehoorlijke manier gedragen. Dit zorgt voor compliance en ethisch gedrag, en voegt slechts een halve seconde latentie toe en biedt 1,4x efficiëntie.
Retriever: Stelt ontwikkelaars in staat om agents te bouwen die gegevens uit verschillende systemen kunnen extraheren en nauwkeurig kunnen verwerken. Dit maakt de creatie van complexe AI-datapipelines mogelijk, zoals retrieval-augmented generation (RAG), waardoor het vermogen van de agent om toegang te krijgen tot relevante informatie en deze te gebruiken wordt verbeterd.
Curator: Stelt ontwikkelaars in staat om gegevens die worden gebruikt om AI-modellen te trainen, te filteren en te verfijnen, waardoor de modelnauwkeurigheid wordt verbeterd en bias wordt verminderd. Door ervoor te zorgen dat alleen hoogwaardige gegevens worden gebruikt, helpt de Curator bij het creëren van betrouwbaardere en effectievere AI-agents.
Volgens Conway zijn ‘NeMo-microservices eenvoudig te bedienen en kunnen ze worden uitgevoerd op elke versnelde computerinfrastructuur, zowel on-premises als in de cloud, terwijl ze beveiliging, stabiliteit en ondersteuning van enterprise-kwaliteit bieden.’
AI Agent ontwikkeling democratiseren: Toegankelijkheid voor iedereen
Nvidia heeft de NeMo-tools ontworpen met toegankelijkheid in gedachten, zodat ontwikkelaars met algemene AI-kennis ze kunnen gebruiken via eenvoudige API-aanroepen. Deze democratisering van de ontwikkeling van AI-agents stelt bedrijven in staat om complexe multi-agent systemen te bouwen, waarbij honderden gespecialiseerde agents samenwerken om uniforme doelen te bereiken terwijl ze samenwerken met menselijke teamgenoten.
Brede modelondersteuning: Open AI ecosysteem omarmen
NeMo-microservices bieden uitgebreide ondersteuning voor een breed scala aan populaire open AI-modellen, waaronder:
- Meta Platforms Inc.’s Llama-familie van modellen
- Microsoft Phi-familie van kleine taalmodellen
- Google LLC’s Gemma-modellen
- Mistral-modellen
Bovendien is Nvidia’s Llama Nemotron Ultra, erkend als een toonaangevend open model voor wetenschappelijke redenering, codering en complexe wiskundebenchmarks, ook toegankelijk via de microservices.
Industrieadoptie: Een groeiend ecosysteem van partners
Talrijke toonaangevende AI-serviceproviders hebben NeMo-microservices al in hun platforms geïntegreerd, waaronder:
- Cloudera Inc.
- Datadog Inc.
- Dataiku
- DataRobot Inc.
- DataStax Inc.
- SuperAnnotate AI Inc.
- Weights & Biases Inc.
Deze wijdverbreide adoptie onderstreept de waarde en veelzijdigheid van NeMo-microservices in het AI-ecosysteem. Ontwikkelaars kunnen deze microservices onmiddellijk gaan gebruiken via populaire AI-frameworks zoals CrewAI, Haystack by Deepset, LangChain, LlamaIndex en Llamastack.
Real-World toepassingen: Zakelijke waarde stimuleren
Nvidia’s partners en techbedrijven maken al gebruik van de nieuwe NeMo-microservices om innovatieve AI-agentplatforms te bouwen en digitale teamgenoten aan boord te halen, waardoor tastbare zakelijke waarde wordt gestimuleerd.
AT&T Inc.: Gebruikte NeMo Customizer en Evaluator om een Mistral 7B-model te finetunen voor gepersonaliseerde services, fraudepreventie en optimalisatie van de netwerkprestaties, wat resulteerde in een verhoogde nauwkeurigheid van AI-agents.
BlackRock Inc.: Integreert de microservices in zijn Aladdin-techplatform om investeringsbeheer te verenigen via een gemeenschappelijke datataal, waardoor de efficiëntie en besluitvormingsmogelijkheden worden verbeterd.
Diepgaande duik in NeMo Microservices componenten
Om het transformerende potentieel van NeMo-microservices volledig te kunnen waarderen, is het essentieel om dieper in te gaan op elk component:
Customizer: LLM’s afstemmen op specifieke taken
De Customizer-microservice is een game-changer voor organisaties die grote taalmodellen (LLM’s) willen aanpassen aan hun specifieke behoeften. Het pakt de uitdaging aan dat LLM’s voor algemene doeleinden niet altijd ideaal geschikt zijn voor niche-toepassingen of propriëtaire datasets.
Belangrijkste kenmerken:
- Fine-tuning mogelijkheden: Stelt ontwikkelaars in staat om LLM’s te finetunen met behulp van hun eigen gegevens, waardoor de kennis en het gedrag van het model worden afgestemd op specifieke taken.
- Verhoogde trainingsdoorvoer: Biedt een tot 1,8 keer hogere trainingsdoorvoer in vergelijking met traditionele fine-tuning methoden, waardoor het modelaanpassingsproces wordt versneld.
- API-gestuurde interface: Biedt een gebruiksvriendelijke API waarmee ontwikkelaars modellen snel kunnen samenstellen, zodat ze zijn geoptimaliseerd voor implementatie.
Voordelen:
- Verbeterde nauwkeurigheid: Het finetunen van LLM’s met relevante gegevens verbetert de nauwkeurigheid en prestaties in specifieke toepassingen aanzienlijk.
- Verkorte ontwikkeltijd: Versnelde trainingsdoorvoer en een gestroomlijnde API verkorten de tijd die nodig is om modellen aan te passen.
- Verbeterde efficiëntie: Geoptimaliseerde modellen leiden tot efficiëntere AI-agents die betere resultaten kunnen leveren met minder middelen.
Evaluator: Modelprestaties met vertrouwen beoordelen
De Evaluator-microservice is ontworpen om het vaak complexe proces van het evalueren van AI-modelprestaties te vereenvoudigen. Het biedt een gestandaardiseerd framework voor het beoordelen van modellen aan de hand van aangepaste en branchebenchmarks, zodat ze voldoen aan de vereiste normen.
Belangrijkste kenmerken:
- Vereenvoudigde evaluatie: Stelt ontwikkelaars in staat om AI-modellen en workflows te evalueren met slechts vijf API-aanroepen, waardoor het beoordelingsproces wordt gestroomlijnd.
- Aangepaste en branchebenchmarks: Ondersteunt zowel aangepaste benchmarks die zijn afgestemd op specifieke toepassingen als branchestandaard benchmarks voor bredere vergelijkingen.
- Uitgebreide rapportage: Genereert gedetailleerde rapporten over modelprestaties en biedt inzicht in gebieden voor verbetering.
Voordelen:
- Datagestuurde besluitvorming: Biedt objectieve gegevens om beslissingen over modelselectie, training en implementatie te onderbouwen.
- Verbeterde modelkwaliteit: Identificeert gebieden voor verbetering, wat leidt tot AI-modellen van hogere kwaliteit en betrouwbaarder.
- Verminderd risico: Zorgt ervoor dat modellen voldoen aan de prestatie-eisen vóór implementatie, waardoor het risico op onverwachte problemen wordt verminderd.
Guardrails: Veilig en ethisch AI-gedrag garanderen
De Guardrails-microservice is een cruciaal onderdeel om ervoor te zorgen dat AI-modellen zich op een veilige, ethische en conforme manier gedragen. Het fungeert als een real-time monitoringsysteem en voorkomt dat modellen ongepaste of schadelijke inhoud genereren.
Belangrijkste kenmerken:
- Real-time monitoring: Bewaakt continu de modeluitvoer en identificeert en blokkeert potentieel schadelijke inhoud.
- Aanpasbare regels: Stelt ontwikkelaars in staat om aangepaste regels en beleidsregels te definiëren die aansluiten bij hun specifieke ethische en compliance-eisen.
- Efficiëntie en lage latentie: Biedt aanvullende compliance met 1,4x efficiëntie en slechts een halve seconde meer latentie, waardoor de impact op de prestaties wordt geminimaliseerd.
Voordelen:
- Verminderd risico op schade: Voorkomt dat modellen inhoud genereren die schadelijk, beledigend of discriminerend kan zijn.
- Gegarandeerde compliance: Helpt organisaties te voldoen aan relevante voorschriften en ethische richtlijnen.
- Verbeterde reputatie: Toont een engagement voor verantwoorde AI-ontwikkeling, waardoor vertrouwen en reputatie worden verbeterd.
Retriever: De kracht van gegevenstoegang ontketenen
De Retriever-microservice stelt AI-agents in staat om toegang te krijgen tot gegevens uit een breed scala aan bronnen en deze te verwerken, waardoor ze beter geïnformeerde beslissingen kunnen nemen en nauwkeurigere antwoorden kunnen geven.
Belangrijkste kenmerken:
- Gegevensextractie: Stelt agents in staat om gegevens uit verschillende systemen te extraheren, waaronder databases, API’s en ongestructureerde documenten.
- Gegevensverwerking: Stelt agents in staat om gegevens te verwerken en om te zetten in een formaat dat geschikt is voor analyse en besluitvorming.
- Retrieval-Augmented Generation (RAG): Ondersteunt de creatie van complexe AI-datapipelines, zoals RAG, waardoor het vermogen van de agent om toegang te krijgen tot relevante informatie en deze te gebruiken wordt verbeterd.
Voordelen:
- Verbeterde nauwkeurigheid: Toegang tot een breder scala aan gegevensbronnen leidt tot nauwkeurigere en beter geïnformeerde beslissingen.
- Verbeterde context: Biedt agents een dieper inzicht in de context rondom gebruikersvragen, waardoor relevantere antwoorden mogelijk zijn.
- Verhoogde efficiëntie: Automatiseert het proces van gegevensextractie en -verwerking, waardoor menselijke middelen vrijkomen voor meer strategische taken.
Curator: Gegevens verfijnen voor optimale modeltraining
De Curator-microservice speelt een cruciale rol bij het waarborgen dat AI-modellen worden getraind op hoogwaardige, onbevooroordeelde gegevens. Het stelt ontwikkelaars in staat om gegevens te filteren en te verfijnen, irrelevante of schadelijke informatie te verwijderen en het risico op bias in de resulterende modellen te verminderen.
Belangrijkste kenmerken:
- Gegevensfiltering: Stelt ontwikkelaars in staat om gegevens te filteren op basis van verschillende criteria, zoals inhoud, bron en relevantie.
- Biasdetectie: Identificeert en beperkt potentiële biases in de gegevens, waardoor eerlijkheid en gelijkheid in modelresultaten worden gegarandeerd.
- Gegevensverrijking: Stelt ontwikkelaars in staat om gegevens te verrijken met aanvullende informatie, waardoor de nauwkeurigheid en volledigheid van de trainingsdataset worden verbeterd.
Voordelen:
- Verbeterde modelnauwkeurigheid: Training op hoogwaardige gegevens leidt tot nauwkeurigere en betrouwbaardere AI-modellen.
- Verminderde bias: Het beperken van bias in de gegevens zorgt voor eerlijkheid en gelijkheid in modelresultaten.
- Verbeterd vertrouwen: Het bouwen van modellen op onbevooroordeelde gegevens verbetert het vertrouwen in het AI-systeem en zijn beslissingen.
Conclusie: Een nieuw tijdperk van AI-aangedreven automatisering
Nvidia’s NeMo-microservices vertegenwoordigen een aanzienlijke vooruitgang op het gebied van AI-agentontwikkeling. Door een uitgebreide suite van tools te bieden die de belangrijkste uitdagingen van gegevenstoegang, modelaanpassing en ethisch gedrag aanpakken, stelt Nvidia ontwikkelaars in staat om innovatieve AI-oplossingen te bouwen die tastbare zakelijke waarde stimuleren. Naarmate meer organisaties AI-agents omarmen, zullen NeMo-microservices ongetwijfeld een cruciale rol spelen bij het vormgeven van de toekomst van werk en automatisering.