Google Cloud en Nvidia verdiepen hun samenwerking om de vooruitgang in kunstmatige intelligentie te stimuleren. Deze samenwerking richt zich op het integreren van Google’s Gemini-modellen en Nvidia’s Blackwell GPU’s om AI-workloads te optimaliseren. Belangrijke innovaties omvatten de implementatie van Gemini-modellen on-premises, prestatieverbeteringen voor Gemini op Nvidia GPU’s, nieuwe ontwikkelaarsgemeenschappen, vertrouwelijke VM’s en de beschikbaarheid van A4 VM’s op Blackwell GPU’s.
Gemini-modellen On-Premise met Nvidia Blackwell
Google Gemini kan nu on-premises worden geïmplementeerd met Nvidia Blackwell via Google Distributed Cloud. Deze implementatie stelt organisaties in staat om Gemini-modellen veilig te gebruiken binnen hun eigen datacenters, waardoor ze worden voorzien van agentische AI-mogelijkheden.
Wat zijn Gemini-modellen?
De Gemini-familie van modellen vertegenwoordigt de meest geavanceerde AI-modellen van Google tot nu toe. Deze modellen zijn ontworpen voor complexe redeneringen, codering en multimodale begrip, waardoor ze veelzijdige hulpmiddelen zijn voor verschillende toepassingen. Gemini modellen blinken uit in taken die variëren van het genereren van creatieve content tot het analyseren van complexe datasets, ze zijn ontworpen om taken te vereenvoudigen en te automatiseren, het verhogen van de efficiëntie en het stimuleren van innovatie.
Google Distributed Cloud
Google Distributed Cloud biedt een volledig beheerde oplossing voor on-premises, air-gapped omgevingen en edge computing. Dit stelt klanten in staat om controle over hun gegevens te behouden terwijl ze toch de kracht van Google’s AI-technologieën benutten. Het platform is ontworpen om flexibiliteit en schaalbaarheid, zodat organisaties hun AI-infrastructuur kunnen aanpassen aan hun specifieke behoeften, of het nu gaat om het implementeren van AI-oplossingen centraal of verspreid binnen de eigen organisatie.
Voordelen van On-Premise Implementatie
Verbeterde Controle: Organisaties behouden volledige controle over hun gegevens, waardoor naleving van privacyregelgeving en interne beleidslijnen wordt gewaarborgd. On-premise implementatie staat organisaties toe om de veiligheid en integriteit van hun gegevens te waarborgen, gevoelige informatie die in het risico loopt buiten de lokale infrastructuur.
Beveiliging: Het implementeren van Gemini-modellen binnen hun eigen datacenters zorgt voor grotere beveiliging en bescherming van gevoelige informatie. Door te zorgen dat de gegevens binnen eigen netwerken blijven, kunnen organisaties het risico op blootstelling aan externe bedreigingen of ongeautoriseerde toegang minimaliseren.
Aanpassing: On-premise implementatie zorgt voor meer aanpassing van AI-oplossingen om aan specifieke zakelijke behoeften te voldoen. Dit zorgt ervoor dat de AI platform is verfijnd en geschikt is voor een aanbod taken en workflows die uniek zijn voor elke implementie.
Deze samenwerking zorgt ervoor dat klanten kunnen innoveren met Gemini met inachtneming van strikte regels voor databeheer.
Gemini en Gemma Optimaliseren voor Nvidia GPU’s
Nvidia en Google hebben samengewerkt om de prestaties van Gemini-gebaseerde inference workloads te optimaliseren op Nvidia GPU’s, met name binnen GoogleCloud’s Vertex AI-platform. Deze optimalisatie stelt Google in staat om efficiënt een aanzienlijk aantal gebruikersvragen voor Gemini-modellen te verwerken op Nvidia versnelde infrastructuur in Vertex AI en Google Distributed Cloud. Door de inference prestaties binnen Google’s systemen te verhogen en te stroomlijnen, kan Google AI-innovatie en een betere gebruikerservaring over verschillende applicaties stimuleren.
Vertex AI-Platform
Vertex AI is Google Cloud’s uitgebreide platform voor machine learning, dat tools en services biedt voor het trainen, implementeren en beheren van AI-modellen. De optimalisatie van Gemini voor Nvidia GPU’s binnen Vertex AI verbetert de mogelijkheden van het platform en maakt het gemakkelijker voor ontwikkelaars om AI-oplossingen te bouwen en te implementeren. Vertex AI voorziet ontwikkelaars met tools en infrastructuur die nodig zijn om AI-projecten te beheren in elke fase, van data pre-processing tot model deployment en monitoring.
Gemma Familie van Modellen
De Gemma-familie van lichtgewicht, open modellen is geoptimaliseerd voor inference met behulp van de Nvidia TensorRT-LLM-bibliotheek. Van deze modellen wordt verwacht dat ze worden aangeboden als eenvoudig te implementeren Nvidia NIM microservices, waardoor ze toegankelijk worden voor een breder scala aan ontwikkelaars. Gemma, een veelzijdige en efficiënte optie, kan met behulp van de Nvidia TensorRT-LLM-bibliotheek snel een groter publiek bereiken.
Nvidia TensorRT-LLM
Nvidia TensorRT-LLM is een bibliotheek voor het optimaliseren en implementeren van grote taalmodellen (LLM’s) op Nvidia GPU’s. Door Gemma-modellen te optimaliseren met TensorRT-LLM, maken Nvidia en Google het gemakkelijker voor ontwikkelaars om de kracht van LLM’s in hun toepassingen te benutten. Deze bibliotheek zorgt voor efficiënt inference en maakt de LLM’s een hulpmiddel voor ontwikkelaars van verschillende applicaties.
Toegankelijkheid voor Ontwikkelaars
Deze optimalisaties maximaliseren de prestaties en maken geavanceerde AI toegankelijker voor ontwikkelaars, waardoor ze hun workloads kunnen uitvoeren op verschillende architecturen in datacenters en lokale Nvidia RTX-aangedreven pc’s en workstations. Door geavanceerde AI te democratiseren en de toegankelijkheid te verbeteren, kan het de creativiteit en innovatie tussen de ontwikkelaars bevorderen.
Lancering van de Google Cloud en Nvidia Developer Community
Google Cloud en Nvidia hebben een nieuwe gezamenlijke ontwikkelaarsgemeenschap gelanceerd om cross-skilling en innovatie te versnellen. Deze community brengt experts en collega’s samen om samen te werken en kennis te delen, waardoor het gemakkelijker wordt voor ontwikkelaars om de volgende generatie AI-applicaties te bouwen, te schalen en te implementeren. De gemeenschap wil een positieve omgeving creëren, waar ontwikkelaars ideeën kunnen uitwisselen, kunnen samenwerken aan projecten en kunnen leren van elkaars ervaringen.
Voordelen van de Developer Community
Kennisdeling: De community biedt een platform voor ontwikkelaars om hun expertise te delen en van anderen te leren. De ontwikkelingsgemeenschap kan deelnemen aan workshops, webinars, en andere evenementen die ontworpen zijn om hun kennis te verbeteren en op de hoogte te blijven van de nieuwste trends in AI.
Samenwerking: Ontwikkelaars kunnen samenwerken aan projecten en code delen, waardoor het ontwikkelingsproces wordt versneld. De ontwikkelingsgemeenschap kan deelnemen aan uitdagende projecten, gezamenlijk oplossingen uitvinden en bijdragen aan cutting-edge applicaties.
Ondersteuning: De community biedt ondersteuning en begeleiding aan ontwikkelaars die AI-applicaties bouwen. Nieuwe ontwikkelaars in de gemeenschap kunnen profiteren van de begeleiding van ervaren professionals.
Dit initiatief combineert technische uitmuntendheid, open-source leiderschap en een levendig ontwikkelaarsecologie om ontwikkelaars in staat te stellen en innovatie in de AI-ruimte te stimuleren.
Open-Source Frameworks
De bedrijven ondersteunen de ontwikkelaarsgemeenschap door open-source frameworks, zoals JAX, te optimaliseren voor naadloze schaling op Blackwell GPU’s. Dit stelt AI-workloads in staat om efficiënt te draaien op tienduizenden nodes, waardoor het gemakkelijker wordt om grootschalige AI-modellen te trainen en te implementeren. De flexibiliteit en het aanpassingsvermogen van open-source platforms stellen datascientisten en ontwikkelaars in staat om innovatieve oplossingen in AI aan te passen en toe te passen.
JAX-Optimalisatie
JAX is een hoogwaardige numerieke rekenbibliotheek ontwikkeld door Google. Door JAX te optimaliseren voor Blackwell GPU’s, maken Nvidia en Google het gemakkelijker voor ontwikkelaars om de kracht van JAX in hun AI-applicaties te benutten. De optimalisaties helpen met data science en diepe leerwerkzaamheden binnen de Nvidia ecosystem.
Vertrouwelijke VM’s en GKE-Nodes met Nvidia H100 GPU’s
Google Cloud’s Confidential Virtual Machines (VM’s) op de accelerator-geoptimaliseerde A3 machine series met Nvidia H100 GPU’s zijn nu beschikbaar in preview. Evenzo worden ook de Confidential Google Kubernetes Engine (GKE) nodes aangeboden. Deze vertrouwelijke computing-oplossingen zorgen voor de vertrouwelijkheid en integriteit van AI-, machine learning- en wetenschappelijke simulatie workloads met behulp van beschermde GPU’s terwijl de gegevens in gebruik zijn. Met gevoelige gegevens die in gebruik zijn, hebben gegevensbeveiliging en compliance een hogere prioriteit in computatie.
Confidential Virtual Machines
Confidential VM’s versleutelen data in gebruik, waardoor een extra beveiligingslaag wordt geboden voor gevoelige workloads. Dit zorgt ervoor dat data beschermd blijft, zelfs tijdens de verwerking, waardoor het risico op ongeautoriseerde toegang wordt verminderd. De data versleutelings mogelijkheden van confidential VMs houden gevoelige informatie verborgen terwijl het verwerkt, het beperken van de toegang van ongeauthoriseerde personen.
Google Kubernetes Engine
Google Kubernetes Engine (GKE) is een beheerde Kubernetes service die de implementatie en het beheer van containerized apps vereenvoudigt. Confidential GKE nodes bieden hetzelfde beveiligingsniveau als Confidential VM’s, waardoor containerized workloads beschermd worden. GKE vertrouwelijke nodes zorgen ervoor dat containerized inzet veiliger wordt het optimaliseren van de resource het beheer en het minimaliseren van beveiligingsrisico’s.
Beveiligingsvoordelen
Databescherming: Confidential VM’s en GKE nodes beschermen gegevens in gebruik, waardoor het risico op datalekken wordt verminderd. Ingebouwde beveiligingsfuncties bieden uitgebreide bescherming van gegevens, compliantie en beveiliging.
Compliance: Deze oplossingen helpen organisaties te voldoen aan privacyregelgeving en industrienormen. Vertrouwelijke computers kan helpen de regelgevingskennis van organisaties te implementeren en databescherming te verbeteren.
Vertrouwen: Confidential computing bouwt vertrouwen op door ervoor te zorgen dat gegevens vertrouwelijk en beschermd blijven gedurende de gehele levenscyclus. Vertrouwelijke computers stimuleert vertrouwen klanten en partners door ervoor te zorgen dat gegevens beschermd blijven tijdens de gehele gegevens lifecycle.
Dit stelt data- en model eigenaren in staat om directe controle te behouden over het traject van hun data, waarbij Nvidia Confidential Computing geavanceerde hardware-backed beveiliging biedt voor versneld computergebruik. Dit biedt meer vertrouwen bij het creëren en adopteren van innovatieve AI-oplossingen en -diensten.
Google’s Nieuwe A4 VM’s Algemeen Beschikbaar op Nvidia Blackwell GPU’s
In februari lanceerde Google Cloud zijn nieuwe A4 virtual machines die acht Blackwell GPU’s bevatten die zijn verbonden door Nvidia NVLink. Dit biedt een aanzienlijke prestatieverbetering ten opzichte van de vorige generatie, waardoor het gemakkelijker wordt om grootschalige AI-modellen te trainen en te implementeren. Google Cloud’s nieuwe A4 VM’s op Nvidia HGX B200 zijn nu algemeen beschikbaar, waardoor klanten toegang hebben tot de nieuwste AI-hardware. A4 VM’s worden aangedreven door NVIDIA HGX B200, de nieuwe machines, het mogelijk maken dat gebruikers toegang hebben tot de nieuwe AI hardware.
Nvidia NVLink
Nvidia NVLink is een high-speed interconnect technologie die snelle communicatie tussen GPU’s mogelijk maakt. Door acht Blackwell GPU’s met NVLink te verbinden, bieden Google Cloud’s A4 VM’s ongeëvenaarde prestaties voor AI-workloads. NVLink maakt het mogelijk dat verschillende NVIDIA GPU’s snel data kunnen versturen en sneller AI verwerking kunnen realiseren.
Prestatieboost
De A4 VM’s bieden een aanzienlijke prestatieverbetering ten opzichte van de vorige generatie, waardoor ze ideaal zijn voor het trainen en implementeren van grootschalige AI-modellen. Hierdoor kunnen ontwikkelaars sneller itereren en betere resultaten behalen met hun AI-applicaties. De A4 VM en snellere technologie stellen data wetenschappers en AI ingenieurs in staat om nieuwe technologie te ontwikkelen.
Toegankelijkheid via Vertex AI en GKE
Google’s nieuwe VM’s en AI Hypercomputer architectuur zijn toegankelijk via services zoals Vertex AI en GKE, waardoor klanten een pad kunnen kiezen om agentische AI-applicaties op schaal te ontwikkelen en te implementeren. Dit maakt het gemakkelijker voor organisaties om de kracht van AI in hun toepassingen te benutten. Integratie met Vertex AI en GKE zorgen voor een vlekkeloze inzet, waardoor organisaties nieuwe intelligentie kunnen benutten.
Dieper ingegaan op de Blackwell GPU-Architectuur
Nvidia’s Blackwell GPU-architectuur markeert een monumentale sprong in rekenkracht, waardoor het landschap van AI en high-performance computing fundamenteel wordt hervormd. Om de mogelijkheden van de A4 VM’s en hun impact op AI-innovatie echt te waarderen, is het cruciaal om de onderliggende technologie van Blackwell GPU’s te begrijpen. Blackwell GPU’s zijn een belangrijke techniek en kunnen de toekomst van computergebruik in industrie veranderen.
Transformatieve Rekenmogelijkheden
De Blackwell-architectuur is ontworpen om de meest veeleisende AI-workloads aan te kunnen, waaronder het trainen van enorme taalmodellen (LLM’s) en het uitvoeren van complexe simulaties. De belangrijkste kenmerken zijn:
Tweede Generatie Transformer Engine: Deze engine is speciaal geoptimaliseerd voor transformer modellen, die de basis vormen van veel moderne AI-applicaties. Het versnelt de training en inference van deze modellen aanzienlijk. De nieuwe transfomer engine bevordert geavanceerde mogelijkheden rondom AI model trainen en inference.
Vijfde Generatie NVLink: Zoals eerder vermeld, maakt NVLink high-speed communicatie tussen GPU’s mogelijk, waardoor ze naadloos samen kunnen werken aan complexe taken. Dit is vooral belangrijk voor het trainen van zeer grote modellen die de collectieve verwerkingskracht van meerdere GPU’s vereisen. De nieuwere NVLink technologie versnellen processen doordat data tussen de GPUs snel doorgegeven wordt.
Confidential Computing Ondersteuning: Blackwell GPU’s bevatten hardware-gebaseerde beveiligingsfuncties die confidential computing mogelijk maken, waardoor de privacy en integriteit van gevoelige data wordt gewaarborgd. Confidential computing beschermt gevoelige data terwijl het gebruikt wordt.
Geavanceerde Geheugentechnologie: Blackwell GPU’s maken gebruik van de nieuwste geheugentechnologie, die hoge bandbreedte en capaciteit biedt om de enorme datasets te verwerken die in AI-applicaties worden gebruikt. Het GPU zorgt ervoor dat data efficiënt kan worden verwerkt voor geavanceerde AI applicaties.
Impact op AI-Workloads
De combinatie van deze functies resulteert in een aanzienlijke prestatieverbetering voor een breed scala aan AI-workloads. Blackwell GPU’s stellen ontwikkelaars in staat om:
Grotere Modellen te Trainen: De toegenomen rekenkracht en geheugencapaciteit maken het mogelijk om aanzienlijk grotere en complexere AI-modellen te trainen, wat leidt tot verbeterde nauwkeurigheid en prestaties. De grotere geheugencapaciteit laat datawetenschappers toe om complexere AI modellen te creëren met hogere nauwkeurigheid.
Trainingstijd te Verkorten: De geoptimaliseerde architectuur en high-speed interconnects verminderen de tijd die nodig is om AI-modellen te trainen aanzienlijk, waardoor het ontwikkelingsproces wordt versneld. Verkorting van trainingstijd zorgt voor de productie van snellere resultaten voor AI development.
Efficiënter te Implementeren: Blackwell GPU’s zijn ontworpen voor energie-efficiëntie, waardoor AI-modellen op schaal kunnen worden geïmplementeerd zonder overmatig stroomverbruik. De blackwell GPUs verhogen AI training snelheid en de implementatie vermindert tegelijkertijd energie verbruik, waardoor duurzaamheid verbeterd.
**Nieuwe