NVIDIA Project G-Assist: Testresultaten

Vroeg dit jaar introduceerde NVIDIA eindelijk Project G-Assist, een daadwerkelijk product dat je kunt uitproberen, hoewel het “concept” al in april 2017 bestond. Het oorspronkelijke idee (grapje) draaide om gamers zoveel mogelijk te helpen om door lastige levels te komen, terwijl het daadwerkelijke product afhankelijk is van AI en meer functies biedt dan alleen een in-game assistent.

Wat is Project G-Assist?

Momenteel gebruikt Project G-Assist Meta’s Llama-3.1-8B small language model (SLM), dat lokaal op je computer draait, meer specifiek op je RTX GPU. In NVIDIA’s woorden: "Naarmate moderne pc’s krachtiger worden, worden ze ook complexer om te bedienen. G-Assist helpt gebruikers bij het beheren van verschillende pc-instellingen, van het optimaliseren van game- en systeeminstellingen, het weergeven van framerates en andere belangrijke prestatiegegevens, tot het beheren van geselecteerde randapparatuurinstellingen (zoals verlichting) - dit alles via eenvoudige spraak- of tekstcommando’s."

Het idee is niet heel anders dan hoe Google en Apple AI-modellen gebruiken om hun digitale assistenten te verbeteren, waardoor ze menselijke taal beter begrijpen en instellingen aanpassen zonder dat je door diepe menu’s in verschillende hoeken van het systeem hoeft te navigeren. Theoretisch is dit vooral handig voor casual gebruikers: waar mensen zoals wij nerds zijn die graag aan knoppen draaien, kan GPU-overklokken of grafische instellingen aanpassen voor hen te intimiderend zijn - en dat is waar Project G-Assist van pas komt.

Installatie

Voordat je Project G-Assist installeert, moet je een paar dingen weten, te beginnen met de systeemvereisten. Het belangrijkste is dat je een RTX 30-serie of nieuwere GPU moet hebben, met minimaal 12 GB VRAM (momenteel worden laptop-GPU’s niet ondersteund) - helaas heeft dit, vanwege enkele vreemde VRAM-configuraties in de afgelopen generaties, geleid tot een situatie waarin eigenaren van een RTX 3060 12 GB het model kunnen draaien, terwijl eigenaren van een high-end RTX 3080 (met 10 GB VRAM) dat niet kunnen. Auw.

Ervan uitgaande dat je GPU-hardware aan de vereisten voldoet, heb je ook Windows 10 of Windows 11 nodig, evenals GPU-driverversie 572.83 of hoger; qua opslag heeft het minimaal 6,5 GB schijfruimte nodig om de systeemassistentfuncties correct te laten werken (spraakopdrachten vereisen nog eens 3 GB). Momenteel wordt alleen Engels ondersteund.

Je moet ook de NVIDIA App installeren om Project G-Assist op je systeem in te schakelen; voor randapparatuur-gerelateerde hardwarevereisten ondersteunt de huidige versie MSI-moederborden en randapparatuur van Logitech G, Corsair en Nanoleaf. Niet alle modellen van deze merken worden ondersteund - bekijk het tabblad "Systeemvereisten" onder de Project G-Assist-homepage voor meer details.

Testopstelling

  • CPU: Intel Core i9-13900K
  • Koeling: Cooler Master MasterLiquid PL360 Flux 30th Anniversary Edition
  • Koelpasta: Thermal Grizzly Kryonaut
  • Moederbord: ASUS ROG Maximus Z790 Apex
  • GPU: NVIDIA GeForce RTX 5090 Founders Edition
  • Geheugen: Kingston FURY BEAST RGB DDR5-6800 CL34 (2x16GB)
    • Geconfigureerd met DDR5-6400 CL32 XMP profiel
  • Opslag: ADATA LEGEND 960 MAX 1TB
  • Voeding: Cooler Master MWE Gold 1250 V2 Full Modular (ATX12V 2.52) 1250W
  • Behuizing: VECTOR Bench Case (Open-air chassis)
  • Besturingssysteem: Windows 11 Home 24H2

Testen

Zoals vermeld in de bovenstaande benchmark systeem specificaties, zullen we deze functie demonstreren met een NVIDIA GeForce RTX 5090 Founders Edition. Deze vlaggenschip Blackwell-aangedreven GPU beschikt over 32 GB GDDR7 VRAM, 5e generatie Tensor Cores en 21.760 CUDA cores, die allemaal samenwerken om 3.352 TOPS van AI-specifieke FP4-prestaties te leveren (merk op dat dit cijfer niet rechtstreeks kan worden vergeleken met de 1.321 TOPS van de RTX 4090, die FP8 gebruikt).

Let op: ten tijde van het testen bevindt Project G-Assist zich nog in een pre-release staat (versie 0.1.9), dus sommige functies zijn mogelijk niet voltooid. Resultaten die zijn gegenereerd uit tests die hieronder worden uitgevoerd, zijn alleen van toepassing op deze versie, aangezien de resultaten zullen variëren naarmate de AI-modellen en functionaliteit in de loop van de tijd worden bijgewerkt.

Eerste indruk

Dit is wat je als eerste ziet nadat je de functie hebt ingeschakeld via de Alt+G-toets, en het zal permanent ergens op het scherm blijven staan totdat je het volledig uitschakelt (wat kan worden gedaan via Quick Settings met de Alt+R-toets). Net als bij AI-taalmodellen is een disclaimer van toepassing - hallucinaties kunnen voorkomen (taalmodellen kunnen onjuiste resultaten produceren die vaak onwetende gebruikers overtuigen), dus controleer fouten waar mogelijk.

De disclaimer verschijnt ook bij het invoeren van je eerste bericht/opdracht, waarin nogmaals wordt verklaard dat AI-gegenereerde resultaten niet volledig kunnen worden gegarandeerd. Nadat je dit bericht hebt gezien, is de chatbot klaar om opdrachten te beantwoorden via natuurlijke taal - dat wil zeggen, er is nog steeds slechts een beperkte set opdrachten (natuurlijk of anderszins) beschikbaar in deze versie, waar je naar kunt verwijzen op de website.

Systeeminformatie en monitoring

Beginnend met een eenvoudige vraag, zoals de aard van het systeem, reageert G-Assist adequaat met alle belangrijke hardware-informatie die in het antwoord wordt vermeld. Het leek echter moeite te hebben met het ophalen van de effectieve resolutie van onze BenQ 4K-monitor (d.w.z. 4K 60 Hz), maar verder slaagde het voor onze eerste snuffeltest.

Vervolgens is een ander (vermoedelijk) veelvoorkomend gebruiksscenario het bewaken van het stroomverbruik van de GPU. We hebben meer traditionele telemetriegegevens in de rechterbovenhoek, maar tenzij je een tool van derden zoals HWiNFO64 hebt, biedt het geen volledige grafiek; dus in dit geval kan een casual gebruiker de chatbot vragen om de informatie die hij nodig heeft.

We hebben de Project G-Assist chatbot drie verschillende vragen gesteld, waarbij de eerste twee zonder problemen werden beantwoord; dat wil zeggen, de derde vraag leek zijn mogelijkheden te overstijgen, omdat we oorspronkelijk hoopten dat het realtime monitoring zou bieden wanneer beschikbaar. In plaats daarvan gaf het ons het huidige GPU-stroomverbruik.

Het is ook vermeldenswaard dat wanneer de GPU moeite heeft om een antwoord te genereren, het het grootste deel van zijn beschikbare vermogen gebruikt, in dit geval verbruikte onze RTX 5090 FE momenten van meer dan 350 W elke keer dat we de chatbot een prompt gaven. Op oudere of zwakkere hardware kan het langer duren om een antwoord te genereren (het slechtste geval is de RTX 3060 12 GB, aangezien dit het meest low-end model is met voldoende VRAM om toegang te krijgen tot deze functie), maar in dit geval zagen we ongeveer een halve seconde "nadenktijd" voordat een antwoord werd gegenereerd.

Gaming en prestaties

Laten we van onderwerp veranderen en naar gaming kijken. Als je een te grote gamebibliotheek in Steam hebt om door te spitten, kun je games rechtstreeks vanuit de chatbot starten - ervan uitgaande dat je op de een of andere manier geen game-snelkoppelingen op je bureaublad of in het startmenu hebt geplaatst (in welk geval we niet eens de volledige naam van Forza Horizon 5 hoefden te spellen om het te laten uitzoeken welke game te starten, hoewel het de enige Forza-game in ons systeem is).

Toevallig had een driverupdate mogelijk de instellingen in de game verknoeid, waardoor FH5 vastzat op een slechte 15 FPS. Een verontruste casual gamer zou onmiddellijk op de Alt+G-hotkey kunnen drukken en G-Assist beginnen te vragen "wat er aan de hand is", maar dit is waar de beperkingen van G-Assist binnenkomen: het mist het vermogen om game-instellingen te lezen en biedt in plaats daarvan een algemeen antwoord dat gebruikers een basisrichting geeft voor het diagnosticeren van problemen.

Via handmatige diagnose ontdekten we dat de game op de een of andere manier zijn interne framerate-limiet had overgeschakeld naar slechts 15 FPS, wat G-Assist helemaal niet detecteerde. Zijn antwoord gaf aan "framerate-limiter is uitgeschakeld", wat waarschijnlijk verwijst naar NVIDIA’s driver-level instelling in de NVIDIA App, maar een casual gebruiker zou dit waarschijnlijk niet zelf kunnen oplossen en zou uiteindelijk kunnen worden misleid door dit minder dan ideale antwoord.

Vervolgens brachten we het naar Counter-Strike 2 om te zien of NVIDIA manieren kon vinden om de latentie op de pc te verbeteren - een statistiek waar competitieve gamers op letten, maar niet iedereen gemakkelijk kan begrijpen. Het was gemakkelijk genoeg om G-Assist om een gemiddeld latentierapport te vragen, maar het slaagde er niet in om enig specifiek advies te geven over verdere verbetering van deze statistiek (en het gaf ons hetzelfde antwoord dat we zojuist in Forza Horizon 5 zagen).

Dit is nog steeds goed, omdat we aannemen dat NVIDIA zijn functie zo goed heeft gepromoot dat NVIDIA Reflex een functie is die FPS-gamers hoogstwaarschijnlijk kennen. Dus wat gebeurt er als ze de locatie van die optie niet kunnen vinden in de redelijk ingewikkelde in-game instellingen van CS2 en ervoor kiezen om de chatbot te vragen? Helaas was het zich er totaal niet van bewust dat Reflex daadwerkelijk was ingeschakeld en vertelde het ons in plaats daarvan dat het was uitgeschakeld. Ik denk dat dat de reden is waarom we eraan worden herinnerd om het te controleren op fouten.

Andere scenario’s

In het volgende scenario onderzoeken we de chatbot om te zien of het een manier kan vinden om RTX Video Super Resolution (RTX VSR) in te schakelen, een video-upscalingstechnologie die is ontworpen om de effectieve resolutie te verbeteren en compressieartefacten in online video’s (zoals YouTube en Twitch) te verminderen. Als je League of Legends kent, weet je dat soms een teamgevecht het scherm extreem rommelig kan maken en alle visuele artefacten in de vorm van blokkerige pixels kan veroorzaken; of in andere gevallen wil je dat een 1080p-stream wordt opgeschaald naar je 4K-monitor.

Eerlijk gezegd, Project G-Assist slaagde erin om de functie te vinden waarnaar we op zoek waren, ook al hebben we de naam van de functie niet expliciet genoemd; het miste echter het vermogen om te detecteren of de functie was ingeschakeld. (Het zou toch niet erg moeilijk moeten zijn voor G-Assist om de instellingen van de NVIDIA App te controleren?)

Nou, zo zij het - misschien vragen we de chatbot gewoon om ons rechtstreeks naar de instellingenpagina te leiden om de functie in te schakelen, gewoon om het de best mogelijke kans te geven. Dit werkte ook niet, waarbij de chatbot geen verdere suggesties gaf en elke casual gebruiker naar Google stuurde (wat, gezien de huidige staat van zaken, waarschijnlijk een ander AI-gegenereerd resultaat zou opleveren).

Diepgaande analyse van Project G-Assist: Kan NVIDIA’s AI-assistent zijn doel bereiken?

NVIDIA’s Project G-Assist belooft AI te gebruiken om pc-beheer te vereenvoudigen en gaming-ervaringen te verbeteren. Aangedreven door Meta’s Llama-3.1-8B SLM, die lokaal draait, is het doel om systeeminstellingen te optimaliseren, prestaties te bewaken en randapparatuur te bedienen via spraak- of tekstopdrachten. Hoewel het idee veelbelovend is, zijn de daadwerkelijke prestaties verre van perfect.

Installatieproblemen: Hardware- en softwarebarrières

Het installeren van Project G-Assist brengt verschillende obstakels met zich mee. Ten eerste beperkt de vereiste van een RTX 30-serie of nieuwere GPU, met minimaal 12 GB VRAM, de potentiële gebruikersgroep aanzienlijk. Deze beperking sluit een aanzienlijk aantal gamers uit die GPU’s met lagere specificaties bezitten, waaronder veel RTX xx60-serie eigenaren. Bovendien voegt de afhankelijkheid van specifieke besturingssysteemversies en drivers complexiteit toe.

De ondersteunde randapparatuur is ook beperkt tot MSI-moederborden en apparaten van Logitech G, Corsair en Nanoleaf, waardoor de bruikbaarheid verder wordt beperkt voor degenen die geen hardware van deze specifieke merken hebben.

Prestaties in de praktijk: Gemengde resultaten

In praktijktests vertoonde Project G-Assist inconsistente prestaties bij verschillende taken. Hoewel het in staat was om nauwkeurig systeeminformatie op te halen en het GPU-stroomverbruik te bewaken, had het moeite met het verwerken van complexere vragen. Het slaagde er bijvoorbeeld niet in om de juiste resolutie voor een BenQ 4K-monitor te identificeren en had moeite om specifieke begeleiding te bieden bij het optimaliseren van game-instellingen.

Op het gebied van gaming was Project G-Assist in staat om games in Steam te starten, maar de bruikbaarheid ervan bij het oplossen van prestatieproblemen was beperkt. Toen Forza Horizon 5 een probleem had met de framerate, was G-Assist niet in staat om de oorzaak te achterhalen en bood in plaats daarvan een algemeen antwoord dat niet erg nuttig was voor de gebruiker. Evenzo slaagde het er in Counter-Strike 2 niet in om specifiek advies te geven over het verminderen van de latentie en rapporteerde het zelfs onjuist de status van NVIDIA Reflex.

Ontbrekende functies en beperkingen

De beperkingen van Project G-Assist gaan verder dan alleen de inconsistente prestaties. Het mist ook essentiële functies, zoals de mogelijkheid om game-instellingen te lezen en de status van RTX Video Super Resolution (RTX VSR) te detecteren. Deze weglatingen beperken de bruikbaarheid ervan als een uitgebreide pc-assistent aanzienlijk.

Bovendien is G-Assist afhankelijk van een lokaal draaiend taalmodel, wat betekent dat het aanzienlijke computerbronnen vereist. Tijdens het testen verbruikte de RTX 5090 FE tot 350 watt vermogen telkens wanneer de chatbot een antwoord genereerde. Dit kan leiden tot prestatieproblemen voor gebruikers met oudere hardware of hardware met lagere specificaties.

Betere communicatie en verwachtingen management

Gezien de huidige staat zou NVIDIA beter communiceren dat Project G-Assist zich nog in een testfase bevindt. De beperkte functies en inconsistente prestaties kunnen leiden tot frustratie bij gebruikers die een meer gepolijste ervaring verwachten. Door transparant te zijn over de huidige mogelijkheden van G-Assist, kan NVIDIA redelijke verwachtingen scheppen en onnodige negatieve feedback vermijden.

Toekomstpotentieel: Afwachten

Ondanks de beperkingen heeft Project G-Assist nog steeds toekomstpotentieel. Naarmate AI-technologieën zich blijven ontwikkelen, kan NVIDIA het taalmodel verbeteren, de functies uitbreiden en de prestaties optimaliseren. Door de huidige beperkingen aan te pakken en nieuwe functies toe te voegen, heeft Project G-Assist het potentieel om een waardevol hulpmiddel te worden voor casual gebruikers. Het heeft echter nog een lange weg te gaan voordat het dit potentieel bereikt.

Voorlopig voelt Project G-Assist meer aan als een meer fancy, natuurlijke taalversie van de opdrachtregel dan een uitgebreide pc-assistent. Hoewel het in staat is om een aantal basistaken uit te voeren, is het nog niet gepolijst genoeg om betrouwbaar geavanceerde problemen op te lossen of gepersonaliseerde begeleiding te bieden. Alleen door voortdurende ontwikkeling en verbetering kan Project G-Assist zijn belofte van het vereenvoudigen van pc-beheer en het verbeteren van gaming-ervaringen echt waarmaken.

Een ander belangrijk probleem dat moet worden aangepakt, zijn de systeemvereisten. Tenzij je een redelijk high-end GPU hebt met 12 GB of meer VRAM, kun je deze functie gewoon niet gebruiken - waardoor bijna alle RTX xx60-serie eigenaren worden uitgesloten (tenzij je een RTX 3060 12 GB, RTX 4060 Ti 16 GB of RTX 5060 Ti 16 GB hebt), die een groot deel uitmaken van de NVIDIA-aangedreven pc’s in veel van de Steam-hardwareonderzoeken die we de afgelopen jaren hebben gezien. Ik zou echt willen dat het taalmodel kan worden verkleind om te passen in 8 GB of zelfs 6 GB VRAM, anders zal het niet op grote schaal worden gebruikt, tenzij NVIDIA vanaf nu meer VRAM in zijn GPU’s gaat stoppen.