Ryzen AI MAX+ 395: AI-top in laptops

Herdefiniëren van prestaties in dunne en lichte laptops

De Ryzen AI MAX+ 395 is gebouwd op een fundament van geavanceerde technologie. De kern wordt gevormd door AMD’s ‘Zen 5’ CPU-cores, die een robuuste en efficiënte verwerkingsbasis bieden. De echte innovatie ligt echter in de integratie van een XDNA 2 Neural Processing Unit (NPU), met meer dan 50 piek AI TOPS (Trillions of Operations Per Second). Deze speciale AI-engine, gecombineerd met een geïntegreerde GPU gebaseerd op AMD’s RDNA 3.5-architectuur (met 40 Compute Units), transformeert het potentieel van premium dunne en lichte laptops.

Deze krachtige combinatie maakt ongekende geheugenconfiguraties mogelijk, variërend van 32 GB tot een verbazingwekkende 128 GB unified memory. Een belangrijk kenmerk, AMD Variable Graphics Memory (VGM), maakt het mogelijk om tot 96 GB van dit unified memory dynamisch toe te wijzen als VRAM. Deze flexibiliteit is cruciaal voor het verwerken van veeleisende AI-workloads, die vaak aanzienlijke geheugenbronnen vereisen.

AI naar de consument brengen: De kracht van lokale LLM’s

AMD’s focus reikt verder dan ruwe verwerkingskracht; het gaat erom gebruikers in staat te stellen het potentieel van AI te benutten in praktische, alledaagse toepassingen. Een goed voorbeeld is de ondersteuning voor op llama.cpp gebaseerde applicaties zoals LM Studio. Deze software fungeert als een gateway, waardoor gebruikers grote taalmodellen (LLM’s) rechtstreeks op hun laptops kunnen uitvoeren zonder dat ze gespecialiseerde technische expertise nodig hebben. Deze democratisering van AI-technologie opent mogelijkheden voor gebruikers om te experimenteren met en nieuwe AI-tekst- en -visiemodellen met gemak te implementeren.

Benchmarking dominantie: Real-World prestatiewinst

AMD’s interne benchmarks schetsen een overtuigend beeld van de capaciteiten van de Ryzen AI MAX+ 395. De tests werden uitgevoerd met een ASUS ROG Flow Z13-laptop uitgerust met 64 GB unified memory en een geïntegreerde Radeon 8060S GPU. De resultaten toonden een aanzienlijk prestatievoordeel ten opzichte van laptops met Intel Arc 140V grafische kaarten.

In termen van token throughput – een maatstaf voor hoe snel een LLM tekst kan genereren – liet de Ryzen AI MAX+ 395 een verbetering zien tot 2,2 keer. Deze tests waren zorgvuldig ontworpen om compatibiliteit met concurrerende laptops te garanderen, met de focus op LLM’s die konden werken binnen een geheugenvoetafdruk van 16 GB (gebruikelijk voor laptops met 32 GB on-package memory).

Dit prestatievoordeel was niet beperkt tot specifieke modeltypen. Het bleef consistent over een reeks LLM’s, waaronder:

• Chain-of-thought modellen: zoals DeepSeek R1 Distills.
• Standaard modellen: zoals Microsoft Phi 4.
• Verschillende parametergroottes: wat de veelzijdigheid aantoont over verschillende modelcomplexiteiten.

Responsiviteit opnieuw gedefinieerd: Time to First Token

Naast ruwe throughput is de responsiviteit van een AI-model cruciaal voor een soepele en interactieve gebruikerservaring. Dit is waar de “time to first token” metriek om de hoek komt kijken, die aangeeft hoe snel het model begint met het genereren van output na ontvangst van input.

De Ryzen AI MAX+ 395 liet nog dramatischere winsten zien op dit gebied:

• Kleinere modellen (bijv. Llama 3.2 3b Instruct): Tot vier keer sneller dan de concurrentie.
• Grotere 7 miljard en 8 miljard parameter modellen (bijv. DeepSeek R1 Distill Qwen 7b, DeepSeek R1 Distill Llama 8b): Snelheidsverhogingen tot wel 9,1 keer.
• 14 miljard parameter modellen: De ASUS ROG Flow Z13, aangedreven door de Ryzen AI MAX+ 395, was naar verluidt tot een verbazingwekkende 12,2 keer sneller dan een laptop met een Intel Core Ultra 258V processor.

Deze cijfers benadrukken een aanzienlijke sprong in de interactieve mogelijkheden van AI-modellen op laptops, waardoor bijna onmiddellijke reacties en een vloeiendere gebruikerservaring mogelijk worden.

Verder dan tekst: De kracht van Multi-Modal AI ontketenen

De mogelijkheden van de Ryzen AI MAX+ 395 reiken verder dan op tekst gebaseerde LLM’s. Het blinkt ook uit in het verwerken van multi-modale modellen, die visiemogelijkheden combineren met tekstverwerking. Deze modellen kunnen afbeeldingen analyseren en reacties geven op basis van hun visuele inhoud, waardoor een nieuw scala aan toepassingen wordt geopend.

AMD presenteerde gegevens die de prestaties van de processor lieten zien met modellen zoals:

• IBM Granite Vision: Tot zeven keer sneller in IBM Granite Vision 3.2 3b.
• Google Gemma 3: Tot 4,6 keer sneller in Google Gemma 3 4b en tot zes keer sneller in Google Gemma 3 12b.

Opmerkelijk was dat de ASUS ROG Flow Z13 met 64 GB geheugen zelfs in staat was om het grotere Google Gemma 3 27B Vision-model uit te voeren, wat het vermogen van het platform aantoont om zelfs de meest veeleisende multi-modale workloads aan te kunnen.

Real-World toepassingen: Van medische diagnose tot codegeneratie

De praktische implicaties van deze ontwikkelingen zijn verreikend. Een demonstratie toonde het potentieel van visiemodellen in medische diagnose, waarbij een model een standaard CT-scanbeeld analyseerde, organen identificeerde en een diagnose stelde. Dit benadrukt het potentieel van AI om zorgprofessionals te helpen bij het maken van snellere, nauwkeurigere beoordelingen.

Een andere overtuigende toepassing ligt in codegeneratie. AMD demonstreerde de mogelijkheid om grote taalmodellen zoals DeepSeek R1 Distill Qwen 32b (in 6-bit precisie) uit te voeren om een eenvoudig spel zoals Pong in een opmerkelijk kort tijdsbestek te coderen. Dit toont het potentieel van AI om softwareontwikkeling te versnellen en ontwikkelaars te voorzien van krachtige hulpmiddelen voor code-assistentie.

Prestaties optimaliseren: Het volledige potentieel ontketenen

Om optimale prestaties te bereiken met LLM-workloads op laptops uitgerust met Ryzen AI 300-serie processors, geeft AMD specifieke aanbevelingen:

1. Driver Update: Zorg ervoor dat u de nieuwste AMD Software: Adrenalin Edition-driver hebt geïnstalleerd. Deze driver is cruciaal voor het inschakelen van de nieuwste functies en optimalisaties.
2. Variable Graphics Memory (VGM): Schakel VGM in en stel het in op ‘High’. Hierdoor kan het systeem dynamisch geheugen toewijzen aan de geïntegreerde grafische kaart, waardoor de token throughput wordt verhoogd en het gebruik van grotere AI-modellen mogelijk wordt.
3. LM Studio-instellingen: Selecteer in LM Studio handmatig parameters en stel ‘GPU Offload’ in op ‘MAX’. Dit zorgt ervoor dat de GPU volledig wordt gebruikt voor AI-verwerking.
4. Kwantisatie:
   • Voor algemeen gebruik raadt AMD Q4 K M-kwantisatie aan.
   • Voor coderingstaken wordt Q6- of Q8-kwantisatie aanbevolen.

Door deze aanbevelingen te volgen, kunnen gebruikers het volledige potentieel van hun Ryzen AI-aangedreven laptops ontsluiten en de transformerende kracht van geavanceerde AI-modellen ervaren.

Een platform voor de toekomst van AI

In wezen vertegenwoordigt de AMD Ryzen AI MAX+ 395-processor meer dan alleen een prestatie-upgrade. Het is een platform dat gebruikers in staat stelt om de cutting-edge van AI-technologie te ervaren in een draagbare en toegankelijke vormfactor. Of het nu gaat om gaming, productiviteit of het verkennen van de snel evoluerende wereld van AI, deze processor is erop gericht om opnieuw te definiëren wat mogelijk is op dunne en lichte laptops. Het opent deuren naar nieuwe mogelijkheden, waardoor gebruikers kunnen interageren met AI-modellen op manieren die voorheen ondenkbaar waren op dergelijke draagbare apparaten. De focus op gebruiksvriendelijkheid, gecombineerd met ruwe verwerkingskracht, positioneert de Ryzen AI MAX+ 395 als een belangrijke stap in de richting van een toekomst waarin AI naadloos is geïntegreerd in ons dagelijks leven.