Open Source Zege: RISC-V en AI

De Opkomst van RISC-V als een AI-Native Computerarchitectuur

De recente explosieve populariteit van DeepSeek heeft schokgolven door de AI-industrie gestuurd, en de impact ervan reikt verder dan alleen het domein van kunstmatige intelligentie. Met name de halfgeleiderindustrie heeft dit opgemerkt. Tijdens het Chinese Nieuwjaar kondigde Alibaba’s DAMO Academy Xuantie de aanpassing aan van het DeepSeek-R1 serie distillatiemodel, waarmee het sterke momentum van de opkomende open-source instructiesetarchitectuur, RISC-V, in het AI-domein werd getoond.

Op de recente Xuantie RISC-V Ecosystem Conference kwam opwindend nieuws naar voren: RISC-V heeft doorbraken bereikt in zowel high-performance computing als AI. De Xuantie C930, de eerste CPU van serverkwaliteit van DAMO Academy, zal volgende maand in productie gaan. De aanzienlijk verbeterde AI-rekenkracht versnelt de implementatie van een uitgebreid ‘high-performance + AI’ RISC-V-ecosysteem.

Zou de open-source computerarchitectuur RISC-V de ideale partner kunnen zijn voor open-source AI?

Transformatie van AI-modellen Stimuleert Innovatie in Computerarchitectuur

Een doorgewinterde expert in de chipindustrie legde uit dat de impact van DeepSeek niet alleen in AI-kringen wordt gevoeld, maar ook diep in de chipindustrie. DeepSeek heeft, door zijn sterk geoptimaliseerde ontwerp, de trainings- en inferentiekosten van grote taalmodellen drastisch verlaagd. Deze verschuiving heeft de bestaande balans van rekenkracht, geheugen en interconnectie drastisch veranderd, waardoor aanzienlijke kansen zijn ontstaan voor doorbraken in computerarchitectuur.

Traditioneel waren grote AI-modellen, vanwege hun intensieve reken- en geheugenvereisten, beter geschikt voor implementatie in de cloud dan op edge-apparaten. De komst van DeepSeek heeft deze afhankelijkheid van hoge rekenkracht echter uitgedaagd. Door zowel de trainings- als de inferentiekosten te verlagen, wordt de weg vrijgemaakt voor grote modellen om over te stappen van de cloud naar de edge.

Specifiek maken de verminderde rekenvereisten van DeepSeek implementatie op één machine haalbaar, waardoor de compatibiliteit met edge- en eindapparaten wordt verbeterd. Naarmate AI probeert door te dringen in diverse industrieën en scenario’s, wordt de noodzaak om van de cloud naar de edge te gaan steeds belangrijker. Deze verschuiving is nodig om te voldoen aan diverse behoeften, zoals gegevensbeveiliging, gepersonaliseerde aanpassing en private implementatie.

Het is te voorzien dat, met de wijdverbreide adoptie van DeepSeek-technologie, het landschap van AI-chips een transformatie zal ondergaan. Van grootschalige parallelle computing die afhankelijk is van cloudinfrastructuur, evolueren AI-chips naar gediversifieerde, efficiënte en energiezuinige ontwerpen die in staat zijn tot onafhankelijke werking op edge-apparaten.

Dit heeft velen in de industrie doen nadenken: welke computerarchitectuur is het meest geschikt voor AI?

GPU’s, met hun parallelle verwerkingsmogelijkheden, zijn mogelijk niet de enige oplossing. Seriële computing (general-purpose computing) komt ook naar voren als een haalbare basis voor AI-berekeningen. Ervaring uit de industrie toont aan dat DeepSeek een goede compatibiliteit vertoont met verschillende computersystemen. De mogelijkheid om snel te worden geïmplementeerd en effectieve inferentie uit te voeren op CPU’s heeft CPU’s weer in de schijnwerpers gezet. Vergeleken met gespecialiseerde GPU’s bieden CPU’s het voordeel van veelzijdigheid, vereenvoudigde planning, aanzienlijke vermindering van de vereisten voor rekenkracht en de voordelen van homogene computing.

Onder de CPU’s trekt de rijzende ster, RISC-V, veel aandacht.

Tijdens het Chinese Nieuwjaar heeft DAMO Academy het DeepSeek-R1 serie distillatiemodel aangepast op een chip aangedreven door de RISC-V processor Xuantie C920. Het hele proces duurde slechts één uur, wat een snelle en naadloze ervaring demonstreerde. Dit betekent dat de modellen uit de DeepSeek-serie soepel kunnen worden geïmplementeerd en uitgevoerd op het volledige assortiment Xuantie CPU-platforms en andere AI-eindapparaten die zijn uitgerust met chips met RISC-V-architectuur.

De prominentie van RISC-V komt voort uit verschillende factoren. Ten eerste onderscheidt het zich, als een opkomende instructiesetarchitectuur, van de gesloten of betaalde licentiemodellen van x86 en ARM door een open-source benadering te omarmen. Deze open-source geest sluit van nature aan bij AI. De open aard ervan heeft de deelname van meer dan 1.000 bedrijven wereldwijd aangetrokken, waardoor een snelle groei van het ecosysteem wordt bevorderd, van hardwareontwerp tot softwaretoolchains. Volgens de RISC-V International Foundation zijn er al meer dan 80 verschillende RISC-V-chipproducten op de markt.

Ten tweede biedt RISC-V opmerkelijke flexibiliteit en schaalbaarheid. Het stelt ontwikkelaars in staat om de instructieset aan te passen aan specifieke behoeften. De modulaire aard van de instructieset maakt aanpassing voor verschillende toepassingsscenario’s mogelijk, een niveau van flexibiliteit dat ongeëvenaard is door traditionele architecturen.

Technisch gezien is RISC-V ook zeer geschikt voor nieuwe typen AI-computing. De vectoruitbreiding (V-extension) kan effectief grootschalige parallelle bewerkingen aan, en voldoet aan de efficiëntie-eisen van AI-berekeningen. De open architectuur van RISC-V kan in synergie werken met hardwareversnellingsmodules om de uitvoeringsefficiëntie van AI-taken te verbeteren. Door diepe integratie met AI-algoritmen kan de RISC-V-architectuur worden gebruikt om speciale hardwareversnellingseenheden te ontwerpen, waardoor de prestaties voor specifieke AI-modellen worden geoptimaliseerd.

Daarom verwachten veel doorgewinterde experts in de chipindustrie dat RISC-V de native computerarchitectuur van het AI-tijdperk zal worden.

Op de derde Xuantie RISC-V Ecosystem Conference, georganiseerd door Alibaba’s DAMO Academy, kwam deze verwachting eindelijk uit.

Xuantie’s Eerste CPU van Serverkwaliteit Klaar voor Levering: Een Fusie van Hoge Prestaties en AI

Op de conferentie verklaarde Ni Guangnan, een academicus van de Chinese Academy of Engineering: “Open-source RISC-V is niet alleen een technologische innovatie, maar ook een wereldwijde transformatie die de toekomst van computerarchitectuur zal beïnvloeden.” Als een chipinstructiesetarchitectuur die ‘open-source geboren’ is, heeft RISC-V opmerkelijke prestaties geleverd in deze cyclus van de halfgeleiderindustrie. Het heeft zijn vooruitgang versneld van embedded systemen naar complexe scenario’s zoals high-performance computing, en biedt een nieuwe optie voor AI-rekenkracht.

Van de 25 standaarden die in 2024 door de RISC-V International Foundation zijn goedgekeurd, hebben meer dan de helft betrekking op hoge prestaties of AI. Lu Dai, voorzitter van de raad van bestuur van de RISC-V International Foundation, verklaarde op de conferentie dat een van de meest opwindende ontwikkelingen in de RISC-V-instructieset de Matrix-extensie is, die RISC-V zal voortstuwen om een formidabele kracht te worden op het gebied van AI.

Er wordt voorspeld dat tegen 2030 het totale marktaandeel van RISC-V 20% zal bereiken, met een aandeel in AI-versnellers van mogelijk meer dan 50%.

Op de conferentie onthulde DAMO Academy zijn volgende generatie vlaggenschipprocessor, en de eerste processor van serverkwaliteit, de C930.

De C930 behaalt een benchmark voor algemene rekenkracht van 15/GHz in de SPECint2006 benchmarktest. Wat betekent dit? Academicus Ni Guangnan wees erop dat RISC-V, om echt de high-performance computing-markt te betreden, een high-performance score van meer dan 15 moet behalen in de SPECint 2006 softwaretest. Daarom vertegenwoordigt de C930 een mijlpaal voor RISC-V.

Bovendien is de C930 uitgerust met dubbele engines: 512-bit RVV1.0 en 8 TOPS Matrix. Dit integreert algemene high-performance rekenkracht met AI-rekenkracht op een native manier. Het biedt ook een open DSA-extensie-interface om meer functievereisten te ondersteunen.

Tegelijkertijd maakte DAMO Academy zijn ontwikkelingsplannen bekend voor nieuwe leden van de Xuantie-processorfamilie, waaronder de C908X, R908A en XL200, die zich blijven ontwikkelen in richtingen zoals AI-versnelling, automobieltoepassingen en high-speed interconnectie. Specifiek is de C908X gepositioneerd als Xuantie’s eerste speciale AI-processor, die een 4096-bit ultralange databitbreedte RVV1.0 vectoruitbreiding ondersteunt. De R908A is gericht op de hoge betrouwbaarheidsvereisten van chips van automobielkwaliteit. De XL200 zal grootschaligere, krachtigere multi-cluster coherente interconnectie bieden.

Om de mogelijkheden van Xuantie-processors aan te vullen, heeft DAMO Academy ook drie Xuantie SDK’s gelanceerd op basis van de drie reguliere besturingssystemen: Linux, Android en RTOS. Deze SDK’s integreren op uitgebreide wijze de verzamelde softwaremogelijkheden van Xuantie door de jaren heen, en bieden deze op een completere, handigere en stabielere manier aan de industrie. Onder hen biedt de Xuantie Linux SDK een rijke set subsystemen, waaronder Hypervisor-virtualisatie, CoVE-beveiligingsframework, Xuantie AI-framework en high-performance operatorbibliotheken, waardoor de ontwikkeling van RISC-V in high-performance en AI-scenario’s wordt vergemakkelijkt.

Terwijl Xuantie high-performance hardware- en softwaretechnologieën ontwikkelt, stimuleert het ook actief samenwerkingsinnovatie tussen upstream- en downstream-industriepartners, waardoor de implementatie van een uitgebreid RISC-V ‘high-performance + AI’-ecosysteem wordt versneld.

Alibaba’s Toewijding: RISC-V Xuantie Leidt de Internationale Open-Source Gemeenschap

Voor degenen die niet bekend zijn met Xuantie, volgt hier een korte introductie.

In 2018 richtte Alibaba het merk Xuantie op, met de focus op de RISC-V-richting. Een jaar later kwam de eerste processor, de C910, naar voren als de krachtigste RISC-V-processor van dat moment. Sindsdien is Xuantie een leider in het internationale RISC-V-ecosysteem en een van de grootste Chinese bijdragers aan de internationale open-source gemeenschap. Het bekleedt momenteel voorzitter- of vice-voorzitterposities in de technische commissie van de stichting en meer dan 10 technische subcommissies, en promoot actief de standaardisatie van AI-gerelateerde technologieën.

Sinds 2019 heeft Xuantie 13 RISC-V-processors gelanceerd, die verschillende scenario’s bestrijken, zoals hoge prestaties, hoge energie-efficiëntie en laag stroomverbruik. Deze omvatten:

• C-serie (Computing): Voornamelijk gericht op high-end servers, high-end edge computing en industriële/consumenten-IPC’s.
• E-serie (Embedded): Voornamelijk gebruikt in high-end MPU’s en verschillende MCU’s.
• R-serie (Reliability & Realtime): Gericht op high-end SSD’s, communicatie, high-end industriële besturing, automotive en andere scenario’s.
• XT-Link: Een CPU multi-cluster interconnect IP.

Tot op heden zijn er meer dan 4 miljard Xuantie-processors verzonden, waardoor het een van de meest invloedrijke en marktleidende processorseries in het binnenlandse RISC-V-veld is.

Gedurende zijn ontwikkeling heeft Xuantie consequent de prestatiegrenzen van RISC-V verlegd, strevend naar steeds hogere prestaties. Tegelijkertijd heeft het AI actief omarmd, met als doel RISC-V te vestigen als een native AI-computerarchitectuur.

Op het niveau van de instructiesetarchitectuurtechnologie heeft Xuantie, gebruikmakend van de superieure openheid en flexibiliteit van de RISC-V-architectuur, al lang aangepaste instructiesetuitbreidingen voor AI-toepassingen. De voorgestelde Matrix-extensie-instructieset en optimalisatie van de GEMM-kernoperator voor grote modellen kunnen AI-inferentie en -training versnellen, waardoor de energie-efficiëntie van AI op edge-apparaten wordt verbeterd.

In termen van processors was de Xuantie C907 de eerste die de Matrix-extensie implementeerde, met een 15x versnelling in vergelijking met traditionele oplossingen. De geüpgradede C920 ondersteunt Vector 1.0 en Vector Crypto-technologieën, waardoor de GEMM-prestaties met meer dan 7x en de Transformer-operatorprestaties met meer dan 17x worden verbeterd. De nieuwste vlaggenschipprocessor, de C930, beschikt over zowel vector- als matrix-dubbele engines, waardoor het een veelbelovende partner is voor grote AI-modellen op edge-apparaten.

Op het niveau van de softwarestack heeft Xuantie een end-to-end RISC-V AI full-stack software- en hardwareplatform gecreëerd. Dit platform biedt chipfabrikanten een algemene, efficiënte AI-computerinfrastructuur, vormt een pijplijnontwerp gericht op zakelijke behoeften, en maakt echt handige en diepe optimalisatie mogelijk van onderliggend hardwareontwerp tot softwaretoolchains op de bovenste laag. Dit platform is toegepast op terminalproducten zoals cloudvideotranscoderingskaarten, AI edge computing-boxen en RISC-V-laptops.

Naast zijn eigen technologie heeft het DAMO Academy RISC-V-team consequent upstream- en downstream-industriepartners betrokken om het ‘high-performance + AI’-ecosysteem van RISC-V te verbeteren.

Op de conferentie van vorig jaar maakte de RISC-V open-source laptop ‘Ruyi BOOK Jia Chen Edition’ een verrassende verschijning, met een stabiele en soepele werking van grote commerciële software. Dit jaar introduceerde het Institute of Software, Chinese Academy of Sciences, verder de ‘Ruyi BOOK Yi Si Edition’, intelligente robots, AI-pc’s en andere RISC-V high-performance applicaties.

Onder hen heeft het AI-pc-prototype op basis van de C920 met succes open-source modellen zoals Llama, Qwen en DeepSeek uitgevoerd, ter ondersteuning van AI-toepassingen zoals AI-persoonlijke assistenten, AI-programmering en visuele herkenning. Dit demonstreert een complete ‘open-source AI full chain’ van open-source hardware-architectuur tot open-source besturingssystemen en open-source AI-modellen, terwijl het energieverbruik per rekeneenheid met 30% wordt verminderd.

Bovendien heeft Xuantie samengewerkt met partners om praktische oplossingen te bouwen, zoals RISC-V-videocodec-oplossingen en cloud-desktopoplossingen. Om toepassingen in meer industrieën te ondersteunen, heeft Xuantie ook RISC-V-rekenkracht ingezet in all-in-one pc’s, industriële besturing AI, robots en andere gebieden.

Academicus Ni Guangnan verklaarde dat Xuantie’s pragmatische investeringen en innovatie cruciale drijvende krachten zijn voor de gezonde ontwikkeling van het RISC-V-ecosysteem.

De Toekomst van Open Source

Het succes van DeepSeek is een bewijs van de kracht van open source. De open-source instructiesetarchitectuur RISC-V heeft, sinds de oprichting meer dan tien jaar geleden, een ander ontwikkelingspad uitgestippeld dan de gesloten x86 en de gelicentieerde ARM-modellen. Het heeft de industrie de kans geboden om architecturen op een meer beknopte en open manier te innoveren, en krijgt steeds meer erkenning.

Het komt naar voren als de beste kandidaat voor de native architectuur van het AI-tijdperk. Aan de ene kant kan RISC-V, met zijn toewijding aan openheid en continue evolutie, gelijke tred houden met de snelle veranderingen in AI. Aan de andere kant stelt de sterke uitbreidbaarheid van RISC-V het in staat om compatibel te zijn met bestaande architecturale ecosystemen door middel van porting en aanpassing, terwijl het ook dient als een native architectuur om opkomende scenario’s te ondersteunen.

Zoals Guo Songliu, hoofd van RISC-V bij het Institute of Software, Chinese Academy of Sciences, zei: “De AI-softwarestack evolueert nog steeds snel. Als de meest flexibele en open van de drie reguliere instructiesetarchitecturen, is RISC-V ongetwijfeld het meest geschikt voor het tempo van technologische innovatie in het AI-tijdperk.”