AI-doorbraak daagt DeepSeek 2.0 uit?

Een opmerkelijke bewering komt vanuit een kwantitatief handelsfonds in Shanghai, dat de AI-gemeenschap in beroering brengt met een potentieel baanbrekende trainingstechniek. Deze innovatieve methode, beschreven in een onderzoeksartikel dat is ingediend bij de prestigieuze Conference on Neural Information Processing Systems (NeurIPS), zou de effectiviteit van gevestigde AI-trainingsmethoden die worden gebruikt door prominente onderzoeksorganisaties zoals DeepSeek en OpenAI, kunnen evenaren of zelfs overtreffen. Deze zet weerspiegelt de eigen ontwikkeling van DeepSeek, dat aanzienlijke aandacht kreeg voor zijn vorderingen in AI-algoritmen.

Goku’s SASR Trainingskader Ontcijferd

Shanghai Goku Technologies, opgericht in 2015, heeft een nieuw AI-trainingskader geïntroduceerd, genaamd SASR, of stapsgewijze adaptieve hybride training (step-wise adaptive hybrid training). Deze benadering is bedoeld om de vermeende beperkingen van gangbare methoden zoals supervised fine-tuning (SFT) en reinforcement learning (RL) aan te pakken. Goku stelt dat SASR, geïnspireerd door de manier waarop mensen redeneervaardigheden ontwikkelen, een meer adaptief en efficiënt pad biedt om geavanceerde AI-modellen te bouwen.

SFT en RL worden beschouwd als hoekstenen in het AI-trainingsproces en worden gebruikt door industrieleiders zoals OpenAI en DeepSeek. DeepSeek heeft expliciet de cruciale rol van deze technieken benadrukt bij het optimaliseren van de prestaties van hun V3-model, dat in december werd uitgebracht en aanzienlijke belangstelling wekte binnen de technologiesector.

Volgens het onderzoeksartikel van Goku, mede-auteur van onderzoekers van de Shanghai Jiao Tong University en haar nieuw gevormde AI-dochteronderneming, Shanghai AllMind Artificial Intelligence Technology, demonstreert SASR superieure prestaties in vergelijking met SFT, RL en statische hybride trainingsmethodologieën. "Experimentele resultaten tonen aan dat SASR beter presteert dan SFT, RL en statische hybride trainingsmethoden," aldus het Goku-team in hun onderzoeksartikel.

De Implicaties van Goku’s Vooruitgang

Goku’s AI-trainingsdoorbraak onderstreept naar verluid China’s voortdurende vooruitgang op het gebied van AI. Het benadrukt mogelijk de beperkingen van het huidige beleid dat door de Amerikaanse overheid wordt geïmplementeerd, dat tot doel heeft de AI-vooruitgang van China te belemmeren door middel van hardwarebeperkingen. Jensen Huang, CEO van Nvidia, heeft onlangs commentaar gegeven op de vermeende ineffectiviteit van deze beperkingen en verklaarde dat "China 50 procent van ‘s werelds AI-ontwikkelaars heeft."

DeepSeek, een Chinese AI-startup die is voortgekomen uit het High-Flyer hedge fund, heeft brede erkenning gekregen voor het demonstreren van China’s potentieel voor AI-leiderschap door middel van geavanceerde algoritmen en integratie van hardware en software.

De Rol van AllMind in Goku’s AI-Strategie

De oprichting van AllMind, samenvallend met de publicatie van Goku’s onderzoek, duidt op een strategische zet om middelen te wijden aan AI-onderzoek en -ontwikkeling. Chinese bedrijfsregisterrecords geven aan dat AllMind officieel is geregistreerd op dezelfde dag dat Goku zijn onderzoek publiceerde.

Wang Xiao, de oprichter van Goku en de juridische vertegenwoordiger van AllMind, heeft verklaard dat de nieuwe entiteit is opgericht om nieuwe AI-grenzen te verkennen. Dit weerspiegelt de aanpak die High-Flyer heeft gevolgd, die DeepSeek in 2023 als een afzonderlijke entiteit heeft opgericht.

Aan het einde van vorig jaar beheerde Goku meer dan 15 miljard yuan (ongeveer US $ 2,1 miljard) in zowel binnenlandse als internationale activa, met behulp van AI-gedreven strategieën, volgens informatie die beschikbaar is op zijn officiële website.

Dieper Inzicht in SASR: Een Stapsgewijs Adaptief Hybride Trainingskader

Goku’s SASR-kader presenteert een interessant alternatief in het landschap van AI-modeltraining. Om het potentiële effect echt te waarderen, is een gedetailleerder begrip van de componenten en werking ervan essentieel.

Het “stapsgewijze” aspect van SASR impliceert een meertraps trainingsproces waarbij het AI-model iteratieve verfijning ondergaat. Elke stap omvat waarschijnlijk specifieke doelstellingen en maakt gebruik van afzonderlijke trainingsgegevens om bepaalde mogelijkheden binnen het model te bevorderen. Deze gefaseerde aanpak kan voordelen bieden, zoals het verminderen van de uitdagingen van het trainen van complexe modellen vanaf nul en het mogelijk maken van maatwerkoptimalisatie in elke fase.

Het “adaptieve” element suggereert dat het trainingsproces niet statisch is, maar dynamisch reageert op de prestaties en kenmerken van het model. Deze aanpasbaarheid kan het aanpassen van hyperparameters, het wijzigen van de training datadistributie of het dynamisch wegen van de bijdrage van verschillende trainingsdoelstellingen omvatten. Een adaptief proces stelt de AI in staat om effectiever te leren en te verbeteren.

De “hybride” aard van SASR onthult dat het elementen van verschillende trainingsmethodologieën combineert. Dit is een essentieel aspect omdat er sterke en zwakke punten zijn in SFT en RL. Een mix van methoden stelt het model in staat om de voordelen van elke benadering te benutten en tegelijkertijd de beperkingen ervan aan te pakken. Door deze drie kenmerken te integreren, is SARS in theorie beter afgestemd op het ontwikkelen van logica en redeneren.

SASR Vergelijken met Traditionele Methoden

Supervised fine-tuning (SFT) vertrouwt traditioneel op een grote, gelabelde dataset waar het AI-model leert inputs te mappen naar de gewenste outputs. Reinforcement learning (RL) omvat het trainen van het model door middel van vallen en opstaan, het belonen of bestraffen van acties om een specifiek doel te maximaliseren.

SASR probeert de twee te integreren en tegelijkertijd de beperkingen van elke methode te overwinnen. SFT kan bijvoorbeeld sterk afhankelijk zijn van de kwaliteit en volledigheid van de gelabelde gegevens. In veel scenario’s in de echte wereld kan het verkrijgen van voldoende, nauwkeurige gegevens zowel tijdrovend als duur zijn. RL, hoewel het geen gelabelde gegevens vereist, kan onstabiel zijn en vatbaar voor reward hacking. Reward hacking treedt op wanneer het AI-model onbedoelde manieren ontdekt om zijn beloning te maximaliseren, wat mogelijk leidt tot ongewenst gedrag.

Goku’s kader heeft de mogelijkheid om een verbetering te zijn ten opzichte van de beperkingen van SFT en RL. Verder en voortgezet testen zijn echter vereist om de initiële resultaten die in het paper van het bedrijf zijn gedocumenteerd, te verifiëren.

Algoritmische Innovatie en Hardwarebeperkingen

Het nieuws over Goku’s SASR-kader is bijzonder relevant in de context van de technisch relaties tussen de VS en China. Al enige tijd probeert de Amerikaanse overheid de opkomst van China in het AI-domein te beperken door de toegang tot geavanceerde computerhardware te beperken, met name high-end GPU’s van bedrijven zoals Nvidia. Het idee achter deze beperkingen is dat het beperken van de toegang van China tot krachtige hardware hun AI-ontwikkelingsinspanningen zal vertragen.

Opmerkingen van Nvidia CEO Jensen Huang en ontwikkelingen die voortkomen uit Chinese AI-labs lijken echter te suggereren dat dit beleid mogelijk niet zo effectief is als bedoeld. Huang heeft opgemerkt dat China een aanzienlijk deel van ‘s werelds AI-ontwikkelaars bezit en dat het beperken van de toegang tot hardware hen kan stimuleren om alternatieve oplossingen te vinden.

Goku’s geclaimde AI-doorbraak suggereert dat algoritmische innovatie mogelijk hardwarebeperkingen kan compenseren, althans tot op zekere hoogte. Als Chinese onderzoekers efficiëntere trainingsalgoritmen kunnen ontwikkelen, kunnen ze mogelijk vergelijkbare AI-prestaties bereiken met minder krachtige hardware. Dit zou belangrijke implicaties kunnen hebben voor het wereldwijde AI-landschap, omdat het suggereert dat China zijn AI-capaciteiten kan blijven ontwikkelen ondanks de aanhoudende beperkingen.

Dit wil niet zeggen dat hardware irrelevant is. Geavanceerde GPU’s zijn nog steeds cruciaal voor het trainen van geavanceerde AI-modellen, en toegang tot de nieuwste hardware biedt ongetwijfeld een aanzienlijk concurrentievoordeel. Goku’s werk demonstreert echter het belang van investeren in zowel hardware als software, en dat vooruitgang op het ene gebied mogelijk beperkingen op het andere gebied kan compenseren.

De Opkomst van Chinese AI: Anders dan DeepSeek

DeepSeek’s opkomst als een prominente speler in de AI arena is een katalysator geweest, die China’s vastberadenheid demonstreert om een wereldleider te worden in deze transformerende technologie. DeepSeek is echter slechts één voorbeeld, en de opkomst van Goku, met zijn SASR trainingsplatform, illustreert verder de groeiende macht en innovatie binnen het Chinese AI ecosysteem.

Verschillende factoren dragen bij aan dit momentum. Ten eerste heeft China een enorme hoeveelheid data, wat essentieel is voor het trainen van AI modellen. Met een grote bevolking en de wijdverspreidde adoptie van digitale technologieën hebben Chinese bedrijven toegang tot enorme datasets die gebruikt kunnen worden om hun AI algoritmes verder te ontwikkelen en te verbeteren.

Ten tweede heeft China een sterke focus op STEM onderwijs, die een groot aantal getalenteerde ingenieurs en wetenschappers oplevert. Dit heeft geleid to een hoogopgeleid personeelsbestand die innovatie in AI en gerelateerde vakgebieden kunnen stimuleren.

Ten derde heeft de Chinese overheid AI een strategische prioriteit gemaakt, door significante fondsen en steun te bieden bij het onderzoek en de ontwikkeling. Dit heeft een productieve omgeving gecreëerd voor AI start-ups en heeft de samenwerking tussen de academische wereld en de industrie gestimuleerd.

Tenslotte zijn Chinese bedrijven vaak bereid om een meer pragmatische en risico nemende aanpak te gebruiken bij de innovatie, wat helpt om snel te schakelen en te experimenteren met nieuwe ideeën.

Als resultaat van deze factoren haalt China de VS snel in in termen van AI mogelijkheden. Hoewel de VS nog steeds een voorsprong heeft in bepaalde gebieden, zoals fundamenteel onderzoek en high-end hardware, boekt China significante vooruitgang op gebieden zoals computer vision, natuurlijke taalverwerking en robotica.

De opkomst van bedrijven zoals Goku en DeepSeek suggereert dat China goed gepositioneerd is om zijn opkomst in het AI domein in de komende jaren voort te zetten.

Shanghai Goku Technologies: Het Bedrijf Achter de Innovatie

Shanghai Goku Technologies is een kwantitatief handelsfonds dat in 2015 werd opgericht. Het beheert aanzienlijke activa met behulp van AI-gedreven strategieën. De verklaarde missie van het bedrijf is om "technologie en fundamentele analyse te combineren" om betere rendementen voor zijn klanten te genereren. Naast zijn kernactiviteiten in vermogensbeheer, heeft Goku een toewijding getoond aan het verleggen van de grenzen van AI-onderzoek. AllMind Artificial Intelligence Technology, de AI-dochteronderneming, vertegenwoordigt een strategische stap om zijn AI-onderzoeksinspanningen te formaliseren en te versnellen.

Details over de interne structuur en operationele dynamiek van het bedrijf blijven relatief schaars. De openbare verklaringen en recente activiteiten bieden echter inzicht in de aanpak ervan. De slogan van het bedrijf, die zich vertaalt naar "logica en waarheid zijn de enige principes die we gehoorzamen", weerspiegelt een datagedreven en analytische cultuur. De investering in AI-onderzoek en -ontwikkeling duidt op een langetermijnvisie en een bewustzijn van het transformerende potentieel van AI, niet alleen binnen de financiële sector, maar ook in verschillende industrieën. Het is waarschijnlijk dat Goku van plan is inzichten uit AI-onderzoek te benutten om zijn handelsstrategieën te verbeteren en een concurrentievoordeel in de markt te behalen.