Terwijl China’s recente vooruitgang in kunstmatige intelligentie, met name met de lancering van DeepSeek-R1, wereldwijd de aandacht heeft getrokken, vaart Taiwan een andere koers. Een koers die prioriteit geeft aan de ontwikkeling van taalmodellen die zijn unieke culturele identiteit en democratische waarden weerspiegelen. Dit streven is gericht op het creëren van een tegenwicht tegen AI-systemen die worden beïnvloed door autoritaire regimes.
De DeepSeek-uitdaging
De onthulling van DeepSeek-R1 in januari wekte aanzienlijke belangstelling binnen de techgemeenschap. Eerdere Chinese taalmodellen, zoals Baidu’s Ernie en ByteDance’s Doubao, toonden veelbelovende resultaten in Chinese taalapplicaties, wiskunde en codering, maar werden beperkt door zwakkere Engelse vaardigheid en beperkte toegankelijkheid. DeepSeek-R1 markeerde echter een belangrijke mijlpaal als de eerste Chinese LLM die internationale erkenning kreeg.
Een van de meest opvallende aspecten van DeepSeek-R1 waren de naar verluidt lage ontwikkelingskosten. In tegenstelling tot OpenAI’s GPT-4o, waarvan de training naar verluidt meer dan 100 miljoen dollar kostte, beweerden DeepSeek-onderzoekers dat hun chatbot was ontwikkeld voor slechts 5,6 miljoen dollar. Om het verhaal van efficiëntie verder aan te wakkeren, trainden DeepSeek-ingenieurs het R1-model met behulp van mid-range CPU’s zoals de Nvidia H800, in plaats van de topklasse chips die worden gebruikt in modellen zoals GPT-4o of Anthropic’s Claude. Ondanks de Amerikaanse beperkingen op de export van hoogwaardige chips naar China, slaagde DeepSeek-R1 erin om andere toonaangevende bots te overtreffen door slechts 2.048 processors te gebruiken, verspreid over 256 servers.
Deze opmerkelijke efficiëntie en lagere ontwikkelingskosten werden grotendeels toegeschreven aan geavanceerde programmeertechnieken, waaronder PTX, een assembly-achtige taal waarmee ontwikkelaars de prestaties kunnen finetunen en het hardwaregebruik kunnen maximaliseren.
Kort na de release steeg de DeepSeek-R1-app naar de top van de gratis downloadranglijst van de Amerikaanse Apple App Store, waarmee hij ChatGPT, TikTok en Meta’s sociale mediaplatforms overtrof. De Nasdaq kende een daling en de aandelen van Nvidia kelderden na het debuut van DeepSeek-R1.
Vragen bij DeepSeek’s beweringen
Ondanks het aanvankelijke enthousiasme hebben veel waarnemers vragen gesteld over de geldigheid van DeepSeek’s beweringen over zijn LLM. Analisten hebben gesuggereerd dat de genoemde cijfers waarschijnlijk alleen de computatiekosten omvatten, terwijl infrastructuur-, hardware- en personeelskosten worden uitgesloten of onderschat.
Wesley Kuo, oprichter en CEO van Ubitus, een in Taipei gevestigde leverancier van generatieve AI- en cloudgamingdiensten, herhaalde deze zorgen en verklaarde dat de werkelijke kosten waarschijnlijk veel hoger zijn dan wat wordt gerapporteerd. Ubitus, met steun van Nvidia, ondersteunde Project TAME, een gelokaliseerde LLM met traditionele Chinese karakters. Ze leverden H100 CPU’s en gamingdata. Ubitus werkte ook samen met Foxlink en Shinfox Energy om Ubilink.AI op te richten, waarmee Taiwan’s grootste groene energie-aangedreven AI-supercomputing service center wordt gebouwd in samenwerking met Asus.
Kuo benadrukt de betrokkenheid van het bedrijf bij de ontwikkeling van LLM-applicaties en -modellen voor overheden, waaronder de Japanse overheid, in sectoren als gaming, toerisme en detailhandel, en benadrukt het potentieel van AI om arbeidstekorten en vergrijzende bevolkingsgroepen aan te pakken.
Zorgen over data-integriteit
Kuo stemt in met OpenAI en Microsoft in de suggestie dat DeepSeek mogelijk gegevens heeft verkregen via modeldistillatie. Dit proces omvat het trainen van kleinere taalmodellen om de outputs van grotere modellen na te bootsen. OpenAI en Microsoft beweren dat DeepSeek OpenAI’s application programming interface heeft gebruikt om zijn ontwikkeling te faciliteren.
Kuo beweert dat DeepSeek data van OpenAI heeft verkregen en dat er misverstanden bestaan over de beweringen van het bedrijf over efficiëntie. Hij wijst erop dat DeepSeek-R1, met zijn 670 miljard parameters, aanzienlijk groter is dan Meta AI’s Llama 3.1 405B. De parameters zijn interne numerieke waarden die een model leert tijdens de training om voorspellingen te doen. Kuo suggereert ook dat DeepSeek’s modellen mogelijk zijn gedistilleerd van Llama 3.1.
Naast deze weerleggingen zijn er ook zorgen ontstaan over de mogelijkheden van DeepSeek-R1. Experts suggereren dat R1, net als zijn voorgangers, uitblinkt in gespecialiseerde, taakspecifieke functies, maar achterblijft bij versies van GPT-4o in algemene prestaties.
Een belangrijke beperking van DeepSeek’s modellen is de beperking van vrije toegang tot informatie. Gebruikers ontdekten dat vragen over gevoelige politieke onderwerpen werden beantwoord met ontwijkende antwoorden. Over onderwerpen als de status van de Oeigoerse minderheid in Xinjiang en Taiwan, weerspiegelen DeepSeek’s antwoorden de officiële standpunten van de Chinese Communistische Partij. Onderzoek suggereert dat een aanzienlijk deel van DeepSeek’s outputs wordt gecensureerd om informatie over democratie, mensenrechten en China’s betwiste soevereiniteitsaanspraken te onderdrukken.
Taiwans alternatief: TAIDE en verder
Als reactie hierop zijn in Taiwan ontwikkelde LLM’s, zoals TAME, ontstaan als alternatieven voor DeepSeek binnen de Sinosphere. De Trustworthy AI Dialogue Engine (TAIDE), gelanceerd in juni 2023 door het National Institute of Applied Research, heeft als doel een model te ontwikkelen dat is afgestemd op de sociale, culturele en linguïstische normen van Taiwan.
Hoewel het werk aan TAIDE lijkt te zijn vastgelopen, diende het als een belangrijke benchmark voor Project TAME. TAME, ontwikkeld door het Machine Intelligence and Understanding Laboratory (MiuLab) aan de National Taiwan University, met financiering van verschillende organisaties, werd getraind op 500 miljard tokens. Het presteerde beter dan concurrenten, waaronder GPT-4o, in 39 evaluaties, en behaalde hogere scores op toelatingsexamens voor de universiteit, de balie en traditionele Chinese geneeskunde.
Een van de doelstellingen van TAME is het bevorderen van de lokale cultuur. Het ontsluiten van lokale taalvaardigheden is een belangrijke stap. Kuo noemt de ontwikkeling van een Taiwanese stem LLM gebaseerd op Whisper, die positieve resultaten heeft behaald in het begrijpen van gesproken Taiwanees. Er worden inspanningen geleverd om Hakka-taalherkenning te ontwikkelen.
Deze inspanningen zijn goed ontvangen door instellingen in regio’s waar deze talen veel voorkomen. Er zijn ook inspanningen om het model te trainen in herkenning van inheemse talen, maar beperkte data blijft een obstakel. Het trainen van AI om een nieuwe taal te leren vereist een aanzienlijke hoeveelheid stemopnamen in combinatie met tekst.
Toegang tot historische gegevens in overheidsarchieven biedt een andere mogelijkheid. Sommige gegevens worden echter beschermd door auteursrecht. De opkomst van artificial general intelligence biedt de potentie om te helpen bij de heropleving van bedreigde en uitgestorven talen.
Het nastreven van AI-soevereiniteit
De kruising van taal en cultuur onderstreept het belang van AI-soevereiniteit als een middel om de Taiwanese identiteit te versterken, Taiwan’s verhaal te communiceren en zijn informatieomgeving te beschermen.
Julian Chu, een industrieconsultant en directeur bij het Market Intelligence & Consulting Institute (MIC), benadrukt het potentieel voor bias in LLM-modellen en trainingsdata. Hij merkt op dat zelfs bij het gebruik van traditionele karakters, LLM-outputs de stijl van de Volksrepubliek China kunnen weerspiegelen en de cultuur van Taiwan niet vastleggen. Het doel is dat Taiwanese bedrijven Taiwanese taal of data gebruiken om LLM’s te trainen en AI-soevereiniteit op te bouwen.
Chu noemt het Formosa Foundation Model (FFM-Llama2) als een andere veelbelovende Taiwan LLM. Het werd in september 2023 uitgebracht door Taiwan Web Service en had als doel AI te democratiseren. Foxconn lanceerde in maart ook zijn LLM, FoxBrain. Sommige commentatoren blijven echter sceptisch over de ondernemingen van grote bedrijven in LLM’s.
Lin Yen-ting, een lid van het MiuLab-team dat TAME ontwikkelde, benadrukt de noodzaak om de kloof in de informatieomgeving met betrekking tot Taiwan aan te pakken. Hij merkt op dat DeepSeek-R1 en andere Chinese LLM’s een vertekend beeld van Taiwan presenteren. In de VS ontwikkelde modellen kunnen Taiwan soms ook verkeerd voorstellen. Open-source modellen geven mogelijk geen prioriteit aan Taiwan en de trainingsdata wordt gedomineerd door China.
Daarom is het belangrijk om selectief Taiwanese inhoud op te nemen en deze opnieuw in het model te trainen. Deze proactieve aanpak zorgt ervoor dat het unieke culturele en linguïstische landschap van Taiwan nauwkeurig wordt weergegeven in het digitale domein, waardoor een gevoel van nationale identiteit wordt bevorderd en het onderscheidende erfgoed wordt behouden in het licht van de wereldwijde AI-ontwikkeling. Deze toewijding aan het behoud van de Taiwanese identiteit zorgt ervoor dat de unieke cultuur en waarden van het eiland niet worden overschaduwd door dominante verhalen.
De uitdagingen die inherent zijn aan dit streven zijn aanzienlijk. Het bouwen van een werkelijk representatief AI-model vereist een aanzienlijke investering van middelen, waaronder toegang tot enorme datasets van gelokaliseerde inhoud en expertise in natuurlijke taalverwerking. Bovendien vereist de voortdurende noodzaak om desinformatie en vooringenomen informatie tegen te gaan een continu proces van verfijning en aanpassing.
Ondanks deze uitdagingen blijft de inzet van Taiwan voor AI-soevereiniteit onwrikbaar. De ontwikkeling van TAME en andere gelokaliseerde LLM’s vertegenwoordigt een cruciale stap in de richting van het waarborgen dat de toekomst van kunstmatige intelligentie de unieke culturele identiteit, democratische waarden en onwrikbare toewijding van het eiland weerspiegelt aan het behoud van zijn onderscheidende plaats in de wereld. Door prioriteit te geven aan AI-soevereiniteit, beschermt Taiwan niet alleen zijn culturele erfgoed, maar positioneert het zich ook als een belangrijke speler in het wereldwijde AI-landschap, en toont het aan dat technologische vooruitgang kan worden afgestemd op het behoud van culturele identiteit en democratische principes.
Het vervolg van de reis
De reis naar volledige AI-soevereiniteit is nog gaande. Verder onderzoek, ontwikkeling en samenwerking zijn cruciaal om de uitdagingen te overwinnen en het succes van deze initiatieven op lange termijn te waarborgen. Door AI-soevereiniteit te blijven prioriteren, kan Taiwan een digitaal landschap creëren dat zijn unieke culturele identiteit en democratische waarden werkelijk weerspiegelt, en een voorbeeld stellen voor andere naties die ernaar streven hun onderscheidende plaats te behouden in een steeds meer verbonden wereld.