Während Chinas jüngste Fortschritte im Bereich der künstlichen Intelligenz, insbesondere mit der Einführung von DeepSeek-R1, weltweit Aufmerksamkeit erregt haben, verfolgt Taiwan einen anderen Kurs, der die Entwicklung von Sprachmodellen in den Vordergrund stellt, die seine einzigartige kulturelle Identität und seine demokratischen Werte widerspiegeln. Dieses Unterfangen zielt darauf ab, ein Gegengewicht zu KI-Systemen zu schaffen, die von autoritären Regimen beeinflusst werden.
Die DeepSeek-Herausforderung
Die Vorstellung von DeepSeek-R1 im Januar löste in der Tech-Community großes Interesse aus. Frühere chinesische Sprachmodelle wie Baidus Ernie und ByteDances Doubao zeigten vielversprechende Ergebnisse in chinesischen Sprachanwendungen, Mathematik und Programmierung, waren jedoch durch schwächere Englischkenntnisse und eingeschränkte Zugänglichkeit begrenzt. DeepSeek-R1 markierte jedoch einen bedeutenden Meilenstein als erstes chinesisches LLM, das internationale Anerkennung erlangte.
Einer der auffälligsten Aspekte von DeepSeek-R1 waren die angeblich geringen Entwicklungskosten. Im Gegensatz zu OpenAI’s GPT-4o, dessen Training angeblich über 100 Millionen US-Dollar kostete, behaupteten DeepSeek-Forscher, ihr Chatbot sei für nur 5,6 Millionen US-Dollar entwickelt worden. Um die Erzählung der Effizienz weiter zu befeuern, trainierten DeepSeek-Ingenieure das R1-Modell mit CPUs der Mittelklasse wie der Nvidia H800, anstatt der Top-Tier-Chips, die in Modellen wie GPT-4o oder Anthropic’s Claude verwendet werden. Trotz der US-Beschränkungen für den Export von Hochleistungs-Chips nach China gelang es DeepSeek-R1, andere führende Bots zu übertreffen, indem es nur 2.048 Prozessoren verwendete, die auf 256 Server verteilt waren.
Diese bemerkenswerte Effizienz und die niedrigeren Entwicklungskosten wurden größtenteils auf ausgefeilte Programmiertechniken zurückgeführt, darunter PTX, eine assemblyähnliche Sprache, die es Entwicklern ermöglicht, die Leistung feinabzustimmen und die Hardwarenutzung zu maximieren.
Kurz nach seiner Veröffentlichung stieg die DeepSeek-R1-App an die Spitze der US-amerikanischen Apple App Store-Rangliste der kostenlosen Downloads auf und übertraf ChatGPT, TikTok und die Social-Media-Plattformen von Meta. Die Nasdaq erlebte einen Rückgang, und die Aktien von Nvidia brachen nach dem Debüt von DeepSeek-R1 ein.
Die Behauptungen von DeepSeek in Frage stellen
Trotz der anfänglichen Begeisterung haben viele Beobachter Fragen zur Gültigkeit der Behauptungen von DeepSeek bezüglich seines LLM aufgeworfen. Analysten haben angedeutet, dass die angegebenen Zahlen wahrscheinlich nur die Rechenkosten berücksichtigen, während Infrastruktur-, Hardware- und Personalkosten ausgeschlossen oder unterbewertet werden.
Wesley Kuo, Gründer und CEO von Ubitus, einem in Taipeh ansässigen Anbieter von generativer KI- und Cloud-Gaming-Diensten, bekräftigte diese Bedenken und erklärte, dass die tatsächlichen Kosten wahrscheinlich viel höher seien als angegeben. Ubitus, mit Unterstützung von Nvidia, unterstützte Project TAME, ein lokalisiertes LLM, das traditionelle chinesische Schriftzeichen verwendet. Sie stellten H100-CPUs und Spieledaten zur Verfügung. Ubitus arbeitete auch mit Foxlink und Shinfox Energy zusammen, um Ubilink.AI zu gründen und Taiwans größtes mit grüner Energie betriebenes KI-Supercomputing-Servicezentrum in Zusammenarbeit mit Asus aufzubauen.
Kuo betont die Beteiligung des Unternehmens an der Entwicklung von LLM-Anwendungen und -Modellen für Regierungen, einschließlich der japanischen Regierung, in Branchen wie Gaming, Tourismus und Einzelhandel, und hebt das Potenzial von KI zur Bewältigung von Arbeitskräftemangel und alternden Bevölkerungen hervor.
Bedenken hinsichtlich der Datenintegrität
Kuo schließt sich OpenAI und Microsoft an, wenn er andeutet, dass DeepSeek Daten durch Modelldistillation erworben haben könnte. Bei diesem Verfahren werden kleinere Sprachmodelle trainiert, um die Ausgaben größerer Modelle nachzuahmen. OpenAI und Microsoft behaupten, dass DeepSeek die Application Programming Interface von OpenAI genutzt hat, um seine Entwicklung zu erleichtern.
Kuo behauptet, dass DeepSeek Daten von OpenAI erhalten habe und dass es Missverständnisse bezüglich der Behauptungen des Unternehmens über Effizienz gebe. Er weist darauf hin, dass DeepSeek-R1 mit seinen 670 Milliarden Parametern deutlich größer ist als Meta AI’s Llama 3.1 405B. Die Parameter sind interne numerische Werte, die ein Modell während des Trainings lernt, um Vorhersagen zu treffen. Kuo vermutet auch, dass die Modelle von DeepSeek von Llama 3.1 destilliert worden sein könnten.
Abgesehen von diesen Widerlegungen sind auch Bedenken hinsichtlich der Fähigkeiten von DeepSeek-R1 aufgekommen. Experten weisen darauf hin, dass R1, wie seine Vorgänger, in spezialisierten, aufgabenspezifischen Funktionen hervorragt, aber hinter Versionen von GPT-4o in der Allzweckleistung zurückbleibt.
Eine große Einschränkung der DeepSeek-Modelle ist die Beschränkung des freien Zugangs zu Informationen. Benutzer stellten fest, dass Anfragen zu sensiblen politischen Themen mit ausweichenden Antworten beantwortet wurden. Bei Themen wie dem Status der uigurischen Minderheit in Xinjiang und Taiwan spiegeln die Antworten von DeepSeek die offiziellen Positionen der Kommunistischen Partei Chinas wider. Untersuchungen deuten darauf hin, dass ein erheblicher Teil der Ausgaben von DeepSeek zensiert wird, um Informationen über Demokratie, Menschenrechte und Chinas umstrittene Souveränitätsansprüche zu unterdrücken.
Taiwans Alternative: TAIDE und darüber hinaus
Als Reaktion darauf haben sich in Taiwan entwickelte LLMs wie TAME als Alternativen zu DeepSeek innerhalb der Sinosphäre herauskristallisiert. Die Trustworthy AI Dialogue Engine (TAIDE), die im Juni 2023 vom National Institute of Applied Research ins Leben gerufen wurde, zielt darauf ab, ein Modell zu entwickeln, das auf die sozialen, kulturellen und sprachlichen Normen Taiwans abgestimmt ist.
Während die Arbeit an TAIDE anscheinend ins Stocken geraten ist, diente sie als wichtiger Maßstab für Project TAME. TAME, entwickelt vom Machine Intelligence and Understanding Laboratory (MiuLab) an der National Taiwan University, mit finanzieller Unterstützung verschiedener Organisationen, wurde mit 500 Milliarden Token trainiert. Es übertraf Wettbewerber, darunter GPT-4o, in 39 Bewertungen und erzielte höhere Punktzahlen bei Universitätszugangs-, Anwalts- und traditionellen chinesischen Medizinprüfungen.
Eines der Ziele von TAME ist die Förderung der lokalen Kultur. Die Erschließung lokaler Sprachkenntnisse ist ein wichtiger Schritt. Kuo erwähnt die Entwicklung eines taiwanesischen Voice-LLM auf Basis von Whisper, das positive Ergebnisse beim Verständnis des gesprochenen Taiwanesisch erzielt hat. Es werden Anstrengungen unternommen, um die Erkennung der Hakka-Sprache zu entwickeln.
Diese Bemühungen wurden von Institutionen in Regionen, in denen diese Sprachen vorherrschen, gut aufgenommen. Es gibt auch Bemühungen, das Modell in der Erkennung indigener Sprachen zu trainieren, aber begrenzte Daten bleiben ein Hindernis. Das Training von KI zum Erlernen einer neuen Sprache erfordert eine erhebliche Menge an Sprachaufnahmen in Verbindung mit Text.
Der Zugriff auf historische Daten in Regierungsarchiven bietet eine weitere Gelegenheit. Einige Daten sind jedoch urheberrechtlich geschützt. Das Aufkommen der künstlichen allgemeinen Intelligenz bietet das Potenzial, die Wiederbelebung gefährdeter und ausgestorbener Sprachen zu unterstützen.
Das Streben nach KI-Souveränität
Die Überschneidung von Sprache und Kultur unterstreicht die Bedeutung der KI-Souveränität als Mittel zur Stärkung der taiwanesischen Identität, zur Vermittlung der taiwanesischen Erzählung und zum Schutz seiner Informationsumgebung.
Julian Chu, ein Branchenberater und Direktor am Market Intelligence & Consulting Institute (MIC), betont das Potenzial für Verzerrungen in LLM-Modellen und Trainingsdaten. Er stellt fest, dass selbst bei Verwendung traditioneller Zeichen die LLM-Ausgaben den Stil der Volksrepublik China widerspiegeln und die Kultur Taiwans nicht erfassen können. Ziel ist es, dass taiwanesische Unternehmen taiwanesische Sprache oder Daten verwenden, um LLMs zu trainieren und KI-Souveränität aufzubauen.
Chu erwähnt das Formosa Foundation Model (FFM-Llama2) als ein weiteres vielversprechendes Taiwan-LLM. Es wurde im September 2023 von Taiwan Web Service veröffentlicht und zielte darauf ab, KI zu demokratisieren. Foxconn startete im März auch sein LLM, FoxBrain. Einige Kommentatoren bleiben jedoch skeptisch gegenüber den Vorstößen großer Unternehmen in LLMs.
Lin Yen-ting, ein Mitglied des MiuLab-Teams, das TAME entwickelt hat, betont die Notwendigkeit, die Lücke in der Informationsumgebung in Bezug auf Taiwan zu schließen. Er stellt fest, dass DeepSeek-R1 und andere chinesische LLMs eine verzerrte Sicht auf Taiwan präsentieren. In den USA entwickelte Modelle können Taiwan ebenfalls manchmal falsch darstellen. Open-Source-Modelle priorisieren Taiwan möglicherweise nicht, und die Trainingsdaten werden von China dominiert.
Daher ist es wichtig, taiwanesische Inhalte selektiv einzubeziehen und in das Modell zurückzutrainieren. Dieser proaktive Ansatz stellt sicher, dass die einzigartige kulturelle und sprachliche Landschaft Taiwans im digitalen Bereich korrekt dargestellt wird, fördert ein Gefühl der nationalen Identität und bewahrt sein unverwechselbares Erbe angesichts der globalen KI-Entwicklung. Dieses Engagement für die Wahrung der taiwanesischen Identität stellt sicher, dass die einzigartige Kultur und die Werte der Inselnation nicht von dominanten Narrativen überschattet werden.
Die Herausforderungen, die diesem Unterfangen innewohnen, sind beträchtlich. Der Aufbau eines wirklich repräsentativen KI-Modells erfordert eine erhebliche Investition von Ressourcen, einschließlich des Zugangs zu riesigen Datensätzen lokalisierter Inhalte und Fachwissen in der Verarbeitung natürlicher Sprache. Darüber hinaus erfordert die ständige Notwendigkeit, Desinformation und voreingenommene Informationen zu bekämpfen, einen kontinuierlichen Prozess der Verfeinerung und Anpassung.
Trotz dieser Herausforderungen bleibt Taiwans Engagement für die KI-Souveränität unerschütterlich. Die Entwicklung von TAME und anderen lokalisierten LLMs stellt einen entscheidenden Schritt dar, um sicherzustellen, dass die Zukunft der künstlichen Intelligenz die einzigartige kulturelle Identität, die demokratischen Werte und das unerschütterliche Engagement der Insel für die Wahrung ihres unverwechselbaren Platzes in der Welt widerspiegelt. Indem Taiwan der KI-Souveränität Priorität einräumt, schützt es nicht nur sein kulturelles Erbe, sondern positioniert sich auch als ein wichtiger Akteur in der globalen KI-Landschaft und demonstriert, dass technologischer Fortschritt mit der Bewahrung der kulturellen Identität und der demokratischen Prinzipien in Einklang gebracht werden kann.
Fortsetzung der Reise
Die Reise zur vollständigen KI-Souveränität ist noch nicht abgeschlossen. Weitere Forschung, Entwicklung und Zusammenarbeit sind entscheidend, um die Herausforderungen zu meistern und den langfristigen Erfolg dieser Initiativen sicherzustellen. Indem Taiwan weiterhin der KI-Souveränität Priorität einräumt, kann es eine digitale Landschaft schaffen, die seine einzigartige kulturelle Identität und seine demokratischen Werte wirklich widerspiegelt und ein Beispiel für andere Nationen setzt, die danach streben, ihren unverwechselbaren Platz in einer zunehmend vernetzten Welt zu erhalten.