Le Défi DeepSeek
Les récents progrès de la Chine en matière d’intelligence artificielle, notamment avec le lancement de DeepSeek-R1, ont captivé l’attention mondiale. Cependant, Taïwan trace une voie différente, qui priorise le développement de modèles linguistiques reflétant son identité culturelle unique et ses valeurs démocratiques. Cette démarche vise à créer un contrepoids aux systèmes d’IA influencés par des régimes autoritaires.
Le dévoilement de DeepSeek-R1 en janvier a suscité un intérêt considérable au sein de la communauté technologique. Les modèles linguistiques chinois précédents, tels que Ernie de Baidu et Doubao de ByteDance, se sont révélés prometteurs dans les applications en langue chinoise, les mathématiques et le codage, mais étaient limités par une maîtrise plus faible de l’anglais et une accessibilité restreinte. DeepSeek-R1 a toutefois marqué une étape importante en tant que premier LLM chinois à obtenir une reconnaissance internationale.
L’un des aspects les plus frappants de DeepSeek-R1 était son coût de développement apparemment bas. Contrairement à GPT-4o d’OpenAI, dont la formation aurait coûté plus de 100 millions de dollars américains, les chercheurs de DeepSeek ont affirmé que leur chatbot avait été développé pour seulement 5,6 millions de dollars américains. Renforçant encore le récit de l’efficacité, les ingénieurs de DeepSeek ont formé le modèle R1 en utilisant des CPU milieu de gamme comme le Nvidia H800, plutôt que les puces haut de gamme utilisées dans des modèles comme GPT-4o ou Claude d’Anthropic. Malgré les restrictions américaines sur l’exportation de puces haute performance vers la Chine, DeepSeek-R1 a réussi à surpasser d’autres robots de premier plan en utilisant seulement 2 048 processeurs répartis sur 256 serveurs.
Cette efficacité remarquable et ce coût de développement plus faible ont été largement attribués à des techniques de programmation sophistiquées, notamment PTX, un langage de type assembleur qui permet aux développeurs d’affiner les performances et de maximiser l’utilisation du matériel.
Peu après sa sortie, l’application DeepSeek-R1 a grimpé au sommet du classement des téléchargements gratuits de l’App Store d’Apple aux États-Unis, dépassant ChatGPT, TikTok et les plateformes de médias sociaux de Meta. Le Nasdaq a connu une baisse et les actions de Nvidia ont chuté après les débuts de DeepSeek-R1.
Remise en Question des Affirmations de DeepSeek
Malgré l’enthousiasme initial, de nombreux observateurs ont soulevé des questions quant à la validité des affirmations de DeepSeek concernant son LLM. Les analystes ont suggéré que les chiffres déclarés ne tiennent probablement compte que des coûts de calcul, tout en excluant ou en sous-estimant les dépenses d’infrastructure, de matériel et de ressources humaines.
Wesley Kuo, fondateur et PDG d’Ubitus, un fournisseur de services de jeux en nuage et d’IA générative basé à Taipei, a fait écho à ces préoccupations, affirmant que le coût réel est probablement beaucoup plus élevé que ce qui est rapporté. Ubitus, avec le soutien de Nvidia, a soutenu le projet TAME, un LLM localisé utilisant des caractères chinois traditionnels. Ils ont fourni des CPU H100 et des données de jeu. Ubitus a également collaboré avec Foxlink et Shinfox Energy pour établir Ubilink.AI, construisant le plus grand centre de services de supercalcul IA alimenté par l’énergie verte de Taïwan en collaboration avec Asus.
Kuo souligne l’implication de l’entreprise dans le développement d’applications et de modèles LLM pour les gouvernements, y compris le gouvernement japonais, dans des secteurs tels que le jeu, le tourisme et le commerce de détail, soulignant le potentiel de l’IA pour remédier aux pénuries de main-d’œuvre et au vieillissement des populations.
Préoccupations Relatives à l’Intégrité des Données
Kuo s’aligne sur OpenAI et Microsoft en suggérant que DeepSeek pourrait avoir acquis des données par le biais de la distillation de modèles. Ce processus consiste à entraîner des modèles linguistiques plus petits pour imiter les sorties de modèles plus grands. OpenAI et Microsoft allèguent que DeepSeek a utilisé l’interface de programmation d’application d’OpenAI pour faciliter son développement.
Kuo affirme que DeepSeek a obtenu des données d’OpenAI et qu’il y a des malentendus concernant les affirmations de l’entreprise concernant l’efficacité. Il souligne que DeepSeek-R1, avec ses 670 milliards de paramètres, est nettement plus grand que Llama 3.1 405B de Meta AI. Les paramètres sont des valeurs numériques internes qu’un modèle apprend pendant la formation pour faire des prédictions. Kuo suggère également que les modèles de DeepSeek pourraient avoir été distillés à partir de Llama 3.1.
Au-delà de ces réfutations, des préoccupations ont également émergé concernant les capacités de DeepSeek-R1. Les experts suggèrent que, comme ses prédécesseurs, R1 excelle dans les fonctions spécialisées et spécifiques à une tâche, mais est à la traîne par rapport aux versions de GPT-4o en termes de performances à usage général.
Une limitation majeure des modèles de DeepSeek est la restriction de l’accès libre à l’information. Les utilisateurs ont découvert que les questions sur des sujets politiques sensibles étaient accueillies par des réponses évasives. Sur des sujets tels que le statut de la minorité ouïghoure du Xinjiang et Taïwan, les réponses de DeepSeek reflètent les positions officielles du Parti communiste chinois. La recherche suggère qu’une partie importante des sorties de DeepSeek est censurée pour supprimer les informations relatives à la démocratie, aux droits de l’homme et aux revendications de souveraineté contestées de la Chine.
L’Alternative Taïwanaise : TAIDE et Au-delà
En réponse, les LLM développés à Taïwan, tels que TAME, sont apparus comme des alternatives à DeepSeek au sein de la Sinosphère. Le Trustworthy AI Dialogue Engine (TAIDE), lancé en juin 2023 par le National Institute of Applied Research, vise à développer un modèle aligné sur les normes sociales, culturelles et linguistiques de Taïwan.
Bien que les travaux sur TAIDE semblent avoir stagné, il a servi de point de référence important pour le projet TAME. TAME, développé par le Machine Intelligence and Understanding Laboratory (MiuLab) de l’Université nationale de Taïwan, avec le financement de diverses organisations, a été formé sur 500 milliards de jetons. Il a surpassé ses concurrents, y compris GPT-4o, dans 39 évaluations, obtenant des scores plus élevés aux examens d’entrée à l’université, du barreau et de médecine traditionnelle chinoise.
L’un des objectifs de TAME est de promouvoir la culture locale. Déverrouiller les capacités linguistiques locales est une étape importante. Kuo mentionne le développement d’un LLM vocal taïwanais basé sur Whisper, qui a obtenu des résultats positifs dans la compréhension du taïwanais oral. Des efforts sont en cours pour développer la reconnaissance de la langue hakka.
Ces efforts ont été bien accueillis par les institutions des régions où ces langues sont prévalentes. Des efforts sont également en cours pour former le modèle à la reconnaissance des langues autochtones, mais des données limitées restent un obstacle. L’entraînement de l’IA pour apprendre une nouvelle langue nécessite une quantité importante d’enregistrements vocaux associés à du texte.
L’accès aux données historiques dans les archives gouvernementales présente une autre opportunité. Cependant, certaines données sont protégées par le droit d’auteur. L’émergence de l’intelligence artificielle générale offre le potentiel d’aider à la relance des langues en voie de disparition et éteintes.
La Quête de la Souveraineté en IA
L’intersection de la langue et de la culture souligne l’importance de la souveraineté en IA comme moyen de renforcer l’identité taïwanaise, de communiquer le récit de Taïwan et de protéger son environnement informationnel.
Julian Chu, consultant industriel et directeur au Market Intelligence & Consulting Institute (MIC), souligne le potentiel de biais dans les modèles LLM et les données d’entraînement. Il note que même lors de l’utilisation de caractères traditionnels, les sorties LLM peuvent refléter le style de la République populaire de Chine et ne pas capturer la culture de Taïwan. L’objectif est que les entreprises taïwanaises utilisent la langue ou les données taïwanaises pour former des LLM et construire la souveraineté en IA.
Chu mentionne le Formosa Foundation Model (FFM-Llama2) comme un autre LLM taïwanais prometteur. Lancé en septembre 2023 par Taiwan Web Service, il visait à démocratiser l’IA. Foxconn a également lancé son LLM, FoxBrain, en mars. Cependant, certains commentateurs restent sceptiques quant aux entreprises des grandes entreprises dans les LLM.
Lin Yen-ting, membre de l’équipe MiuLab qui a développé TAME, souligne la nécessité de combler le fossé dans l’environnement informationnel concernant Taïwan. Il note que DeepSeek-R1 et d’autres LLM chinois présentent une vision déformée de Taïwan. Les modèles développés aux États-Unis peuvent également parfois déformer Taïwan. Les modèles open source peuvent ne pas donner la priorité à Taïwan, et les données d’entraînement sont dominées par la Chine.
Par conséquent, il est important d’incorporer sélectivement le contenu taïwanais et de le recycler dans le modèle. Cette approche proactive garantit que le paysage culturel et linguistique unique de Taïwan est représenté avec précision dans le domaine numérique, favorisant un sentiment d’identité nationale et préservant son patrimoine distinct face au développement mondial de l’IA. Ce dévouement à la préservation de l’identité taïwanaise garantit que la culture et les valeurs uniques de la nation insulaire ne sont pas éclipsées par les récits dominants.
Les défis inhérents à cette entreprise sont importants. La construction d’un modèle d’IA véritablement représentatif nécessite un investissement important de ressources, y compris l’accès à de vastes ensembles de données de contenu localisé et une expertise en traitement du langage naturel. De plus, le besoin continu de contrer la désinformation et les informations biaisées nécessite un processus continu de raffinement et d’adaptation.
Malgré ces défis, l’engagement de Taïwan envers la souveraineté en IA reste inébranlable. Le développement de TAME et d’autres LLM localisés représente une étape cruciale pour garantir que l’avenir de l’intelligence artificielle reflète l’identité culturelle unique de l’île, ses valeurs démocratiques et son engagement indéfectible à préserver sa place distincte dans le monde. En donnant la priorité à la souveraineté en IA, Taïwan ne fait pas que sauvegarder son patrimoine culturel, mais se positionne également comme un acteur clé dans le paysage mondial de l’IA, démontrant que le progrès technologique peut être aligné sur la préservation de l’identité culturelle et des principes démocratiques.
Poursuite du Voyage
Le voyage vers la souveraineté complète en IA est en cours. Des recherches, un développement et une collaboration plus poussés sont essentiels pour surmonter les défis et assurer le succès à long terme de ces initiatives. En continuant de donner la priorité à la souveraineté en IA, Taïwan peut créer un paysage numérique qui reflète véritablement son identité culturelle unique et ses valeurs démocratiques, donnant l’exemple aux autres nations qui s’efforcent de maintenir leur place distincte dans un monde de plus en plus interconnecté.