IA : Le pari d'Ant Group sur les puces chinoises

Les enjeux élevés de la course mondiale au matériel IA

Le paysage du développement de l’intelligence artificielle est de plus en plus défini non seulement par les percées algorithmiques mais aussi par l’accès au matériel sophistiqué nécessaire pour entraîner et exécuter des modèles massifs. Au cœur de cette équation matérielle se trouve l’unité de traitement graphique (GPU), un composant initialement conçu pour le rendu d’images mais désormais indispensable pour les exigences de traitement parallèle de l’IA. Pendant des années, Nvidia Corporation s’est imposée comme le titan incontesté dans ce domaine, ses GPU avancés devenant la référence absolue, alimentant l’innovation à travers la Silicon Valley et au-delà. Cependant, cette domination a placé l’entreprise, et ses clients, directement dans le collimateur des tensions géopolitiques.

L’imposition par Washington de contrôles stricts à l’exportation visant à limiter l’accès de la Chine aux technologies de semi-conducteurs de pointe a fondamentalement remodelé le marché. Ces restrictions ciblent spécifiquement les GPU haute performance, comme ceux produits par Nvidia, jugés critiques pour les applications avancées d’IA, y compris celles ayant des utilisations militaires potentielles. L’effet immédiat a été une course effrénée au sein du secteur technologique florissant de la Chine. Les entreprises fortement investies dans l’IA, des géants établis aux start-ups ambitieuses, ont soudainement été confrontées à la perspective d’être coupées des outils essentiels moteurs de la prochaine vague de progrès technologique. Cela a créé un impératif urgent : trouver des alternatives viables ou risquer de prendre du retard dans un domaine compétitif au niveau mondial. Le défi ne consistait pas simplement à remplacer une puce par une autre ; il s’agissait de naviguer dans un réseau complexe de différentiels de performance, de problèmes de compatibilité logicielle et de l’échelle pure requise pour entraîner des modèles avec des centaines de milliards, voire des billions, de paramètres.

Ant Group trace la voie vers l’indépendance en matière de calcul

Dans ce contexte d’incertitude de la chaîne d’approvisionnement et de rivalité technologique croissante, Ant Group, le mastodonte de la fintech affilié à Alibaba Group Holding, a signalé une avancée significative vers une plus grande autosuffisance computationnelle. Des révélations récentes, détaillées dans un document de recherche de l’équipe Ling de l’entreprise – la division fer de lance de ses initiatives de grands modèles de langage (LLM) – indiquent une déviation réussie de la voie centrée sur Nvidia. Le cœur de cette réalisation réside dans leur capacité à entraîner efficacement un modèle d’IA sophistiqué en utilisant des GPU produits localement.

Le modèle en question, nommé Ling-Plus-Base, n’est pas un poids léger. Il est conçu à l’aide d’une architecture Mixture-of-Experts (MoE), une technique qui gagne du terrain pour son efficacité dans la mise à l’échelle des LLM. Affichant un nombre substantiel de 300 milliards de paramètres, Ling-Plus-Base évolue dans une ligue comparable à d’autres modèles mondiaux de premier plan. Le différenciateur crucial, cependant, est le matériel qui sous-tend son entraînement. Selon les résultats de la recherche, ce modèle puissant peut être amené à maturité sur ce que l’équipe décrit comme des “appareils moins performants”. Cette expression soigneusement choisie pointe directement vers l’utilisation d’unités de traitement qui échappent au champ d’application des restrictions américaines à l’exportation, impliquant fortement l’utilisation de puces conçues et fabriquées en Chine.

Ce développement est plus qu’une simple solution technique ; il représente un pivot stratégique potentiel. En démontrant la capacité d’entraîner des modèles de pointe sans dépendre exclusivement du matériel étranger de plus haut niveau et restreint, Ant Group atténue non seulement les risques liés à la chaîne d’approvisionnement, mais débloque également potentiellement des gains d’efficacité significatifs en termes de coûts.

L’équation économique : réduire les coûts d’entraînement

L’un des chiffres les plus convaincants issus de la recherche de l’équipe Ling est une réduction rapportée de 20 % des coûts de calcul pendant la phase critique de pré-entraînement du modèle Ling-Plus-Base. Le pré-entraînement est notoirement gourmand en ressources, impliquant l’alimentation du modèle avec de vastes ensembles de données pour apprendre les motifs linguistiques, le contexte et les connaissances. Il constitue une part majeure des dépenses globales associées au développement de LLM fondamentaux. Réaliser une réduction des coûts d’un cinquième dans cette phase se traduit donc par des économies substantielles, libérant potentiellement des capitaux pour de nouvelles recherches, développements ou déploiements à grande échelle.

Comment cette économie est-elle réalisée ? Bien que le document ne détaille pas la ventilation exacte des coûts, plusieurs facteurs y contribuent probablement :

1. Acquisition de matériel : Les GPU produits localement, même s’ils sont individuellement moins puissants que les offres haut de gamme de Nvidia, peuvent avoir un prix d’achat inférieur ou offrir des remises sur volume plus favorables sur le marché chinois, en particulier compte tenu de l’offre limitée de puces Nvidia haut de gamme.
2. Efficacité énergétique : Bien que non explicitement indiqué, l’optimisation de l’entraînement pour des puces domestiques potentiellement moins gourmandes en énergie (bien que peut-être moins performantes par unité) pourrait contribuer à réduire les coûts énergétiques opérationnels, un facteur important dans l’exploitation de grands centres de données.
3. Optimisation algorithmique et architecturale : L’utilisation de l’architecture MoE elle-même est essentielle. Les modèles MoE n’activent que des sous-réseaux “experts” spécifiques pour une entrée donnée, plutôt que d’engager l’ensemble du modèle comme les architectures denses. Cette sparsité inhérente peut réduire considérablement la charge de calcul pendant l’entraînement et l’inférence, permettant d’obtenir de bons résultats même avec une puissance de traitement brute par puce inférieure. Le succès d’Ant suggère un réglage logiciel et algorithmique sophistiqué pour maximiser l’efficacité du matériel domestique disponible.

Cette réduction des coûts n’est pas simplement un avantage comptable ; elle abaisse la barrière à l’entrée pour le développement de modèles à grande échelle et pourrait accélérer le rythme de l’innovation en IA au sein de l’entreprise et potentiellement dans l’écosystème technologique chinois plus large si les méthodes s’avèrent reproductibles.

Parité des performances : combler le fossé matériel ?

Les économies de coûts sont attrayantes, mais elles signifient peu si le modèle d’IA résultant est nettement moins performant. L’équipe Ling d’Ant aborde directement ce point, affirmant que Ling-Plus-Base atteint des performances comparables à celles d’autres modèles bien considérés dans le domaine. Plus précisément, ils ont comparé leur création à des modèles comme Qwen2.5-72B-Instruct (développé par la société mère Alibaba) et DeepSeek-V2.5-1210-Chat, un autre LLM chinois de premier plan.

L’affirmation de “performances comparables” malgré l’utilisation d’”appareils moins performants” est remarquable. Elle suggère qu’Ant a potentiellement trouvé des moyens efficaces de compenser tout déficit de calcul brut par :

• Architecture de modèle avancée : La conception MoE est ici déterminante, répartissant efficacement la charge de travail.
• Optimisation logicielle : L’adaptation de la pile logicielle d’entraînement (comme les frameworks de parallélisation et les bibliothèques numériques) spécifiquement à l’architecture des GPU domestiques utilisés est cruciale. Cela implique souvent un effort d’ingénierie important.
• Curation des données et techniques d’entraînement : Des méthodes sophistiquées de sélection des données d’entraînement et d’affinage du processus d’entraînement lui-même peuvent avoir un impact significatif sur la qualité finale du modèle, compensant parfois les limitations matérielles.

Il est important d’aborder les affirmations de performance avec nuance. “Comparable” peut englober une gamme de résultats sur divers benchmarks (par exemple, compréhension du langage, raisonnement, génération, codage). Sans accès à des résultats de benchmark détaillés sur plusieurs tests standardisés, une comparaison précise reste difficile. Cependant, l’affirmation elle-même signale la confiance d’Ant dans le fait que son approche ne nécessite pas un compromis paralysant entre coût/accessibilité et capacité. Elle démontre une voie pour maintenir la compétitivité même dans les contraintes imposées par les restrictions matérielles.

Les chercheurs eux-mêmes ont souligné les implications plus larges : “Ces résultats démontrent la faisabilité de l’entraînement de modèles MoE à grande échelle de pointe sur du matériel moins puissant, permettant une approche plus flexible et rentable du développement de modèles fondamentaux en ce qui concerne la sélection des ressources de calcul.” Cela suggère une sorte de démocratisation, permettant au développement d’IA de pointe de se poursuivre même lorsque l’accès au summum absolu de la puissance de traitement est limité.

Comprendre l’avantage du Mixture-of-Experts (MoE)

L’architecture Mixture-of-Experts (MoE) est au cœur du succès rapporté par Ant Group. Elle représente une rupture par rapport aux modèles de réseaux neuronaux “denses” traditionnels où chaque entrée active chaque paramètre. Dans un modèle MoE :

• Le modèle est composé de nombreux réseaux “experts” plus petits et spécialisés.
• Un mécanisme de “réseau portier” ou “routeur” apprend à diriger les données entrantes (tokens, dans le cas des LLM) vers le ou les experts les plus pertinents pour le traitement.
• Seuls le ou les experts sélectionnés – souvent juste un ou deux sur potentiellement des centaines – effectuent des calculs pour cette donnée spécifique.

Cette approche offre plusieurs avantages clés, particulièrement pertinents dans le contexte des contraintes matérielles :

1. Scalabilité : MoE permet aux modèles d’atteindre des nombres de paramètres énormes (les billions deviennent réalisables) sans une augmentation proportionnelle du coût de calcul pour traiter chaque token d’entrée pendant l’inférence ou même pendant les étapes d’entraînement. C’est parce que seule une fraction des paramètres totaux est active à un moment donné.
2. Efficacité de l’entraînement : Bien que l’entraînement des modèles MoE ait ses propres complexités (comme l’équilibrage de charge entre les experts), le calcul réduit par token peut se traduire par des temps d’entraînement plus rapides ou, comme le démontre Ant, la capacité d’entraîner efficacement sur du matériel moins puissant dans des délais raisonnables.
3. Spécialisation : Chaque expert peut potentiellement se spécialiser dans différents types de données, tâches ou domaines de connaissances, conduisant potentiellement à des sorties de meilleure qualité dans des domaines spécifiques.

Les principaux laboratoires d’IA du monde entier ont adopté le MoE, notamment Google (GShard, Switch Transformer), Mistral AI (modèles Mixtral), et en Chine, des entreprises comme DeepSeek et Alibaba (dont les modèles Qwen intègrent des éléments MoE). Le Ling-Plus-Base d’Ant le place fermement dans cette avant-garde, tirant parti de l’innovation architecturale pour naviguer dans les réalités matérielles.

L’écosystème matériel domestique : combler le vide laissé par Nvidia

Bien que le document de recherche d’Ant se soit abstenu de nommer explicitement le matériel utilisé, des rapports ultérieurs, notamment de Bloomberg, ont indiqué que l’exploit impliquait des puces de conception nationale. Cela inclut des processeurs provenant potentiellement de l’affilié d’Ant, Alibaba, qui possède sa propre unité de conception de puces T-Head (produisant des CPU comme le Yitian 710 et explorant précédemment les accélérateurs d’IA), et surtout, Huawei Technologies.

Huawei, bien que confrontée elle-même à d’intenses sanctions américaines, développe agressivement sa série d’accélérateurs d’IA Ascend (comme l’Ascend 910B) comme alternative directe aux offres de Nvidia sur le marché chinois. Ces puces seraient adoptées par les grandes entreprises technologiques chinoises. La capacité d’Ant Group à utiliser efficacement un tel matériel pour un modèle aussi grand que Ling-Plus-Base représenterait une validation significative de ces alternatives nationales.

Il est crucial de noter qu’Ant Group n’a pas entièrement abandonné Nvidia. Les rapports suggèrent que les puces Nvidia font toujours partie de la boîte à outils de développement IA d’Ant, probablement utilisées pour des tâches où leurs caractéristiques de performance spécifiques ou leur écosystème logiciel mature (comme CUDA) offrent des avantages, ou pourdes systèmes hérités. Le mouvement ne vise pas nécessairement un remplacement complet du jour au lendemain, mais plutôt la construction de voies parallèles viables qui réduisent la vulnérabilité stratégique et contrôlent les coûts. Cette approche hybride permet à l’entreprise de tirer parti des meilleurs outils disponibles tout en cultivant son indépendance. Ant Group lui-même a maintenu une certaine discrétion d’entreprise, refusant de commenter officiellement les puces spécifiques utilisées.

Une tendance plus large : la poussée collective de la Chine pour l’autosuffisance en IA

L’initiative d’Ant Group ne se produit pas de manière isolée. Elle reflète une poussée stratégique plus large dans le secteur technologique chinois pour innover autour des limitations imposées par les contrôles américains à l’exportation. La “guerre technologique” a catalysé les efforts pour atteindre une plus grande autosuffisance dans les technologies critiques, en particulier les semi-conducteurs et l’IA.

D’autres acteurs majeurs poursuivent des objectifs similaires :

• ByteDance : La société mère de TikTok travaillerait également à sécuriser et utiliser des puces alternatives, y compris des options nationales, pour ses ambitions en matière d’IA, qui couvrent les algorithmes de recommandation, l’IA générative, et plus encore.
• DeepSeek : Cette start-up d’IA, connue pour ses puissants modèles open-source, mentionne explicitement l’efficacité de l’entraînement et a développé des modèles utilisant l’architecture MoE, s’alignant sur des stratégies moins dépendantes de vastes flottes des GPU les plus puissants uniquement.
• Baidu, Tencent, et d’autres : Toutes les grandes entreprises chinoises de cloud et de technologie investissent massivement dans l’IA et explorent inévitablement des stratégies de diversification matérielle, y compris l’optimisation pour les puces nationales et potentiellement le développement de leur propre silicium personnalisé.

Le message collectif est clair : bien que l’accès aux produits haut de gamme de Nvidia reste souhaitable, l’industrie technologique chinoise développe et valide activement des solutions alternatives. Cela implique une approche à plusieurs volets : adopter des architectures de modèles efficaces comme MoE, une optimisation logicielle intense pour différents backends matériels, et soutenir le développement et l’adoption de puces produites localement.

Au-delà des modèles de langage : l’expansion d’Ant dans l’IA pour la santé

Les efforts d’Ant Group en matière d’IA s’étendent au-delà des LLM fondamentaux. Parallèlement aux nouvelles concernant ses gains d’efficacité d’entraînement, l’entreprise a dévoilé des mises à niveau significatives de sa suite de solutions d’IA adaptées au secteur de la santé. Cette initiative s’appuie sur un modèle d’IA distinct, auto-développé et centré sur la santé.

Les solutions mises à niveau disposent de capacités multimodales (traitant divers types de données comme le texte, les images et potentiellement d’autres données médicales) et d’un raisonnement médical sophistiqué. Celles-ci sont intégrées dans ce qu’Ant décrit comme des “machines tout-en-un”, vraisemblablement des appareils ou des plateformes conçus pour les environnements cliniques ou la gestion de la santé.

Bien que cela semble distinct des nouvelles concernant le LLM Ling-Plus-Base, il existe un lien sous-jacent potentiel. La capacité d’entraîner des modèles d’IA puissants de manière plus rentable, potentiellement en utilisant un mélange de matériel incluant des options nationales, pourrait sous-tendre la viabilité économique du développement et du déploiement de modèles spécialisés pour des secteurs comme la santé. La réduction des coûts fondamentaux du développement de l’IA permet de canaliser les ressources vers des applications spécifiques à un domaine, accélérant potentiellement le déploiement d’outils d’IA pratiques dans des industries critiques. Cette poussée dans le domaine de la santé souligne l’ambition d’Ant d’appliquer largement son expertise en IA, allant au-delà de ses racines fintech.

Implications pour l’avenir : une bifurcation sur la route de l’IA ?

L’entraînement réussi par Ant Group d’un modèle MoE à grande échelle utilisant des GPU non-Nvidia, probablement nationaux, a des implications significatives :

• Validation pour les puces nationales : Il sert de preuve cruciale de la viabilité des accélérateurs d’IA de conception chinoise comme l’Ascend de Huawei, stimulant potentiellement leur adoption en Chine.
• Paysage concurrentiel : Il démontre que les entreprises chinoises peuvent rester compétitives dans le développement d’IA de pointe malgré les restrictions, en tirant parti de l’innovation architecturale et logicielle.
• Dynamique des coûts : La réduction des coûts de 20 % met en évidence un avantage concurrentiel potentiel pour les entreprises capables d’utiliser efficacement du matériel alternatif, influençant potentiellement la tarification et l’accessibilité mondiales de l’IA.
• Position de Nvidia : Bien que Nvidia reste dominante au niveau mondial, cette tendance souligne les défis auxquels elle est confrontée sur l’important marché chinois en raison des réglementations et de la montée des concurrents locaux. Cela pourrait accélérer le développement par Nvidia de puces conformes à l’exportation adaptées à la Chine, mais valide également la voie alternative.
• Bifurcation technologique ? : À long terme, une divergence continue dans l’accès au matériel et l’optimisation logicielle pourrait conduire à des écosystèmes d’IA partiellement distincts, avec des modèles et des outils optimisés pour différents siliciums sous-jacents.

Le parcours entrepris par l’équipe Ling d’Ant Group est emblématique de l’ingéniosité stimulée par les contraintes géopolitiques. En combinant intelligemment des architectures de modèles avancées comme MoE avec une volonté d’optimiser et d’utiliser le matériel national disponible, ils ont tracé une voie qui assure des progrès continus dans le domaine critique de l’intelligence artificielle, remodelant potentiellement les structures de coûts et les dépendances stratégiques qui définissent l’industrie. C’est un témoignage de l’idée que l’innovation s’épanouit souvent le plus vivement sous pression.