Un fonds de trading quantitatif basé à Shanghai fait des vagues dans la communauté de l’intelligence artificielle (IA) en présentant une technique d’entraînement potentiellement révolutionnaire lors d’une conférence internationale de premier plan. Cette méthode innovante, détaillée dans un article de recherche soumis à la prestigieuse Conference on Neural Information Processing Systems (NeurIPS), pourrait rivaliser, voire dépasser l’efficacité des approches d’entraînement d’IA établies utilisées par des organisations de recherche de premier plan comme DeepSeek et OpenAI. Cette démarche fait écho à la propre trajectoire de DeepSeek, qui a suscité une attention considérable pour ses avancées dans les algorithmes d’IA.
Décryptage du framework SASR de Goku
Shanghai Goku Technologies, fondée en 2015, a introduit un nouveau framework d’entraînement d’IA baptisé SASR, ou entraînement hybride adaptatif par étapes (step-wise adaptive hybrid training). Cette approche vise à corriger les limitations perçues des méthodes répandues comme le fine-tuning supervisé (SFT) et l’apprentissage par renforcement (RL). Goku soutient que le SASR, inspiré par la façon dont les humains développent leurs capacités de raisonnement, offre une voie plus adaptative et efficace pour construire des modèles d’IA avancés.
Le SFT et le RL sont considérés comme des pierres angulaires du processus d’entraînement de l’IA, employés par des géants de l’industrie comme OpenAI et DeepSeek. DeepSeek a explicitement souligné le rôle essentiel de ces techniques dans l’optimisation des performances de son modèle V3, qui a été publié en décembre et a suscité un intérêt significatif au sein du secteur technologique.
Selon l’article de recherche de Goku, co-écrit avec des chercheurs de Shanghai Jiao Tong University et de sa filiale d’IA nouvellement formée, Shanghai AllMind Artificial Intelligence Technology, le SASR démontre des performances supérieures par rapport au SFT, au RL et aux méthodologies d’entraînement hybrides statiques. “Les résultats expérimentaux démontrent que le SASR surpasse les méthodes d’entraînement hybrides statiques, SFT et RL”, a affirmé l’équipe de Goku dans son article de recherche.
Les implications de l’avancée de Goku
La percée de Goku en matière d’entraînement d’IA souligne, selon certaines sources, la progression continue de la Chine dans le domaine de l’IA. Elle met potentiellement en évidence les limites des politiques actuelles mises en œuvre par le gouvernement américain, visant à entraver l’avancement de l’IA en Chine par le biais de restrictions matérielles. Jensen Huang, PDG de Nvidia, a récemment commenté l’inefficacité perçue de ces restrictions, déclarant que “la Chine compte 50 % des développeurs d’IA au monde”.
DeepSeek, une startup chinoise d’IA issue du fonds spéculatif High-Flyer, a acquis une reconnaissance étendue pour avoir démontré le potentiel de la Chine en matière de leadership en IA grâce à des algorithmes avancés et à l’intégration du matériel et du logiciel.
Le rôle d’AllMind dans la stratégie d’IA de Goku
La création d’AllMind, coïncidant avec la publication de la recherche de Goku, indique une démarche stratégique visant à consacrer des ressources à la recherche et au développement en IA. Les registres commerciaux chinois indiquent qu’AllMind a été officiellement enregistrée le jour même où Goku a publié sa recherche.
Wang Xiao, le fondateur de Goku et le représentant légal d’AllMind, a déclaré que la nouvelle entité a été créée pour explorer de nouvelles frontières en IA. Cela reflète l’approche adoptée par High-Flyer, qui a établi DeepSeek comme une entité distincte en 2023.
À la fin de l’année dernière, Goku gérait plus de 15 milliards de yuans (environ 2,1 milliards de dollars US) d’actifs nationaux et internationaux, en utilisant des stratégies axées sur l’IA, selon les informations disponibles sur son site Web officiel.
Approfondissement du SASR : Un framework d’entraînement hybride adaptatif par étapes
Le framework SASR de Goku présente une alternative intéressante dans le paysage de l’entraînement des modèles d’IA. Pour vraiment apprécier son impact potentiel, une compréhension plus détaillée de ses composants et de son fonctionnement est essentielle.
L’aspect “par étapes” du SASR implique un processus d’entraînement en plusieurs étapes où le modèle d’IA subit un raffinement itératif. Chaque étape implique probablement des objectifs spécifiques et utilise des données d’entraînement distinctes pour nourrir des capacités particulières au sein du modèle. Cette approche progressive peut offrir des avantages comme l’atténuation des défis liés à l’entraînement de modèles complexes à partir de zéro et la possibilité d’une optimisation sur mesure à chaque étape.
L’élément “adaptatif” suggère que le processus d’entraînement n’est pas statique, mais répond dynamiquement aux performances et aux caractéristiques du modèle. Cette adaptabilité pourrait impliquer un ajustement des hyperparamètres, une modification de la distribution des données d’entraînement ou une pondération dynamique de la contribution de différents objectifs d’entraînement. Un processus adaptatif permet à l’IA d’apprendre et de s’améliorer plus efficacement.
La nature “hybride” du SASR révèle qu’il combine des éléments de différentes méthodologies d’entraînement. C’est un aspect essentiel, car le SFT et le RL ont leurs forces et leurs faiblesses. Un mélange de méthodes permet au modèle de tirer parti des avantages de chaque approche tout en corrigeant ses limitations. En intégrant ces trois caractéristiques, le SARS est en théorie mieux adapté au développement de la logique et du raisonnement.
Comparaison du SASR avec les méthodes traditionnelles
Le fine-tuning supervisé (SFT) repose traditionnellement sur un vaste ensemble de données étiquetées où le modèle d’IA apprend à faire correspondre les entrées aux sorties souhaitées. L’apprentissage par renforcement (RL) implique d’entraîner le modèle par essais et erreurs, en récompensant ou en pénalisant les actions pour maximiser un objectif spécifique.
Le SASR tente d’intégrer les deux tout en surmontant les limites de chaque méthode. Par exemple, le SFT peut être fortement dépendant de la qualité et de l’exhaustivité des données étiquetées. Dans de nombreux scénarios réels, l’obtention de données suffisantes et précises peut être à la fois longue et coûteuse. Le RL, bien qu’il ne nécessite pas de données étiquetées, peut être instable et sujet au “reward hacking”. Le “reward hacking” se produit lorsque le modèle d’IA découvre des moyens imprévus de maximiser sa récompense, ce qui peut entraîner un comportement indésirable.
Le framework de Goku a la possibilité d’être une amélioration par rapport aux limites du SFT et du RL. Cependant, des tests supplémentaires et continus sont nécessaires pour vérifier les résultats initiaux documentés dans l’article de la société.
Innovation algorithmique et contraintes matérielles
L’annonce du framework SASR de Goku est particulièrement pertinente dans le contexte des relations technologiques entre les États-Unis et la Chine. Depuis un certain temps, le gouvernement américain tente de freiner l’ascension de la Chine dans le domaine de l’IA en restreignant l’accès au matériel informatique avancé, en particulier aux GPU haut de gamme de sociétés comme Nvidia. L’idée derrière ces restrictions est que limiter l’accès de la Chine au matériel puissant ralentira ses efforts de développement en IA.
Cependant, les commentaires du PDG de Nvidia, Jensen Huang, et les avancées émanant des laboratoires d’IA chinois semblent suggérer que ces politiques ne sont peut-être pas aussi efficaces que prévu. Huang a noté que la Chine possède une part importante des talents de développeurs d’IA au monde et que restreindre l’accès au matériel peut les inciter à trouver des solutions alternatives.
La percée de Goku en matière d’IA suggère que l’innovation algorithmique peut potentiellement compenser les limitations matérielles, du moins dans une certaine mesure. Si les chercheurs chinois peuvent développer des algorithmes d’entraînement plus efficaces, ils peuvent être en mesure d’atteindre des performances d’IA comparables avec du matériel moins puissant. Cela pourrait avoir des implications importantes pour le paysage mondial de l’IA, car cela suggère que la Chine pourrait être en mesure de continuer à faire progresser ses capacités d’IA malgré les restrictions en cours.
Cela ne veut pas dire que le matériel est sans importance. Les GPU avancés sont toujours essentiels pour l’entraînement des modèles d’IA de pointe, et l’accès au matériel le plus récent offre sans aucun doute un avantage concurrentiel significatif. Cependant, le travail de Goku démontre l’importance d’investir à la fois dans le matériel et les logiciels, et que les progrès dans un domaine peuvent potentiellement compenser les limitations dans l’autre.
L’essor de l’IA chinoise : Au-delà de DeepSeek
L’émergence de DeepSeek en tant qu’acteur de premier plan dans le domaine de l’IA a été un catalyseur, démontrant la détermination de la Chine à devenir un leader mondial dans cette technologie transformatrice. Cependant, DeepSeek n’est qu’un exemple, et l’essor de Goku, avec son framework d’entraînement SASR, illustre davantage la force croissante et l’innovation au sein de l’écosystème chinois de l’IA.
Plusieurs facteurs contribuent à cet élan. Premièrement, la Chine dispose d’un vaste pool de données, essentiel pour l’entraînement des modèles d’IA. Avec une population nombreuse et une adoption généralisée des technologies numériques, les entreprises chinoises ont accès à des ensembles de données massifs qui peuvent être utilisés pour développer et affiner leurs algorithmes d’IA.
Deuxièmement, la Chine met fortement l’accent sur l’enseignement des STIM (sciences, technologie, ingénierie et mathématiques), produisant un grand nombre d’ingénieurs et de scientifiques talentueux. Cela a créé une main-d’œuvre hautement qualifiée, capable de stimuler l’innovation dans l’IA et les domaines connexes.
Troisièmement, le gouvernement chinois a fait de l’IA une priorité stratégique, en fournissant un financement et un soutien importants à la recherche et au développement. Cela a créé un environnement fertile pour les startups d’IA et a favorisé la collaboration entre le monde universitaire et l’industrie.
Enfin, les entreprises chinoises sont souvent disposées à adopter une approche plus pragmatique et prennent plus de risques en matière d’innovation, ce qui leur permet d’avancer rapidement et d’expérimenter de nouvelles idées.
Grâce à ces facteurs, la Chine rattrape rapidement les États-Unis en termes de capacités d’IA. Bien que les États-Unis conservent une avance dans certains domaines, tels que la recherche fondamentale et le matériel haut de gamme, la Chine réalise des progrès significatifs dans des domaines tels que la vision par ordinateur, le traitement du langage naturel et la robotique.
L’émergence de sociétés comme Goku et DeepSeek suggère que la Chine est bien placée pour poursuivre son ascension dans le domaine de l’IA dans les années à venir.
Shanghai Goku Technologies : L’entreprise à l’origine de l’innovation
Shanghai Goku Technologies est un fonds de trading quantitatif fondé en 2015. Il gère des actifs importants en utilisant des stratégies axées sur l’IA. La mission déclarée de l’entreprise est de “combiner la technologie et l’analyse fondamentale” pour offrir de meilleurs rendements à ses clients. Outre son activité principale de gestion d’actifs, Goku a démontré son engagement à repousser les limites de la recherche en IA. AllMind Artificial Intelligence Technology, la filiale d’IA, représente une démarche stratégique visant à formaliser et à accélérer ses efforts de recherche en IA.
Les détails concernant la structure interne et la dynamique opérationnelle de l’entreprise restent relativement rares. Cependant, ses déclarations publiques et ses activités récentes offrent un aperçu de son approche. Le slogan de l’entreprise, qui se traduit par “la logique et la vérité sont les seuls principes que nous respectons”, reflète une culture axée sur les données et l’analyse. L’investissement dans la recherche et le développement en IA indique une vision à long terme et une prise de conscience du potentiel transformateur de l’IA, non seulement au sein du secteur financier, mais aussi dans divers secteurs. Il est probable que Goku ait l’intention de tirer parti des informations issues de la recherche en IA pour améliorer ses stratégies de trading et acquérir un avantage concurrentiel sur le marché.