Tencent dévoile Hunyuan-T1 : Raisonnement IA et Mamba

Le paysage évolutif de l'optimisation des grands modèles de langage

Le domaine de l’intelligence artificielle connaît un changement de paradigme, en particulier dans les étapes de raffinement suivant l’entraînement initial des grands modèles de langage (LLMs). L’apprentissage par renforcement (RL), une technique sophistiquée où les modèles apprennent par essais et erreurs guidés par des récompenses, est apparu comme une force puissante générant des gains de performance significatifs. Cette approche est passée de la curiosité académique à une stratégie fondamentale pour les principaux développeurs d’IA. Les capacités impressionnantes démontrées par des modèles comme la série O d’OpenAI et le remarquable DeepSeek R1 en sont des preuves convaincantes, soulignant la fonction pivot de l’apprentissage par renforcement dans l’affinage des sorties du modèle, l’amélioration des compétences en résolution de problèmes et l’alignement plus étroit du comportement de l’IA avec les attentes et préférences humaines. Cette phase post-entraînement ne consiste plus seulement à peaufiner ; il s’agit d’améliorer fondamentalement les prouesses cognitives du modèle.

Présentation de Hunyuan-T1 : Un bond en avant dans les capacités de réflexion profonde

Dans ce contexte d’avancement rapide, l’équipe Hunyuan de Tencent a franchi une étape importante. Plus tôt cette année, à la mi-février, l’équipe a donné un aperçu de ses progrès avec le Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview). Intégré à l’application Tencent Yuanbao, ce modèle de raisonnement initial, construit sur la base Hunyuan de taille moyenne, offrait aux utilisateurs un avant-goût de capacités analytiques rapides et profondes.

S’appuyant sur cette fondation, nous sommes maintenant fiers d’annoncer le lancement officiel du Hunyuan-T1, la version entièrement réalisée du modèle de réflexion approfondie au sein de la famille de grands modèles Hunyuan. Il ne s’agit pas simplement d’une mise à jour incrémentielle ; cela représente une évolution substantielle. Hunyuan-T1 exploite la base de réflexion rapide TurboS, une architecture révolutionnaire introduite par Tencent début mars. Ce qui rend TurboS particulièrement remarquable, c’est sa distinction en tant que premier grand modèle au monde à très grande échelle de type Hybrid-Transformer-Mamba Mixture of Experts (MoE). Cette structure hybride innovante combine les forces des architectures Transformer établies avec l’efficacité et la prouesse de traitement des séquences du nouveau modèle d’espace d’état Mamba. Grâce à un régime post-entraînement extensif et méticuleusement conçu, les facultés de raisonnement de Hunyuan-T1 ont été considérablement amplifiées, et son alignement avec les préférences humaines nuancées a été significativement affiné. Comparé à son prédécesseur en preview, le Hunyuan-T1 officiel démontre des améliorations marquées sur tous les plans, le positionnant comme un concurrent redoutable parmi les grands modèles de pointe à haut raisonnement de l’industrie.

Avantages architecturaux : La puissance de TurboS et Mamba

Le choix de TurboS comme fondement pour Hunyuan-T1 offre des avantages distincts, en particulier pour aborder des tâches exigeant un raisonnement profond en plusieurs étapes. Un goulot d’étranglement critique dans de nombreux grands modèles de langage survient lors du traitement de documents volumineux ou de longues conversations. Les informations présentées au début peuvent être diluées ou entièrement perdues à mesure que le modèle traite le texte suivant, conduisant à ce que l’on appelle la perte de contexte. De plus, établir des liens entre des points séparés par de grandes étendues de texte – la dépendance informationnelle à longue distance – pose un défi computationnel important.

L’architecture sous-jacente à Hunyuan-T1, héritée de TurboS, affronte directement ces limitations. Sa conception inhérente priorise une capture robuste des textes longs, garantissant que le modèle maintient une meilleure prise sur l’intégralité de l’entrée, atténuant ainsi la perte de contexte et identifiant de manière plus fiable les relations cruciales à travers des séquences étendues. Cette capacité est cruciale pour les tâches de raisonnement complexes qui nécessitent souvent de synthétiser des informations dispersées dans un vaste corpus de texte.

Au cœur de cette capacité améliorée se trouve le composant d’architecture Mamba. Mamba représente une rupture par rapport aux mécanismes purement basés sur l’attention dominants dans de nombreux modèles Transformer. Il utilise une approche de modèle d’espace d’état (SSM), spécifiquement optimisée pour traiter de longues séquences avec une efficacité remarquable. Les avantages clés incluent :

• Complexité temporelle linéaire : Contrairement à la complexité quadratique des mécanismes d’attention standard concernant la longueur de la séquence, Mamba évolue linéairement. Cela rend le traitement de textes extrêmement longs réalisable sur le plan computationnel sans exigences de ressources prohibitives.
• Calcul efficace : La conception de Mamba permet des calculs parallélisables pendant l’entraînement et des opérations récurrentes efficaces pendant l’inférence. Cela se traduit directement par des vitesses de traitement plus rapides.
• Gestion sélective de l’état : Les modèles Mamba peuvent sélectivement retenir ou oublier des informations au fur et à mesure qu’ils traitent une séquence, imitant une approche plus ciblée de la gestion du contexte, ce qui est vital pour maintenir les informations pertinentes sur de longues distances.

Par conséquent, TurboS, et par extension Hunyuan-T1, peut analyser efficacement de longues entrées tout en consommant beaucoup moins de ressources computationnelles par rapport aux modèles Transformer traditionnels d’échelle similaire. Les benchmarks internes indiquent que dans des conditions de déploiement identiques, Hunyuan-T1 atteint une vitesse de décodage deux fois plus rapide que les modèles comparables dépourvus de l’optimisation Mamba, un facteur crucial pour les applications du monde réel nécessitant des réponses rapides.

Le creuset post-entraînement : Forger la prouesse de raisonnement avec l'apprentissage par renforcement

La transition du modèle de base TurboS au très capable Hunyuan-T1 a impliqué une phase post-entraînement massive et stratégiquement ciblée. Reconnaissant le rôle critique des techniques d’apprentissage avancées, Tencent a consacré un extraordinaire 96,7% des ressources computationnelles allouées à cette phase spécifiquement à l’entraînement par apprentissage par renforcement. Cet investissement immense souligne une priorité stratégique claire : élever les capacités de raisonnement pur du modèle et aligner méticuleusement ses sorties avec les jugements et préférences humains complexes.

Il ne s’agissait pas simplement de nourrir le modèle avec plus de données ; il s’agissait de lui apprendre comment penser plus efficacement. Les objectifs principaux de cette phase intensive en RL étaient doubles :

1. Améliorer le raisonnement pur : Repousser les limites de la capacité du modèle à effectuer des déductions logiques, des calculs mathématiques, des inférences causales et la résolution de problèmes complexes dans divers domaines.
2. Optimiser l’alignement humain : S’assurer que les réponses du modèle sont non seulement précises mais aussi utiles, inoffensives, honnêtes et nuancées d’une manière qui résonne avec les utilisateurs humains. Cela implique de comprendre l’intention implicite, de générer des sorties cohérentes et contextuellement appropriées, et d’adhérer aux directives de sécurité.

Pour alimenter ce processus d’entraînement exigeant, un ensemble de données vaste et diversifié a été méticuleusement organisé. Cette collection comprenait des problèmes de science et de raisonnement mondiaux, couvrant un large spectre de disciplines :

• Mathématiques : De l’arithmétique fondamentale et de l’algèbre au calcul, à la théorie des nombres et aux problèmes de niveau compétition avancé.
• Raisonnement logique : Puzzles, tâches de raisonnement déductif, défis de pensée critique et problèmes de logique formelle.
• Science : Questions et problèmes couvrant la physique, la chimie, la biologie et d’autres domaines scientifiques, nécessitant souvent un raisonnement en plusieurs étapes et l’application de principes.
• Codage : Conception d’algorithmes, génération de code, débogage et compréhension de la logique de programmation complexe dans divers langages.

Crucialement, ces données ont été combinées avec des retours réels de terrain (ground-truth). Cette boucle de rétroaction est essentielle pour l’apprentissage par renforcement, fournissant le signal dont le modèle a besoin pour comprendre quels chemins de raisonnement mènent à des résultats corrects ou préférés. Cet ancrage rigoureux garantit que Hunyuan-T1 développe une compétence démontrable lorsqu’il est confronté à un large éventail de tâches de raisonnement difficiles rencontrées dans des scénarios du monde réel.

Méthodologies d'entraînement sophistiquées

L’ampleur de l’investissement computationnel et de la collecte de données a été associée à des stratégies d’entraînement sophistiquées conçuespour maximiser l’efficacité de l’apprentissage et la stabilité du modèle.

• Apprentissage curriculaire (Curriculum Learning) : Plutôt que de submerger immédiatement le modèle avec les problèmes les plus complexes, une approche d’apprentissage curriculaire a été adoptée. L’entraînement a commencé avec des tâches plus simples et a progressivement introduit des problèmes plus difficiles. Simultanément, la longueur de contexte effective du modèle a été progressivement étendue. Cette approche par étapes permet au modèle de construire des compétences de raisonnement fondamentales avant de s’attaquer à des défis plus avancés, favorisant un apprentissage plus stable et efficace. Elle entraîne également le modèle à utiliser judicieusement sa capacité en tokens pour un raisonnement efficace, développant une forme d’efficacité computationnelle dans son processus de pensée.
• Techniques avancées d’apprentissage par renforcement : Pour assurer des progrès robustes et constants pendant l’entraînement RL prolongé, des stratégies classiques mais puissantes ont été employées. Des techniques telles que la répétition de données (data replay) (réutilisation des expériences passées pour renforcer l’apprentissage) et la réinitialisation périodique de la politique (periodic policy resetting) (retour occasionnel à des états de modèle antérieurs et stables pour éviter la divergence) ont été intégrées. Ces méthodes se sont avérées très efficaces, augmentant considérablement la stabilité à long terme du processus d’entraînement du modèle de plus de 50%, atténuant les problèmes tels que l’oubli catastrophique ou l’effondrement de la politique qui peuvent affecter les entreprises RL à grande échelle.
• Système de récompense unifié : Aligner le modèle avec les préférences humaines est une tâche complexe. Hunyuan-T1 a utilisé un nouveau système de récompense unifié. Ce système intégrait les retours de deux sources :
  • Auto-récompense (Self-Rewarding) : Une version antérieure du modèle T1-preview a été employée comme juge automatisé pour évaluer et noter de manière exhaustive les sorties du modèle en cours d’entraînement. Cela permet une génération rapide de retours à grande échelle basée sur des critères prédéfinis.
  • Modèle de récompense (Reward Model) : Un modèle distinct spécifiquement entraîné pour prédire les préférences humaines a fourni une couche supplémentaire de guidage, capturant des aspects plus subtils de la qualité, de l’utilité et de la sécurité.
    Ce mécanisme de rétroaction combiné a guidé le modèle à travers un processus d’auto-amélioration, encourageant des sorties caractérisées par des détails de contenu plus riches, une livraison d’informations plus efficace et un meilleur alignement global avec les caractéristiques de réponse souhaitées.

Performances de référence : Se tenir parmi l'élite

La mesure ultime d’un grand modèle de langage réside dans ses performances. Hunyuan-T1 a été rigoureusement évalué par rapport à une batterie de benchmarks publics et d’ensembles de données internes, démontrant des capacités qui le placent fermement dans le peloton de tête des modèles d’IA contemporains.

Comparé à DeepSeek R1, un autre modèle très apprécié axé sur le raisonnement, Hunyuan-T1 obtient des résultats comparables ou légèrement supérieurs sur plusieurs benchmarks publics clés évaluant les connaissances et le raisonnement dans différentes langues et domaines :

• MMLU-pro : Un benchmark exigeant conçu pour évaluer les connaissances et le raisonnement complets dans divers sujets professionnels et académiques.
• CEval : Une suite d’évaluation multidisciplinaire en langue chinoise.
• AIME : Axé sur les problèmes mathématiques de niveau compétition exigeant un raisonnement sophistiqué.
• Zebra Logic : Un benchmark ciblant spécifiquement les énigmes de déduction logique complexes.

Au-delà de ces tests spécifiques, les ensembles de données d’évaluation humaine internes fournissent des informations supplémentaires. Tout en étant à égalité avec R1 dans de nombreux domaines, Hunyuan-T1 présente un léger avantage dans les tâches liées à :

• Suivi d’instructions culturelles et créatives : Générer des formats de texte créatifs, s’adapter à des demandes stylistiques spécifiques avec des nuances culturelles.
• Résumé de texte : Produire des résumés concis et précis de longs documents tout en préservant les informations clés.
• Capacités d’agent : Démontrer une compétence dans les tâches nécessitant la planification, l’utilisation d’outils et l’interaction avec des systèmes externes.

En examinant les métriques d’évaluation complètes conçues pour évaluer la capacité globale, Hunyuan-T1 consolide sa position parmi les modèles d’inférence d’élite.

• Sur MMLU-PRO, T1 a atteint un score remarquable de 87,2, juste derrière le modèle O1 d’OpenAI au moment de l’évaluation. Ce benchmark couvre 14 domaines, y compris les sciences humaines, les sciences sociales et les matières STEM, testant à la fois le rappel de connaissances générales et la compréhension.
• La performance sur GPQA-diamond est également notable. Ce benchmark se concentre sur les connaissances de niveau expert et le raisonnement scientifique complexe, présentant des problèmes de niveau doctoral principalement en physique, chimie et biologie. Hunyuan-T1 a atteint un score de 69,3, indiquant de fortes capacités à traiter des questions scientifiques hautement spécialisées et complexes.

Exceller en science, ingénierie et alignement

Des évaluations supplémentaires ont approfondi des domaines spécifiques exigeant des capacités de raisonnement robustes :

• Codage : Dans l’évaluation de code LiveCodeBench, qui teste la résolution pratique de problèmes de codage, T1 a atteint un score de 64,9, démontrant une logique de programmation solide et des compétences en génération de code.
• Mathématiques : Le modèle montre une force exceptionnelle en mathématiques. Sa performance sur MATH-500, un ensemble de données de problèmes mathématiques difficiles, a donné un score exceptionnel de 96,2. Ce résultat le place au coude à coude avec DeepSeek R1, soulignant la capacité profonde de Hunyuan-T1 à aborder des raisonnements mathématiques complexes.
• Alignement et suivi d’instructions : Au-delà de la résolution de problèmes pure, T1 affiche une adaptabilité robuste à travers diverses tâches d’alignement. Il excelle dans les scénarios de suivi d’instructions et démontre une compétence dans l’utilisation d’outils lorsque nécessaire. Par exemple, dans la tâche ArenaHard, conçue pour évaluer les performances sur des invites difficiles générées par les utilisateurs, T1 a atteint un score élevé de 91,9.

Ces résultats brossent collectivement le portrait d’un grand modèle de langage hautement capable, polyvalent et bien aligné. L’intégration stratégique de l’architecture Hybrid-Transformer-Mamba, associée à un régime post-entraînement intensif axé sur le RL, a abouti à Hunyuan-T1 – un modèle démontrant une prouesse de raisonnement exceptionnelle, en particulier dans les scénarios complexes à long contexte et les domaines scientifiques et mathématiques exigeants.