Alibaba dévoile Qwen-32B : un concentré de puissance qui défie les modèles plus grands
Dans une annonce surprise de fin de soirée, Alibaba a rendu open-source son dernier modèle de raisonnement, Qwen-32B (QwQ-32B). Doté de 32 milliards de paramètres, ce modèle démontre des performances comparables à celles du modèle DeepSeek-R1, beaucoup plus grand (67,1 milliards de paramètres).
L’équipe Qwen a souligné ses recherches sur la mise à l’échelle des techniques d’apprentissage par renforcement (RL). Ils ont déclaré : « Nous avons exploré des méthodes pour étendre le RL, obtenant des résultats impressionnants basés sur notre Qwen2.5-32B. Nous avons constaté que l’entraînement RL peut continuellement améliorer les performances, en particulier dans les tâches mathématiques et de codage. Nous avons observé que la mise à l’échelle continue du RL peut aider les modèles de taille moyenne à atteindre des performances comparables à celles des modèles MoE géants. Nous invitons tout le monde à discuter avec notre nouveau modèle et à nous faire part de vos commentaires ! »
QwQ-32B est maintenant disponible sur Hugging Face et ModelScope sous la licence open-source Apache 2.0. Les utilisateurs peuvent également interagir directement avec le modèle via Qwen Chat. L’outil de déploiement local populaire, Ollama, a déjà intégré la prise en charge, accessible via la commande : ollama run qwq.
Accompagnant la publication, l’équipe Qwen a publié un article de blog intitulé « QwQ-32B: Harnessing the Power of Reinforcement Learning », détaillant les avancées révolutionnaires.
L’article de blog souligne l’immense potentiel de l’apprentissage par renforcement (RL) à grande échelle pour surpasser les méthodes traditionnelles de pré-entraînement et de post-entraînement dans l’amélioration des performances du modèle. Des recherches récentes, telles que l’intégration par DeepSeek-R1 de données de démarrage à froid et d’un entraînement en plusieurs étapes, montrent la capacité du RL à stimuler considérablement les capacités de raisonnement, permettant une réflexion plus approfondie et la résolution de problèmes complexes.
L’exploration de l’équipe Qwen s’est concentrée sur l’exploitation du RL à grande échelle pour élever l’intelligence des grands modèles de langage, aboutissant à la création de QwQ-32B. Ce modèle de 32 milliards de paramètres rivalise remarquablement avec les performances du modèle DeepSeek-R1 de 67,1 milliards de paramètres (avec 37 milliards activés). L’équipe a souligné : « Cette réalisation souligne l’efficacité de l’application de l’apprentissage par renforcement à des modèles de base robustes et pré-entraînés. »
QwQ-32B intègre également des capacités liées aux agents, lui permettant d’évaluer de manière critique ses actions tout en utilisant des outils et d’adapter son processus de raisonnement en fonction des commentaires de l’environnement. « Nous espérons que nos efforts démontrent que la combinaison de modèles de base puissants avec l’apprentissage par renforcement à grande échelle pourrait être une voie viable vers l’intelligence artificielle générale (AGI) », a déclaré l’équipe.
Performances du modèle : évaluation de QwQ-32B
QwQ-32B a fait l’objet d’une évaluation rigoureuse sur une série de benchmarks, englobant le raisonnement mathématique, la programmation et les capacités générales. Les résultats montrent les performances de QwQ-32B par rapport à d’autres modèles de premier plan, notamment DeepSeek-R1-Distilled-Qwen-32B, DeepSeek-R1-Distilled-Llama-70B, o1-mini et le DeepSeek-R1 original.
Les résultats sont frappants. QwQ-32B démontre des performances exceptionnelles, surpassant même légèrement DeepSeek-R1-67B sur les benchmarks LiveBench, IFEval et BFCL. Cela met en évidence l’efficacité et la puissance de l’approche d’apprentissage par renforcement adoptée par l’équipe Qwen.
Plongée en profondeur dans l’apprentissage par renforcement
Le développement de QwQ-32B a exploité l’apprentissage par renforcement à grande échelle construit sur une base de démarrage à froid. La phase initiale s’est concentrée spécifiquement sur l’entraînement RL pour les tâches mathématiques et de programmation. Contrairement aux approches traditionnelles reposant sur des modèles de récompense, l’équipe Qwen a fourni des commentaires pour les problèmes mathématiques en vérifiant l’exactitude des réponses générées. Pour les tâches de codage, les commentaires ont été dérivés d’un serveur d’exécution de code, évaluant si le code généré réussissait les tests unitaires.
Au fur et à mesure que l’entraînement progressait à travers plusieurs itérations, QwQ-32B a montré des améliorations de performances constantes dans les deux domaines. Ce processus de raffinement itératif, guidé par des commentaires directs sur la précision des solutions, s’est avéré très efficace.
Après la phase initiale de RL axée sur les mathématiques et la programmation, une phase de RL ultérieure a été introduite pour améliorer les capacités générales. Cette étape a utilisé des modèles de récompense généraux et des validateurs basés sur des règles pour l’entraînement. Les résultats ont indiqué que même un petit nombre d’étapes dans le RL général pouvait améliorer les capacités globales sans impacter significativement les performances sur les tâches mathématiques et de programmation précédemment entraînées. Cela démontre l’adaptabilité et la robustesse du modèle.
Orientations futures : élargir les horizons de l’IA
L’équipe Qwen a également partagé ses projets futurs, déclarant : « Il s’agit de la première étape de Qwen dans l’exploitation de l’apprentissage par renforcement (RL) à grande échelle pour améliorer les capacités de raisonnement. Grâce à ce voyage, nous avons non seulement constaté l’immense potentiel de la mise à l’échelle du RL, mais aussi reconnu les possibilités inexploitées au sein des modèles de langage pré-entraînés. Alors que nous travaillons au développement de la prochaine génération de Qwen, nous pensons que la combinaison de modèles de base encore plus puissants avec le RL, alimentée par des ressources de calcul à l’échelle, nous rapprochera de la réalisation de l’intelligence artificielle générale (AGI). De plus, nous explorons activement l’intégration d’agents avec le RL pour permettre un raisonnement à long terme, visant à débloquer une intelligence encore plus grande grâce à un temps de raisonnement étendu. » Cet engagement envers l’amélioration continue et l’exploration souligne le dévouement de l’équipe à repousser les limites de l’IA.
Réception de la communauté : QwQ-32B suscite un large engouement
La sortie de QwQ-32B a été accueillie avec un enthousiasme généralisé et des commentaires positifs. La communauté de l’IA, y compris de nombreux utilisateurs de Qwen, attendait avec impatience le dévoilement de ce nouveau modèle.
L’engouement récent autour de DeepSeek a mis en évidence la préférence de la communauté pour le modèle complet en raison des limitations de la version distillée. Cependant, le modèle complet de 67,1 milliards de paramètres présentait des défis de déploiement, en particulier pour les appareils périphériques disposant de ressources limitées. Qwen-32B, avec sa taille considérablement réduite, répond à cette préoccupation, ouvrant des possibilités de déploiement plus large.
Un utilisateur a commenté : « Ce n’est probablement toujours pas faisable sur les téléphones portables, mais les Mac avec une grande quantité de RAM pourraient être capables de le gérer. » Ce sentiment reflète l’optimisme quant à la possibilité d’exécuter QwQ-32B sur des appareils aux ressources limitées.
Un autre utilisateur s’est adressé directement à Binyuan Hui, un scientifique du laboratoire Tongyi d’Alibaba, l’exhortant à développer des modèles encore plus petits. Cela met en évidence la demande pour des modèles d’IA de plus en plus compacts et efficaces.
Les utilisateurs ont également partagé leurs expériences, louant la vitesse et la réactivité du modèle. Un utilisateur a présenté une démonstration, soulignant les capacités de traitement rapide de QwQ-32B.
Awni Hannun, un chercheur en apprentissage automatique chez Apple, a confirmé l’exécution réussie de QwQ-32B sur un M4 Max, notant sa vitesse impressionnante. Cette validation par un chercheur de premier plan renforce encore les affirmations de performance du modèle.
L’équipe Qwen a également mis à disposition une version préliminaire de QwQ-32B sur leur interface de chat officielle, Qwen Chat, encourageant les utilisateurs à tester et à fournir des commentaires. Cette approche interactive favorise l’engagement de la communauté et permet une évaluation en conditions réelles des capacités du modèle.
L’adoption rapide de QwQ-32B par la communauté et son intégration dans des outils populaires comme Ollama démontrent l’importance et l’impact du modèle. La combinaison de performances élevées, d’une taille de modèle réduite et de l’utilisation innovante de l’apprentissage par renforcement a positionné QwQ-32B comme une avancée majeure dans le domaine des grands modèles de langage. La nature open-source du modèle encourage davantage la collaboration et l’innovation au sein de la communauté de l’IA, ouvrant la voie à de futures percées. L’accent mis sur le déploiement pratique et les applications du monde réel souligne le potentiel de QwQ-32B à avoir un impact substantiel au-delà des environnements de recherche, apportant des capacités d’IA avancées à un plus large éventail d’utilisateurs et d’appareils. Les efforts de recherche et développement en cours de l’équipe Qwen promettent des avancées encore plus excitantes dans la poursuite de l’AGI.