L’horizon des grands modèles linguistiques (LLM) a été profondément transformé par leur capacité à exécuter une multitude de tâches textuelles et multimodales avec une compétence remarquable. Cependant, un défi persistant se profile : la fenêtre de contexte limitée. De nombreuses applications, en particulier celles qui impliquent une analyse documentaire complexe, une compréhension vidéo complète, un apprentissage en contexte sophistiqué et une mise à l’échelle efficace au moment de l’inférence, nécessitent la capacité de traiter et de raisonner sur de longues séquences de tokens. Cette limitation peut entraîner la négligence d’informations essentielles dispersées dans de longs documents, ce qui nuit à la performance globale du modèle.
Le dilemme de la fenêtre de contexte
Les LLM traditionnels peinent lorsqu’ils sont confrontés à de vastes documents ou vidéos, manquant souvent des détails cruciaux qui se trouvent en dehors de leurs fenêtres de contexte fixes. Cette contrainte a stimulé le besoin de modèles capables de gérer efficacement des contextes ultra-longs sans compromettre leur performance sur les tâches standard. La quête de l’extension de la fenêtre de contexte est devenue un point central de la recherche sur les LLM, stimulant l’innovation dans diverses méthodologies architecturales et de formation.
Stratégies pour l’extension du contexte
Les stratégies existantes pour les modèles linguistiques à long contexte peuvent être largement classées en trois approches principales :
Méthodes d’attention exactes : Ces méthodes visent à améliorer le mécanisme d’attention en repensant les incorporations de position. Les exemples notables incluent l’interpolation de position, NTK-aware, Dynamic NTK, YaRN et CLEX. Ces techniques permettent au modèle de mieux différencier les tokens dans une longue séquence, améliorant ainsi sa capacité à capturer les dépendances à longue portée.
Méthodes d’attention approximatives : Ces méthodes se concentrent sur la réduction de la complexité computationnelle du mécanisme d’attention, permettant au modèle de traiter des séquences plus longues plus efficacement. Les techniques telles que l’attention clairsemée et l’attention de faible rang entrent dans cette catégorie.
Approches incorporant des modules supplémentaires : Ces méthodes augmentent le LLM avec des modules externes spécialement conçus pour gérer les dépendances à longue portée. Les exemples incluent les réseaux de mémoire et les mécanismes d’attention hiérarchique.
Alors que les modèles propriétaires tels que GPT-4o, Gemini et Claude ont démontré la capacité de prendre en charge des fenêtres de contexte de centaines de milliers de tokens, leur manque de transparence limite la reproductibilité et les recherches plus approfondies. Les initiatives open source comme ProLong, qui utilise la mise à l’échelle NTK-aware, nécessitent souvent des ressources computationnelles substantielles, tandis que Gradient utilise la pré-formation continue, ce qui peut avoir un impact négatif sur la performance des tâches standard.
UltraLong-8B de NVIDIA : Une approche révolutionnaire
Des chercheurs de l’UIUC et de NVIDIA ont introduit une recette de formation efficace pour construire des LLM à contexte ultra-long à partir de modèles d’instruction alignés. Cette approche innovante repousse les limites des longueurs de contexte de 128K à un nombre étonnant de 1M, 2M et 4M de tokens. La méthode exploite des stratégies de pré-formation continue efficaces pour étendre la fenêtre de contexte tout en employant simultanément le réglage des instructions pour préserver les capacités de suivi des instructions et de raisonnement.
Le modèle UltraLong-8B atteint une performance de pointe sur une variété de benchmarks à long contexte. Les modèles entraînés en utilisant cette approche maintiennent une performance compétitive sur les benchmarks standard, présentant des améliorations équilibrées pour les tâches à contexte long et court. Cette recherche fournit une analyse approfondie des choix de conception clés, soulignant l’impact des stratégies de mise à l’échelle et de la composition des données.
Le processus de formation en deux étapes
La méthode proposée comprend deux étapes critiques :
Pré-formation continue : Cette étape implique la poursuite de l’entraînement d’un LLM préexistant sur un vaste corpus de données textuelles. L’objectif est d’étendre la fenêtre de contexte du modèle et d’améliorer sa capacité à traiter de longues séquences.
Réglage des instructions : Cette étape implique l’ajustement fin du modèle sur un ensemble de données d’instructions et de réponses correspondantes. L’objectif est d’améliorer la capacité du modèle à suivre les instructions et à générer des réponses cohérentes et pertinentes.
Ensemble, ces étapes permettent le traitement efficace d’entrées ultra-longues tout en maintenant une forte performance sur un large éventail de tâches. Les chercheurs ont adopté une approche de mise à l’échelle basée sur YaRN pour l’extension du contexte, en utilisant des hyperparamètres fixes (α = 1 et β = 4) au lieu de stratégies de mise à l’échelle NTK-aware. Les facteurs d’échelle sont calculés en fonction de la longueur du contexte cible, en employant des facteurs d’échelle plus importants pour les incorporations RoPE afin de prendre en charge les séquences étendues et d’atténuer la dégradation des performances aux longueurs maximales.
Pour les données de formation, les chercheurs ont sous-échantillonné des ensembles de données SFT de haute qualité couvrant les domaines généraux, mathématiques et de code. Ils ont en outre utilisé GPT-4o et GPT-4o-mini pour affiner les réponses et effectuer une décontamination rigoureuse des données, garantissant la qualité et la fiabilité des données de formation.
Dévoilement de la performance des modèles UltraLong
Les modèles proposés présentent des capacités de récupération à long contexte supérieures, comme le démontre le test de récupération de passkey ‘Aiguille dans une botte de foin’. Alors que les modèles de base comme Llama-3-8B-Instruct-Gradient-1048k réussissent le test, d’autres modèles comme Llama3.1-8B-Instruct et Llama-3-8B-ProLong-512k-Instruct présentent des erreurs. En revanche, les modèles UltraLong atteignent une précision de 100 % sur toutes les longueurs et profondeurs d’entrée, mettant en évidence leurs remarquables capacités de récupération.
De plus, les modèles UltraLong atteignent les scores moyens les plus élevés sur RULER pour les entrées jusqu’à 512K et 1M de tokens, les scores F1 les plus élevés sur LV-Eval dans les longueurs de tokens de 128K et 256K, et la meilleure performance sur InfiniteBench. Ces résultats soulignent la capacité des modèles à traiter et à raisonner efficacement sur des séquences extrêmement longues.
Les modèles maintiennent également une forte performance dans les domaines général, mathématiques et de code, avec des scores moyens de 62,47, 61,06 et 60,95, dépassant le score du modèle de base de 61,45. Cela démontre la polyvalence des modèles et leur capacité à se généraliser à différents types de tâches.
Avantages clés de l’approche UltraLong
- Fenêtre de contexte étendue : Les modèles UltraLong peuvent traiter des séquences allant jusqu’à 4 millions de tokens, dépassant considérablement les capacités des LLM traditionnels.
- Performance de pointe : Les modèles atteignent une performance de pointe sur une variété de benchmarks à long contexte.
- Améliorations équilibrées : Les modèles présentent des améliorations équilibrées pour les tâches à contexte long et court.
- Formation efficace : La recette de formation est efficace et peut être mise en œuvre avec des ressources computationnelles raisonnables.
- Polyvalence : Les modèles maintiennent une forte performance dans les domaines général, mathématiques et de code.
Orientations et considérations futures
Bien que l’approche UltraLong représente une avancée significative dans le domaine des LLM, il existe encore des domaines pour la recherche et l’amélioration futures. L’approche actuelle se concentre uniquement sur SFT sur les ensembles de données d’instructions pendant l’étape de réglage des instructions, sans explorer l’apprentissage par renforcement ou l’optimisation des préférences. L’intégration de ces techniques pourrait potentiellement conduire à d’autres gains de performance.
Une autre considération importante est l’alignement de la sécurité. L’approche actuelle n’aborde pas explicitement les préoccupations en matière de sécurité, et les recherches futures devraient se concentrer sur l’incorporation de mécanismes d’alignement de la sécurité pour garantir que les modèles génèrent des sorties sûres et responsables.
D’autres recherches pourraient également explorer des stratégies de réglage avancées pour améliorer encore la performance et la fiabilité. Cela pourrait impliquer des techniques telles que la formation contradictoire, l’apprentissage curriculaire et l’apprentissage par transfert.
L’impact des modèles à contexte ultra-long
Le développement de modèles linguistiques à contexte ultra-long a le potentiel de révolutionner un large éventail d’applications, notamment :
- Compréhension de documents : Les modèles à contexte ultra-long peuvent être utilisés pour analyser et résumer de longs documents, tels que des contrats juridiques, des articles scientifiques et des rapports financiers.
- Compréhension vidéo : Ces modèles peuvent être utilisés pour comprendre et analyser des vidéos, permettant des applications telles que la synthèse vidéo, la recherche vidéo et le sous-titrage vidéo.
- Apprentissage en contexte : Les modèles à contexte ultra-long peuvent être utilisés pour effectuer un apprentissage en contexte, où le modèle apprend à partir d’un petit nombre d’exemples fournis dans l’entrée.
- Mise à l’échelle au moment de l’inférence : Ces modèles peuvent être utilisés pour améliorer l’efficacité de l’inférence, permettant un déploiement plus rapide et plus évolutif des LLM.
- Recherche scientifique : Les modèles à contexte ultra-long peuvent aider à analyser de grands ensembles de données dans des domaines tels que la génomique, l’astrophysique et les sciences du climat, accélérant les découvertes et les idées.
- Analyse historique : En traitant de vastes textes historiques, ces modèles peuvent découvrir des modèles, des relations et des idées qu’il serait difficile voire impossible de discerner manuellement.
- Développement de logiciels : Ces modèles peuvent analyser de grandes bases de code, identifier les bogues et suggérer des améliorations, rationalisant ainsi le processus de développement de logiciels.
- Écriture créative : Les modèles à contexte ultra-long peuvent aider les écrivains à créer des récits complexes, à maintenir la cohérence et à générer un contenu engageant.
- Éducation personnalisée : En comprenant l’historique d’apprentissage et les préférences d’un étudiant, ces modèles peuvent fournir des expériences éducatives personnalisées adaptées aux besoins individuels.
Conclusion
Le modèle UltraLong-8B de NVIDIA et la recette de formation associée représentent un bond en avant significatif dans la quête de la construction de LLM capables de traiter et de raisonner sur des séquences extrêmement longues. En combinant une pré-formation continue efficace avec le réglage des instructions, les chercheurs ont créé un modèle qui atteint une performance de pointe sur une variété de benchmarks à long contexte tout en maintenant une performance compétitive sur les tâches standard. Bien qu’il y ait encore des domaines pour la recherche et l’amélioration futures, l’approche UltraLong a le potentiel de révolutionner un large éventail d’applications et de débloquer de nouvelles possibilités pour les LLM.