L’arrivée de grands modèles de langage (LLM) comme GPT-4 d’OpenAI et Llama-3 de Meta, ainsi que de modèles de raisonnement plus récents tels que o1 et DeepSeek-R1, a indéniablement repoussé les limites de ce que l’intelligence artificielle peut accomplir. Cependant, même avec ces avancées, des obstacles importants subsistent, notamment en ce qui concerne la gestion de domaines de connaissances spécialisés. Ces modèles, bien qu’impressionnants à bien des égards, trébuchent souvent lorsqu’ils sont confrontés aux subtilités et aux nuances de domaines spécifiques. Cette limitation souligne un besoin crucial d’une évaluation soigneuse et contextuelle des systèmes d’IA, en particulier lorsqu’ils passent de LLM fondamentaux à des systèmes plus autonomes et agentiques.
Benchmarks Spécifiques aux Domaines et Industriels
L’évaluation comparative (benchmarking) joue un rôle vital dans l’appréciation des LLM, fournissant une méthode structurée pour évaluer les forces et les faiblesses dans diverses applications. Des benchmarks bien construits offrent aux développeurs un moyen efficace et rentable de suivre les progrès du modèle, d’identifier les domaines à améliorer et de comparer les performances par rapport à d’autres modèles. Bien que le domaine ait connu des progrès substantiels dans la création de benchmarks pour les capacités générales des LLM, il reste une lacune notable dans les domaines spécialisés. Ces domaines, qui incluent des secteurs comme la comptabilité, la finance, la médecine, le droit, la physique, les sciences naturelles et le développement de logiciels, exigent un niveau de connaissances approfondies et nécessitent des méthodes d’évaluation robustes qui dépassent souvent la portée des benchmarks à usage général.
Par exemple, même les mathématiques de niveau universitaire, un domaine apparemment fondamental, ne sont pas évaluées de manière adéquate par les benchmarks généraux existants. Ceux-ci se concentrent souvent soit sur des problèmes rudimentaires, soit sur des tâches très difficiles, telles que celles que l’on trouve dans les compétitions de niveau Olympiade. Cela laisse un vide dans l’évaluation des mathématiques appliquées pertinentes pour les programmes universitaires et les applications du monde réel.
Pour combler cette lacune, un benchmark dédié, U-MATH, a été développé pour fournir une évaluation complète des capacités mathématiques de niveau universitaire. Des tests effectués à l’aide de ce benchmark sur les principaux LLM, y compris o1 et R1, ont donné des informations intéressantes. Les résultats ont clairement montré que les systèmes de raisonnement occupent une catégorie distincte. Le modèle o1 d’OpenAI était en tête, résolvant avec succès 77,2 % des tâches, suivi de DeepSeek R1 à 73,7 %. Notamment, les performances de R1 sur U-MATH étaient inférieures à celles de o1, contrairement à ses scores plus élevés sur d’autres benchmarks mathématiques comme AIME et MATH-500. D’autres modèles les plus performants ont présenté un écart de performance significatif, Gemini 1.5 Pro résolvant 60 % des tâches et GPT-4 atteignant 43 %. Il est intéressant de noter qu’un modèle plus petit, spécialisé en mathématiques, de la famille Qwen 2.5 Math, a également démontré des résultats compétitifs.
Ces résultats ont des implications pratiques importantes pour la prise de décision. Les benchmarks spécifiques à un domaine permettent aux ingénieurs de comprendre comment différents modèles fonctionnent dans leurs contextes spécifiques. Pour les domaines de niche dépourvus de benchmarks fiables, les équipes de développement peuvent entreprendre leurs propres évaluations ou collaborer avec des partenaires de données pour créer des benchmarks personnalisés. Ces benchmarks personnalisés peuvent ensuite être utilisés pour comparer leur modèle à d’autres et pour évaluer en continu les nouvelles versions du modèle après des itérations d’affinage. Cette approche sur mesure garantit que le processus d’évaluation est directement pertinent pour l’application envisagée, fournissant des informations plus significatives que les benchmarks génériques.
Benchmarks de Sécurité
L’importance de la sécurité dans les systèmes d’IA ne saurait être surestimée, et une nouvelle vague de benchmarks émerge pour aborder cet aspect critique. Ces benchmarks visent à rendre l’évaluation de la sécurité plus accessible et standardisée. Un exemple est AILuminate, un outil conçu pour évaluer les risques de sécurité des LLM à usage général. AILuminate évalue la propension d’un modèle à cautionner des comportements préjudiciables dans un éventail de 12 catégories, englobant les crimes violents, les violations de la vie privée et d’autres domaines de préoccupation. L’outil attribue un score de 5 points, allant de ‘Médiocre’ à ‘Excellent’, pour chaque catégorie. Ces scores permettent aux décideurs de comparer les modèles et d’acquérir une compréhension plus claire de leurs risques de sécurité relatifs.
Bien qu’AILuminate représente une avancée significative en tant que l’un des benchmarks de sécurité à usage général les plus complets disponibles, il n’approfondit pas les risques individuels associés à des domaines ou industries spécifiques. À mesure que les solutions d’IA sont de plus en plus intégrées dans divers secteurs, les entreprises reconnaissent le besoin d’évaluations de sécurité plus ciblées. Il existe une demande croissante d’expertise externe en matière d’évaluations de sécurité qui fournissent une compréhension plus approfondie de la performance des LLM dans des contextes spécialisés. Cela garantit que les systèmes d’IA répondent aux exigences de sécurité uniques d’audiences et de cas d’utilisation particuliers, atténuant les risques potentiels et favorisant la confiance.
Benchmarks pour les Agents d’IA
La croissance anticipée des agents d’IA dans les années à venir stimule le développement de benchmarks spécialisés adaptés à leurs capacités uniques. Les agents d’IA sont des systèmes autonomes capables d’interpréter leur environnement, de prendre des décisions éclairées et d’exécuter des actions pour atteindre des objectifs spécifiques. Les exemples incluent les assistants virtuels sur les smartphones qui traitent les commandes vocales, répondent aux requêtes et effectuent des tâches telles que la planification de rappels ou l’envoi de messages.
Les benchmarks pour les agents d’IA doivent aller au-delà de la simple évaluation des capacités du LLM sous-jacent. Ils doivent mesurer la performance de ces agents dans des scénarios pratiques et réels, alignés sur leur domaine et leur application prévus. Les critères de performance pour un assistant RH, par exemple, différeraient considérablement de ceux d’un agent de santé diagnostiquant des conditions médicales, reflétant les différents niveaux de risque associés à chaque application.
Des cadres de benchmarking robustes seront cruciaux pour fournir une alternative plus rapide et plus évolutive à l’évaluation humaine. Ces cadres permettront aux décideurs de tester efficacement les systèmes d’agents d’IA une fois que les benchmarks seront établis pour des cas d’utilisation spécifiques. Cette évolutivité est essentielle pour suivre le rythme des avancées rapides de la technologie des agents d’IA.
Le Benchmarking est un Processus Adaptatif
Le benchmarking sert de pierre angulaire pour comprendre les performances réelles des grands modèles de langage. Au cours des deux dernières années, l’objectif du benchmarking a évolué, passant du test des capacités générales à l’évaluation des performances dans des domaines spécifiques, notamment les connaissances industrielles de niche, la sécurité et les capacités des agents.
À mesure que les systèmes d’IA continuent de progresser, les méthodologies de benchmarking doivent s’adapter pour rester pertinentes et efficaces. Des benchmarks très complexes, tels que Humanity’s Last Exam et FrontierMath, ont attiré une attention considérable au sein de l’industrie, soulignant le fait que les LLM sont encore loin de l’expertise humaine sur des questions difficiles. Cependant, ces benchmarks ne fournissent pas une image complète.
Le succès dans des problèmes très complexes ne se traduit pas nécessairement par des performances élevées dans les applications pratiques. Le benchmark GAIA pour les assistants d’IA généraux démontre que les systèmes d’IA avancés peuvent exceller dans les questions difficiles tout en ayant des difficultés avec des tâches plus simples. Par conséquent, lors de l’évaluation des systèmes d’IA pour un déploiement dans le monde réel, il est crucial de sélectionner soigneusement les benchmarks qui correspondent au contexte spécifique de l’application. Cela garantit que le processus d’évaluation reflète fidèlement les capacités et les limites du système dans l’environnement prévu. Le développement et le perfectionnement continus des benchmarks sont essentiels pour garantir que les systèmes d’IA sont fiables, sûrs et bénéfiques dans divers secteurs et applications.