Analyse approfondie des modèles d'IA

L’Institut Vector présente une analyse approfondie des principaux modèles d’IA

L’Institut Vector du Canada a récemment publié les conclusions de son évaluation indépendante des principaux modèles de langage (LLM), offrant une perspective impartiale sur la façon dont ces modèles d’IA de pointe se mesurent à un ensemble complet de critères de performance. Cette étude examine méticuleusement les capacités de ces modèles à travers des tests de plus en plus difficiles qui couvrent les connaissances générales, les compétences en codage, la robustesse de la cybersécurité et d’autres domaines cruciaux. Les résultats offrent des informations essentielles sur les forces et les limites de ces principaux agents d’IA.

La prolifération des modèles d’IA et la nécessité de critères de référence

Le paysage de l’IA connaît une augmentation sans précédent du développement et de la publication de nouveaux LLM de plus en plus puissants. Chaque nouveau modèle promet des capacités améliorées, allant d’une génération de texte plus humaine à des capacités sophistiquées de résolution de problèmes et de prise de décision. Cette progression rapide souligne la nécessité cruciale de critères de référence largement adoptés et fiables pour assurer la sécurité de l’IA. Ces critères servent d’outils essentiels pour les chercheurs, les développeurs et les utilisateurs, leur permettant de comprendre en profondeur les caractéristiques de performance de ces modèles en termes d’exactitude, de fiabilité et d’équité. Une telle compréhension est primordiale pour le déploiement responsable des technologies d’IA.

L’étude de l’état de l’évaluation de l’Institut Vector

Dans son étude complète “État de l’évaluation”, l’équipe d’ingénierie de l’IA de Vector s’est attelée à la tâche d’évaluer 11 LLM de premier plan provenant de divers coins du globe. La sélection comprenait à la fois des modèles accessibles au public (“ouverts”), tels que DeepSeek-R1 et Command R+ de Cohere, et des modèles disponibles dans le commerce (“fermés”), notamment GPT-4o d’OpenAI et Gemini 1.5 de Google. Chaque agent d’IA a été soumis à un processus de test rigoureux impliquant 16 critères de performance distincts, ce qui en fait l’une des évaluations les plus exhaustives et indépendantes menées à ce jour.

Principaux critères de référence et critères d’évaluation

Les 16 critères de performance utilisés dans l’étude ont été soigneusement sélectionnés pour évaluer un large éventail de capacités essentielles au déploiement efficace et responsable des modèles d’IA. Ces critères comprenaient :

• Connaissances générales: Tests conçus pour évaluer la capacité du modèle à accéder et à utiliser des informations factuelles dans divers domaines.
• Compétences en codage: Évaluations qui mesurent la capacité du modèle à comprendre, générer et déboguer du code dans différents langages de programmation.
• Robustesse de la cybersécurité: Évaluations axées sur l’identification des vulnérabilités et l’évaluation de la résilience du modèle face aux menaces potentielles de cybersécurité.
• Raisonnement et résolution de problèmes: Critères qui testent la capacité du modèle à analyser des scénarios complexes, à tirer des conclusions logiques et à élaborer des solutions efficaces.
• Compréhension du langage naturel: Évaluations qui mesurent la capacité du modèle à comprendre et à interpréter le langage humain, y compris les expressions nuancées et les indices contextuels.
• Biais et équité: Évaluations conçues pour identifier et atténuer les biais potentiels dans les sorties du modèle, garantissant des résultats justes et équitables pour diverses populations.

En soumettant chaque modèle à cette suite complète de critères de référence, l’Institut Vector visait à fournir une compréhension holistique et nuancée de leurs capacités et de leurs limites.

L’importance d’une évaluation indépendante et objective

Deval Pandya, vice-président de l’ingénierie de l’IA chez Vector, souligne le rôle essentiel d’une évaluation indépendante et objective dans la compréhension des véritables capacités des modèles d’IA. Il déclare que de telles évaluations sont ‘essentielles pour comprendre comment les modèles fonctionnent en termes d’exactitude, de fiabilité et d’équité’. La disponibilité de critères de référence robustes et d’évaluations accessibles permet aux chercheurs, aux organisations et aux décideurs politiques d’acquérir une compréhension plus approfondie des forces, des faiblesses et de l’impact réel de ces modèles et systèmes d’IA en évolution rapide. En fin de compte, cela favorise une plus grande confiance dans les technologies d’IA et favorise leur développement et leur déploiement responsables.

Open-sourcing les résultats pour la transparence et l’innovation

Dans une démarche révolutionnaire, l’Institut Vector a rendu les résultats de son étude, les critères de référence utilisés et le code sous-jacent librement disponibles via un tableau de bord interactif. Cette initiative vise à promouvoir la transparence et à favoriser les progrès de l’innovation en matière d’IA. En open-sourçant ces informations précieuses, l’Institut Vector permet aux chercheurs, aux développeurs, aux régulateurs et aux utilisateurs finaux de vérifier indépendamment les résultats, de comparer les performances des modèles et de développer leurs propres critères de référence et évaluations. Cette approche collaborative devrait entraîner des améliorations des modèles d’IA et améliorer la responsabilité dans le domaine.

John Willes, responsable de l’infrastructure d’IA et de l’ingénierie de la recherche chez Vector, qui a dirigé le projet, souligne les avantages de cette approche open-source. Il note qu’elle permet aux parties prenantes de ‘vérifier indépendamment les résultats, de comparer les performances des modèles et de développer leurs propres critères de référence et évaluations pour stimuler les améliorations et la responsabilisation’.

Le tableau de bord interactif

Le tableau de bord interactif fournit une plateforme conviviale pour explorer les résultats de l’étude. Les utilisateurs peuvent :

• Comparer les performances des modèles: Afficher des comparaisons côte à côte des performances de différents modèles d’IA sur différents critères de référence.
• Analyser les résultats des critères de référence: Examiner en détail les résultats des critères de référence individuels pour acquérir une compréhension plus détaillée des capacités des modèles.
• Télécharger des données et du code: Accéder aux données et au code sous-jacents utilisés dans l’étude pour mener leurs propres analyses et expériences.
• Soumettre de nouveaux critères de référence: Soumettre leurs propres critères de référence pour inclusion dans les évaluations futures.

En fournissant ces ressources, l’Institut Vector favorise un écosystème collaboratif qui accélère l’avancement des technologies d’IA et promeut une innovation responsable.

S’appuyer sur le leadership de Vector en matière de sécurité de l’IA

Ce projet est une extension naturelle du leadership établi de Vector dans le développement de critères de référence largement utilisés dans la communauté mondiale de la sécurité de l’IA. Ces critères de référence incluent MMLU-Pro, MMMU et OS-World, qui ont été développés par les membres du corps professoral de l’Institut Vector et les chaires Canada CIFAR AI Wenhu Chen et Victor Zhong. L’étude s’appuie également sur les travaux récents de l’équipe d’ingénierie de l’IA de Vector pour développer Inspect Evals, une plateforme open-source de test de sécurité de l’IA créée en collaboration avec l’UK AI Security Institute. Cette plateforme vise à standardiser les évaluations de sécurité mondiales et à faciliter la collaboration entre les chercheurs et les développeurs.

MMLU-Pro, MMMU et OS-World

Ces critères de référence sont devenus des outils essentiels pour évaluer les capacités et les limites des modèles d’IA dans divers domaines :

• MMLU-Pro: Un critère de référence conçu pour évaluer la capacité des modèles d’IA à répondre à des questions dans un large éventail de sujets, notamment les sciences humaines, les sciences sociales et les domaines STEM.
• MMMU: Un critère de référence axé sur l’évaluation de la capacité des modèles d’IA à comprendre et à raisonner sur des données multimodales, telles que des images et du texte.
• OS-World: Un critère de référence qui teste la capacité des modèles d’IA à fonctionner dans des environnements complexes et ouverts, les obligeant à apprendre et à s’adapter à de nouvelles situations.

En contribuant ces critères de référence à la communauté de la sécurité de l’IA, l’Institut Vector a joué un rôle important dans l’avancement de la compréhension et du développement responsable des technologies d’IA.

Inspect Evals: Une plateforme collaborative pour les tests de sécurité de l’IA

Inspect Evals est une plateforme open-source conçue pour standardiser les évaluations de sécurité de l’IA et faciliter la collaboration entre les chercheurs et les développeurs. La plateforme fournit un cadre pour la création, l’exécution et le partage de tests de sécurité de l’IA, permettant aux chercheurs de :

• Développer des évaluations standardisées: Créer des évaluations rigoureuses et standardisées qui peuvent être utilisées pour comparer la sécurité de différents modèles d’IA.
• Partager des évaluations et des résultats: Partager leurs évaluations et leurs résultats avec la communauté de l’IA au sens large, favorisant la collaboration et la transparence.
• Identifier et atténuer les risques: Identifier et atténuer les risques potentiels associés aux technologies d’IA, en favorisant un développement et un déploiement responsables.

En favorisant la collaboration et la normalisation, Inspect Evals vise à accélérer le développement de systèmes d’IA plus sûrs et plus fiables.

Le rôle de Vector dans la promotion d’une adoption sûre et responsable de l’IA

Alors que les organisations cherchent de plus en plus à débloquer les avantages transformateurs de l’IA, Vector est idéalement placé pour fournir une expertise indépendante et fiable qui leur permet de le faire de manière sûre et responsable. Pandya souligne les programmes de l’institut dans lesquels ses partenaires industriels collaborent avec des chercheurs experts à l’avant-garde de la sécurité et de l’application de l’IA. Ces programmes fournissent un environnement de bac à sable précieux où les partenaires peuvent expérimenter et tester des modèles et des techniques pour relever leurs défis commerciaux spécifiques liés à l’IA.

Programmes de partenariat industriel

Les programmes de partenariat industriel de Vector offrent une gamme d’avantages, notamment :

• Accès à des chercheurs experts: Collaboration avec des chercheurs de premier plan en IA qui peuvent fournir des conseils et un soutien sur la sécurité et l’application de l’IA.
• Environnement de bac à sable: Accès à un environnement sécurisé et contrôlé pour expérimenter des modèles et des techniques d’IA.
• Solutions personnalisées: Développement de solutions d’IA personnalisées adaptées aux besoins et aux défis spécifiques de chaque partenaire.
• Transfert de connaissances: Possibilités de transfert de connaissances et de renforcement des capacités, permettant aux partenaires de développer leur propre expertise en IA.

En fournissant ces ressources, Vector aide les organisations à exploiter la puissance de l’IA tout en atténuant les risques potentiels et en garantissant un déploiement responsable.

Relever des défis commerciaux spécifiques

Les partenaires industriels de Vector proviennent d’un large éventail de secteurs, notamment les services financiers, l’innovation technologique et les soins de santé. Ces partenaires tirent parti de l’expertise de Vector pour relever divers défis commerciaux liés à l’IA, tels que :

• Détection des fraudes: Développement de modèles d’IA pour détecter et prévenir les activités frauduleuses dans les transactions financières.
• Médecine personnalisée: Utilisation de l’IA pour personnaliser les plans de traitement et améliorer les résultats des patients dans les soins de santé.
• Optimisation de la chaîne d’approvisionnement: Optimisation des opérations de la chaîne d’approvisionnement à l’aide de la prévision et de la gestion logistique basées sur l’IA.
• Détection des menaces de cybersécurité: Développement de systèmes d’IA pour détecter et répondre aux menaces de cybersécurité en temps réel.

En travaillant en étroite collaboration avec ses partenaires industriels, Vector contribue à stimuler l’innovation et à libérer le potentiel de transformation de l’IA dans divers secteurs.