La promesse de l’AGI
Dans le domaine en plein essor de l’intelligence artificielle, le concept d’’intelligence artificielle générale’ (AGI) est devenu une perspective alléchante. Les leaders de l’industrie suggèrent de plus en plus que nous sommes sur le point de créer des agents virtuels capables d’égaler, voire de surpasser, la compréhension et les performances humaines dans un large éventail de tâches cognitives. Cette anticipation a alimenté une course entre les entreprises technologiques, chacune s’efforçant d’être la première à franchir cette étape révolutionnaire.
OpenAI, un acteur majeur dans le domaine de l’IA, laisse subtilement entendre l’arrivée imminente d’un agent d’IA de ‘niveau doctorat’. Cet agent, suggèrent-ils, pourrait fonctionner de manière autonome, en performant au niveau d’un ‘travailleur du savoir à revenu élevé’. Elon Musk, l’entrepreneur toujours ambitieux, a fait des prédictions encore plus audacieuses, affirmant que nous aurons probablement une IA ‘plus intelligente que n’importe quel humain’ d’ici la fin de 2025. Dario Amodei, PDG d’Anthropic, une autre société d’IA de premier plan, propose un calendrier légèrement plus conservateur mais partage une vision similaire, suggérant que l’IA pourrait être ‘meilleure que les humains dans presque tout’ d’ici la fin de 2027.
L’expérience ‘Claude Plays Pokémon’ d’Anthropic
Dans ce contexte de prédictions ambitieuses, Anthropic a présenté le mois dernier son expérience ‘Claude Plays Pokémon’. Ce projet, présenté comme un pas vers l’avenir de l’AGI prédit, a été décrit comme présentant des ‘lueurs de systèmes d’IA qui s’attaquent aux défis avec une compétence croissante, non seulement par l’entraînement, mais aussi par un raisonnement généralisé’. Anthropic a attiré une attention considérable en soulignant comment les ‘capacités de raisonnement améliorées’ de Claude 3.7 Sonnet ont permis au dernier modèle de l’entreprise de progresser dans le RPG classique de Game Boy, Pokémon, d’une manière que ‘les anciens modèles avaient peu d’espoir de réaliser’.
La société a souligné que la ‘pensée étendue’ de Claude 3.7 Sonnet permettait au nouveau modèle de ‘planifier à l’avance, de se souvenir de ses objectifs et de s’adapter lorsque les stratégies initiales échouent’. Selon Anthropic, il s’agit là de ‘compétences essentielles pour combattre les champions d’arène pixélisés. Et, nous le postulons, pour résoudre également des problèmes du monde réel’. L’implication était claire : les progrès de Claude dans Pokémon n’étaient pas qu’un simple jeu ; c’était une démonstration de la capacité naissante de l’IA à s’attaquer à des défis complexes du monde réel.
Le retour à la réalité : les difficultés de Claude
Cependant, l’enthousiasme initial entourant les performances de Claude dans Pokémon a été tempéré par une dose de réalité. Bien que Claude 3.7 Sonnet ait indéniablement surpassé ses prédécesseurs, il n’a pas maîtrisé le jeu. Des milliers de spectateurs sur Twitch ont été témoins des difficultés persistantes de Claude, observant ses fréquents faux pas et ses inefficacités.
Malgré des pauses de ‘réflexion’ prolongées entre les mouvements – au cours desquelles les spectateurs peuvent observer le processus de raisonnement simulé du système – Claude se retrouve souvent à :
- Revisiter des villes déjà terminées : L’IA retourne fréquemment dans des zones qu’elle a déjà explorées, apparemment sans but.
- Se coincer dans des coins sans issue : Claude se retrouve souvent piégé dans des coins de la carte pendant de longues périodes, incapable de s’en sortir.
- Interagir à plusieurs reprises avec des PNJ inutiles : L’IA a été observée en train d’engager des conversations infructueuses avec les mêmes personnages non-joueurs encore et encore.
Ces exemples de performances en jeu nettement inférieures à celles d’un humain brossent un tableau bien éloigné de la superintelligence envisagée par certains. En regardant Claude se débattre avec un jeu conçu pour les enfants, il devient difficile d’imaginer que nous assistons à l’aube d’une nouvelle ère de l’intelligence informatique.
Leçons tirées des performances inférieures à celles de l’homme
Malgré ses lacunes, le niveau actuel de performance de Claude dans Pokémon offre des informations précieuses sur la quête en cours d’une intelligence artificielle généralisée de niveau humain. Même ses difficultés recèlent des leçons importantes qui pourraient éclairer les futurs efforts de développement.
D’une certaine manière, il est remarquable que Claude puisse jouer à Pokémon. Lors du développement de systèmes d’IA pour des jeux comme le Go et Dota 2, les ingénieurs fournissent généralement à leurs algorithmes une connaissance approfondie des règles et des stratégies du jeu, ainsi qu’une fonction de récompense pour guider leur apprentissage. En revanche, David Hershey, le développeur à l’origine du projet Claude Plays Pokémon, a commencé avec un modèle Claude généralisé non modifié qui n’avait pas été spécifiquement entraîné ou réglé pour jouer à des jeux Pokémon.
Hershey a expliqué à Ars : ‘C’est purement les diverses autres choses que [Claude] comprend du monde qui sont utilisées pour pointer vers les jeux vidéo’. Il a ajouté : ‘Il a donc une idée de ce qu’est un Pokémon. Si vous allez sur claude.ai et que vous posez des questions sur Pokémon, il sait ce qu’est Pokémon en fonction de ce qu’il a lu… Si vous demandez, il vous dira qu’il y a huit badges de champion, il vous dira que le premier est Pierre… il connaît la structure générale’.
Les défis de l’interprétation visuelle
En plus de surveiller les adresses RAM clés de la Game Boy pour obtenir des informations sur l’état du jeu, Claude interprète la sortie visuelle du jeu comme le ferait un joueur humain. Cependant, malgré les récentes avancées en matière de traitement d’image par l’IA, Claude a encore du mal à interpréter le monde pixélisé et basse résolution d’une capture d’écran de Game Boy avec la même précision qu’un humain.
‘Claude n’est toujours pas particulièrement doué pour comprendre ce qui se passe à l’écran’, a admis Hershey. ‘Vous le verrez essayer de marcher dans les murs tout le temps’.
Hershey soupçonne que les données d’entraînement de Claude manquent probablement de descriptions textuelles détaillées d’images ressemblant à des écrans de Game Boy. Cela signifie que, de manière quelque peu contre-intuitive, Claude pourrait en fait mieux performer avec des images plus réalistes.
‘C’est l’une de ces choses amusantes à propos des humains que nous pouvons loucher sur ces amas de pixels de huit par huit de personnes et dire : ‘C’est une fille aux cheveux bleus’’, a noté Hershey. ‘Les gens, je pense, ont cette capacité à faire correspondre notre monde réel pour comprendre et en quelque sorte saisir cela… donc je suis honnêtement assez surpris que Claude soit aussi bon pour être capable de voir qu’il y a une personne à l’écran’.
Des forces différentes, des faiblesses différentes
Même avec une interprétation visuelle parfaite, Hershey pense que Claude aurait encore du mal avec les défis de navigation 2D qui sont triviaux pour les humains. ‘Il est assez facile pour moi de comprendre qu’un bâtiment [dans le jeu] est un bâtiment et que je ne peux pas traverser un bâtiment’, a-t-il déclaré. ‘Et c’est [quelque chose] qui est assez difficile à comprendre pour Claude… C’est drôle parce que c’est juste intelligent de différentes manières, vous savez ?’
Selon Hershey, Claude excelle dans les aspects les plus textuels du jeu. Pendant les combats, Claude remarque facilement lorsque le jeu indique que l’attaque d’un Pokémon de type électrique n’est ‘pas très efficace’ contre un adversaire de type roche. Il stocke ensuite cette information dans sa vaste base de connaissances écrites pour référence future. Claude peut également intégrer plusieurs éléments de connaissance dans des stratégies de combat sophistiquées, étendant même ces stratégies à des plans à long terme pour capturer et gérer des équipes de Pokémon.
Claude fait même preuve d’une ‘intelligence’ surprenante lorsque le texte du jeu est intentionnellement trompeur ou incomplet. Hershey a cité une tâche du début du jeu où le joueur doit trouver le professeur Chen à côté, pour découvrir qu’il n’est pas là. ‘Quand j’avais 5 ans, c’était très déroutant pour moi’, a déclaré Hershey. ‘Mais Claude passe généralement par la même série de mouvements où il parle à maman, va au laboratoire, ne trouve pas [Chen], dit : ‘Je dois trouver quelque chose’… Il est assez sophistiqué pour passer par les mouvements de la façon dont [les humains sont] censés l’apprendre, aussi’.
Ces forces et faiblesses contrastées, par rapport au jeu de niveau humain, reflètent l’état général de la recherche et des capacités de l’IA, a expliqué Hershey. ‘Je pense que c’est juste une sorte de chose universelle à propos de ces modèles… Nous avons construit le côté texte en premier, et le côté texte est définitivement… plus puissant. La façon dont ces modèles peuvent raisonner sur les images s’améliore, mais je pense que c’est un peu en retard’.
Les limites de la mémoire
Au-delà des défis liés à l’interprétation visuelle et textuelle, Hershey a reconnu que Claude avait du mal à ‘se souvenir’ de ce qu’il a appris. Le modèle actuel a une ‘fenêtre contextuelle’ de 200 000 jetons, ce qui limite la quantité d’informations relationnelles qu’il peut stocker dans sa ‘mémoire’ à un moment donné. Lorsque la base de connaissances en expansion du système remplit cette fenêtre, Claude subit un processus de résumé élaboré, condensant des notes détaillées en résumés plus courts qui perdent inévitablement certains détails précis.
Cela peut conduire Claude à ‘avoir du mal à garder une trace des choses pendant très longtemps et à avoir vraiment une bonne idée de ce qu’il a essayé jusqu’à présent’, a déclaré Hershey. ‘Vous le verrez certainement supprimer occasionnellement quelque chose qu’il n’aurait pas dû. Tout ce qui n’est pas dans votre base de connaissances ou dans votre résumé va disparaître, vous devez donc réfléchir à ce que vous voulez y mettre’.
Les dangers des informations incorrectes
Plus problématique que l’oubli d’informations importantes est la tendance de Claude à insérer par inadvertance des informations incorrectes dans sa base de connaissances. Comme un théoricien du complot construisant une vision du monde sur une prémisse erronée, Claude peut être remarquablement lent à reconnaître quand une erreur dans sa base de connaissances auto-écrite égare son jeu Pokémon.
‘Les choses qui sont écrites dans le passé, il leur fait confiance assez aveuglément’, a déclaré Hershey. ‘Je l’ai vu devenir très convaincu qu’il avait trouvé la sortie de [l’emplacement du jeu] la Forêt de Jade à des coordonnées spécifiques, puis il passe des heures et des heures à explorer un petit carré autour de ces coordonnées qui sont fausses au lieu de faire autre chose. Il lui faut très longtemps pour décider que c’était un ‘échec’’.
Malgré ces défis, Hershey a noté que Claude 3.7 Sonnet est significativement meilleur que les modèles précédents pour ‘remettre en question ses hypothèses, essayer de nouvelles stratégies et garder une trace sur de longs horizons de diverses stratégies pour [voir] si elles fonctionnent ou non’. Bien que le nouveau modèle ‘se débatte encore pendant de très longues périodes’ en réessayant les mêmes actions, il a finalement tendance à ‘avoir une idée de ce qui se passe et de ce qu’il a essayé auparavant, et il trébuche souvent sur de réels progrès à partir de cela’, a déclaré Hershey.
La voie à suivre
L’un des aspects les plus fascinants de l’observation de Claude Plays Pokémon à travers de multiples itérations, a déclaré Hershey, est de voir comment les progrès et la stratégie du système peuvent varier considérablement d’une partie à l’autre. Parfois, Claude démontre sa ‘capacité à construire une stratégie assez cohérente’ en ‘gardant des notes détaillées sur les différents chemins à essayer’, a-t-il expliqué. Mais ‘la plupart du temps, il ne le fait pas… la plupart du temps, il erre dans le mur parce qu’il est convaincu qu’il voit la sortie’.
L’une des principales limites de la version actuelle de Claude, selon Hershey, est que ‘quand il dérive cette bonne stratégie, je ne pense pas qu’il ait nécessairement la conscience de soi pour savoir qu’une stratégie [qu’il] a trouvée est meilleure qu’une autre’. Et cela, a-t-il reconnu, n’est pas un problème trivial à résoudre.
Néanmoins, Hershey voit des ‘fruits à portée de main’ pour améliorer le jeu Pokémon de Claude en améliorant la compréhension du modèle des captures d’écran de Game Boy. ‘Je pense qu’il y a une chance qu’il puisse battre le jeu s’il avait une idée parfaite de ce qui est à l’écran’, a-t-il déclaré, suggérant qu’un tel modèle fonctionnerait probablement ‘un peu en deçà de l’humain’.
L’élargissement de la fenêtre contextuelle pour les futurs modèles Claude leur permettra également probablement de ‘raisonner sur des périodes plus longues et de gérer les choses de manière plus cohérente sur une longue période’, a ajouté Hershey. Les futurs modèles s’amélioreront en devenant ‘un peu meilleurs pour se souvenir, garder une trace d’un ensemble cohérent de ce qu’il doit essayer pour progresser’, a-t-il déclaré.
Bien que la perspective d’améliorations imminentes des modèles d’IA soit indéniable, les performances actuelles de Claude dans Pokémon ne suggèrent pas qu’il est sur le point d’inaugurer une ère d’intelligence artificielle de niveau humain et entièrement généralisable. Hershey a concédé que regarder Claude 3.7 Sonnet se coincer sur le Mont Sélénite pendant 80 heures peut donner l’impression d’un ‘modèle qui ne sait pas ce qu’il fait’.
Cependant, Hershey reste impressionné par les lueurs occasionnelles de conscience que le nouveau modèle de raisonnement de Claude affiche, notant qu’il ‘dira parfois qu’il ne sait pas ce qu’il fait et qu’il sait qu’il doit faire quelque chose de différent. Et la différence entre ‘ne peut pas le faire du tout’ et ‘peut en quelque sorte le faire’ est assez grande pour ces choses d’IA pour moi’, a-t-il poursuivi. ‘Vous savez, quand quelque chose peut en quelque sorte faire quelque chose, cela signifie généralement que nous sommes assez proches de le faire faire quelque chose de vraiment, vraiment bien’.