La promesa de la AGI
En el floreciente campo de la inteligencia artificial, el concepto de ‘inteligencia artificial general’ (AGI, por sus siglas en inglés) se ha convertido en una perspectiva tentadora. Los líderes de la industria sugieren cada vez más que estamos en la cúspide de la creación de agentes virtuales capaces de igualar, o incluso superar, la comprensión y el rendimiento humanos en una amplia gama de tareas cognitivas. Esta anticipación ha alimentado una carrera entre las empresas tecnológicas, cada una esforzándose por ser la primera en alcanzar este hito revolucionario.
OpenAI, un actor importante en el campo de la IA, insinúa sutilmente la inminente llegada de un agente de IA de ‘nivel de doctorado’. Este agente, sugieren, podría operar de forma autónoma, rindiendo al nivel de un ‘trabajador del conocimiento de altos ingresos’. Elon Musk, el emprendedor siempre ambicioso, ha hecho predicciones aún más audaces, afirmando que probablemente tendremos una IA ‘más inteligente que cualquier humano’ para finales de 2025. Dario Amodei, CEO de Anthropic, otra destacada empresa de IA, ofrece una línea de tiempo ligeramente más conservadora, pero comparte una visión similar, sugiriendo que la IA podría ser ‘mejor que los humanos en casi todo’ para finales de 2027.
El experimento ‘Claude Plays Pokémon’ de Anthropic
En este contexto de predicciones ambiciosas, Anthropic presentó su experimento ‘Claude Plays Pokémon’ el mes pasado. Este proyecto, presentado como un paso hacia el futuro previsto de la AGI, se describió como una muestra de ‘destellos de sistemas de IA que abordan los desafíos con una competencia cada vez mayor, no solo a través del entrenamiento, sino con un razonamiento generalizado’. Anthropic atrajo una atención significativa al destacar cómo las ‘capacidades de razonamiento mejoradas’ de Claude 3.7 Sonnet permitieron al último modelo de la compañía progresar en el clásico RPG de Game Boy, Pokémon, de maneras que ‘los modelos más antiguos tenían pocas esperanzas de lograr’.
La compañía enfatizó que el ‘pensamiento extendido’ de Claude 3.7 Sonnet permitió al nuevo modelo ‘planificar con anticipación, recordar sus objetivos y adaptarse cuando las estrategias iniciales fallan’. Estas, argumentó Anthropic, son ‘habilidades críticas para luchar contra los líderes de gimnasio pixelados. Y, postulamos, también para resolver problemas del mundo real’. La implicación era clara: el progreso de Claude en Pokémon no era solo un juego; era una demostración de la creciente capacidad de la IA para abordar desafíos complejos del mundo real.
La realidad: las dificultades de Claude
Sin embargo, el entusiasmo inicial en torno al desempeño de Claude en Pokémon se ha visto atenuado por una dosis de realidad. Si bien Claude 3.7 Sonnet indudablemente superó a sus predecesores, no ha logrado dominar el juego. Miles de espectadores en Twitch han sido testigos de las continuas dificultades de Claude, observando sus frecuentes errores e ineficiencias.
A pesar de las pausas de ‘pensamiento’ extendidas entre movimientos, durante las cuales los espectadores pueden observar el proceso de razonamiento simulado del sistema, Claude a menudo se encuentra:
- Revisitando ciudades completadas: La IA regresa con frecuencia a áreas que ya ha explorado, aparentemente sin propósito.
- Atascándose en esquinas ciegas: Claude a menudo queda atrapado en las esquinas del mapa durante períodos prolongados, incapaz de encontrar la salida.
- Interactuando repetidamente con NPC inútiles: Se ha observado que la IA entabla conversaciones infructuosas con los mismos personajes no jugadores una y otra vez.
Estos ejemplos de rendimiento en el juego claramente inferior al humano pintan una imagen muy alejada de la superinteligencia imaginada por algunos. Al ver a Claude luchar con un juego diseñado para niños, se vuelve difícil imaginar que estamos presenciando el amanecer de una nueva era de inteligencia informática.
Lecciones del rendimiento subhumano
A pesar de sus deficiencias, el nivel actual de rendimiento de Claude en Pokémon ofrece información valiosa sobre la búsqueda continua de una inteligencia artificial generalizada de nivel humano. Incluso sus dificultades contienen lecciones significativas que podrían informar los futuros esfuerzos de desarrollo.
En cierto sentido, es notable que Claude pueda jugar Pokémon en absoluto. Al desarrollar sistemas de IA para juegos como Go y Dota 2, los ingenieros normalmente proporcionan a sus algoritmos un amplio conocimiento de las reglas y estrategias del juego, junto con una función de recompensa para guiar su aprendizaje. En contraste, David Hershey, el desarrollador detrás del proyecto Claude Plays Pokémon, comenzó con un modelo Claude generalizado y no modificado que no había sido entrenado ni ajustado específicamente para jugar juegos de Pokémon.
Hershey explicó a Ars: ‘Esto es puramente las diversas otras cosas que [Claude] entiende sobre el mundo que se utilizan para apuntar a los videojuegos’. Añadió: ‘Así que tiene una idea de un Pokémon. Si vas a claude.ai y preguntas sobre Pokémon, sabe qué es Pokémon basándose en lo que ha leído… Si preguntas, te dirá que hay ocho medallas de gimnasio, te dirá que la primera es Brock… conoce la estructura general’.
Los desafíos de la interpretación visual
Además de monitorear las direcciones clave de la RAM de Game Boy para obtener información sobre el estado del juego, Claude interpreta la salida visual del juego de manera muy similar a como lo haría un jugador humano. Sin embargo, a pesar de los recientes avances en el procesamiento de imágenes de IA, Claude todavía tiene dificultades para interpretar el mundo pixelado de baja resolución de una captura de pantalla de Game Boy con la misma precisión que un humano.
‘Claude todavía no es particularmente bueno para entender lo que hay en la pantalla’, admitió Hershey. ‘Lo verás intentar caminar hacia las paredes todo el tiempo’.
Hershey sospecha que los datos de entrenamiento de Claude probablemente carecen de descripciones textuales detalladas de imágenes que se asemejen a las pantallas de Game Boy. Esto significa que, de manera algo contraintuitiva, Claude podría funcionar mejor con imágenes más realistas.
‘Es una de esas cosas divertidas de los humanos que podemos entrecerrar los ojos ante estas manchas de píxeles de ocho por ocho de personas y decir: ‘Esa es una chica con cabello azul’’, señaló Hershey. ‘La gente, creo, tiene esa capacidad de mapear desde nuestro mundo real para entender y de alguna manera comprender eso… así que honestamente estoy un poco sorprendido de que Claude sea tan bueno como es para poder ver que hay una persona en la pantalla’.
Diferentes fortalezas, diferentes debilidades
Incluso con una interpretación visual perfecta, Hershey cree que Claude todavía tendría dificultades con los desafíos de navegación 2D que son triviales para los humanos. ‘Es bastante fácil para mí entender que un edificio [en el juego] es un edificio y que no puedo atravesar un edificio’, dijo. ‘Y eso es [algo] que es bastante desafiante para que Claude lo entienda… Es divertido porque es inteligente de diferentes maneras, ¿sabes?’.
Donde Claude sobresale, según Hershey, es en los aspectos más basados en texto del juego. Durante las batallas, Claude nota fácilmente cuando el juego indica que el ataque de un Pokémon de tipo eléctrico ‘no es muy efectivo’ contra un oponente de tipo roca. Luego almacena esta información en su vasta base de conocimientos escrita para referencia futura. Claude también puede integrar múltiples piezas de conocimiento en sofisticadas estrategias de batalla, incluso extendiendo estas estrategias a planes a largo plazo para capturar y administrar equipos de Pokémon.
Claude incluso demuestra una sorprendente ‘inteligencia’ cuando el texto del juego es intencionalmente engañoso o incompleto. Hershey citó una tarea al principio del juego en la que se le dice al jugador que encuentre al Profesor Oak al lado, solo para descubrir que no está allí. ‘Cuando tenía 5 años, eso fue muy confuso para mí’, dijo Hershey. ‘Pero Claude en realidad típicamente pasa por ese mismo conjunto de movimientos donde habla con mamá, va al laboratorio, no encuentra a [Oak], dice: ‘Necesito averiguar algo’… Es lo suficientemente sofisticado como para pasar por los movimientos de la forma en que se supone que [los humanos] realmente lo aprenden, también’.
Estas fortalezas y debilidades contrastantes, en comparación con el juego a nivel humano, reflejan el estado general de la investigación y las capacidades de la IA, explicó Hershey. ‘Creo que es una especie de cosa universal sobre estos modelos… Construimos el lado del texto primero, y el lado del texto es definitivamente… más poderoso. La forma en que estos modelos pueden razonar sobre las imágenes está mejorando, pero creo que está un poco por detrás’.
Los límites de la memoria
Más allá de los desafíos con la interpretación visual y textual, Hershey reconoció que Claude tiene dificultades para ‘recordar’ lo que ha aprendido. El modelo actual tiene una ‘ventana de contexto’ de 200.000 tokens, lo que limita la cantidad de información relacional que puede almacenar en su ‘memoria’ en un momento dado. Cuando la base de conocimientos en expansión del sistema llena esta ventana, Claude se somete a un elaborado proceso de resumen, condensando notas detalladas en resúmenes más cortos que inevitablemente pierden algunos detalles finos.
Esto puede llevar a que Claude ‘tenga dificultades para realizar un seguimiento de las cosas durante mucho tiempo y realmente tener una gran idea de lo que ha intentado hasta ahora’, dijo Hershey. ‘Definitivamente lo verás ocasionalmente eliminar algo que no debería haber eliminado. Cualquier cosa que no esté en tu base de conocimientos o no esté en tu resumen desaparecerá, así que tienes que pensar en lo que quieres poner allí’.
Los peligros de la información incorrecta
Más problemático que olvidar información importante es la tendencia de Claude a insertar inadvertidamente información incorrecta en su base de conocimientos. Como un teórico de la conspiración que construye una cosmovisión sobre una premisa errónea, Claude puede ser notablemente lento para reconocer cuándo un error en su base de conocimientos de autoría propia está desviando su juego de Pokémon.
‘Las cosas que están escritas en el pasado, las confía bastante ciegamente’, dijo Hershey. ‘Lo he visto convencerse mucho de que encontró la salida a [la ubicación del juego] Viridian Forest en unas coordenadas específicas, y luego pasa horas y horas explorando un pequeño cuadrado alrededor de esas coordenadas que están equivocadas en lugar de hacer cualquier otra cosa. Le toma mucho tiempo decidir que eso fue un ‘fracaso’’.
A pesar de estos desafíos, Hershey señaló que Claude 3.7 Sonnet es significativamente mejor que los modelos anteriores para ‘cuestionar sus suposiciones, probar nuevas estrategias y realizar un seguimiento a largo plazo de varias estrategias para [ver] si funcionan o no’. Si bien el nuevo modelo todavía ‘lucha durante períodos de tiempo realmente largos’ reintentando las mismas acciones, en última instancia tiende a ‘tener una idea de lo que está sucediendo y lo que ha intentado antes, y tropieza muchas veces con un progreso real a partir de eso’, dijo Hershey.
El camino a seguir
Uno de los aspectos más fascinantes de observar a Claude Plays Pokémon a través de múltiples iteraciones, dijo Hershey, es ver cómo el progreso y la estrategia del sistema pueden variar significativamente entre las ejecuciones. A veces, Claude demuestra su ‘capacidad de construir una estrategia bastante coherente’ al ‘mantener notas detalladas sobre los diferentes caminos a probar’, explicó. Pero ‘la mayoría de las veces no lo hace… la mayoría de las veces, se adentra en la pared porque está seguro de que ve la salida’.
Una de las principales limitaciones de la versión actual de Claude, según Hershey, es que ‘cuando deriva esa buena estrategia, no creo que necesariamente tenga la autoconciencia para saber que una estrategia [que] se le ocurrió es mejor que otra’. Y eso, reconoció, no es un problema trivial de resolver.
Sin embargo, Hershey ve ‘fruta madura’ para mejorar el juego de Pokémon de Claude al mejorar la comprensión del modelo de las capturas de pantalla de Game Boy. ‘Creo que existe la posibilidad de que pueda vencer el juego si tuviera una idea perfecta de lo que hay en la pantalla’, dijo, sugiriendo que tal modelo probablemente funcionaría ‘un poco por debajo del nivel humano’.
Expandir la ventana de contexto para los futuros modelos de Claude también les permitirá ‘razonar durante períodos de tiempo más largos y manejar las cosas de manera más coherente durante un largo período de tiempo’, agregó Hershey. Los modelos futuros mejorarán al ser ‘un poco mejores para recordar, mantener un conjunto coherente de lo que necesita intentar para progresar’, dijo.
Si bien la perspectiva de mejoras inminentes en los modelos de IA es innegable, el rendimiento actual de Claude en Pokémon no sugiere que esté a punto de marcar el comienzo de una era de inteligencia artificial de nivel humano y totalmente generalizable. Hershey admitió que ver a Claude 3.7 Sonnet atascarse en el Monte Moon durante 80 horas puede hacer que ‘parezca un modelo que no sabe lo que está haciendo’.
Sin embargo, Hershey sigue impresionado por los ocasionales destellos de conciencia que muestra el nuevo modelo de razonamiento de Claude, señalando que a veces ‘indicará que no sabe lo que está haciendo y sabe que necesita hacer algo diferente. Y la diferencia entre ‘no poder hacerlo en absoluto’ y ‘poder hacerlo un poco’ es bastante grande para estas cosas de IA para mí’, continuó. ‘Sabes, cuando algo puede hacer algo, por lo general significa que estamos bastante cerca de lograr que pueda hacer algo realmente, realmente bien’.