A Promessa da AGI
No campo florescente da inteligência artificial, o conceito de “inteligência artificial geral” (AGI) tornou-se uma perspetiva tentadora. Os líderes da indústria sugerem cada vez mais que estamos à beira de criar agentes virtuais capazes de igualar, ou mesmo superar, a compreensão e o desempenho humanos numa ampla gama de tarefas cognitivas. Essa antecipação alimentou uma corrida entre as empresas de tecnologia, cada uma esforçando-se para ser a primeira a atingir esse marco inovador.
A OpenAI, um dos principais players na arena da IA, está a sugerir subtilmente a chegada iminente de um agente de IA de “nível de doutoramento”. Este agente, sugerem, poderia operar de forma autónoma, atuando ao nível de um “trabalhador do conhecimento de alta renda”. Elon Musk, o empreendedor sempre ambicioso, fez previsões ainda mais ousadas, afirmando que provavelmente teremos uma IA “mais inteligente do que qualquer ser humano” até ao final de 2025. Dario Amodei, CEO da Anthropic, outra empresa proeminente de IA, oferece um cronograma um pouco mais conservador, mas partilha uma visão semelhante, sugerindo que a IA poderá ser “melhor do que os humanos em quase tudo” até ao final de 2027.
A Experiência ‘Claude Plays Pokémon’ da Anthropic
Neste contexto de previsões ambiciosas, a Anthropic apresentou a sua experiência ‘Claude Plays Pokémon’ no mês passado. Este projeto, apresentado como um passo em direção ao futuro previsto da AGI, foi descrito como mostrando “vislumbres de sistemas de IA que enfrentam desafios com competência crescente, não apenas através do treino, mas com raciocínio generalizado”. A Anthropic atraiu atenção significativa ao destacar como as “capacidades de raciocínio aprimoradas” do Claude 3.7 Sonnet permitiram que o modelo mais recente da empresa progredisse no clássico RPG de Game Boy, Pokémon, de maneiras que “os modelos mais antigos tinham pouca esperança de alcançar”.
A empresa enfatizou que o “pensamento estendido” do Claude 3.7 Sonnet permitiu que o novo modelo “planeasse com antecedência, lembrasse os seus objetivos e se adaptasse quando as estratégias iniciais falhassem”. Estas, argumentou a Anthropic, são “habilidades críticas para lutar contra líderes de ginásio pixelizados. E, postulamos, para resolver problemas do mundo real também”. A implicação era clara: o progresso de Claude em Pokémon não era apenas um jogo; era uma demonstração da capacidade crescente da IA de enfrentar desafios complexos do mundo real.
A Realidade: As Dificuldades de Claude
No entanto, o entusiasmo inicial em torno do desempenho de Claude em Pokémon foi moderado por uma dose de realidade. Embora o Claude 3.7 Sonnet tenha, sem dúvida, superado os seus antecessores, ele não alcançou o domínio do jogo. Milhares de espectadores na Twitch testemunharam as dificuldades contínuas de Claude, observando os seus frequentes erros e ineficiências.
Apesar das pausas de “pensamento” estendidas entre os movimentos – durante as quais os espectadores podem observar o processo de raciocínio simulado do sistema – Claude frequentemente:
- Revisita cidades concluídas: A IA retorna frequentemente a áreas que já explorou, aparentemente sem propósito.
- Fica preso em cantos cegos: Claude frequentemente fica preso em cantos do mapa por longos períodos, incapaz de encontrar o caminho de saída.
- Interage repetidamente com NPCs inúteis: A IA foi observada a envolver-se em conversas infrutíferas com os mesmos personagens não-jogadores repetidamente.
Estes exemplos de desempenho no jogo distintamente sub-humano pintam um quadro muito distante da superinteligência imaginada por alguns. Observar Claude a lutar com um jogo projetado para crianças torna difícil imaginar que estamos a testemunhar o alvorecer de uma nova era da inteligência computacional.
Lições do Desempenho Sub-Humano
Apesar das suas deficiências, o nível atual de desempenho de Claude em Pokémon oferece insights valiosos sobre a busca contínua por inteligência artificial generalizada de nível humano. Mesmo as suas dificuldades contêm lições significativas que podem informar os futuros esforços de desenvolvimento.
De certa forma, é notável que Claude consiga jogar Pokémon. Ao desenvolver sistemas de IA para jogos como Go e Dota 2, os engenheiros normalmente fornecem aos seus algoritmos um amplo conhecimento das regras e estratégias do jogo, juntamente com uma função de recompensa para orientar a sua aprendizagem. Em contraste, David Hershey, o desenvolvedor por trás do projeto Claude Plays Pokémon, começou com um modelo Claude generalizado e não modificado que não havia sido especificamente treinado ou ajustado para jogar jogos Pokémon.
Hershey explicou à Ars: “Isto é puramente as várias outras coisas que [Claude] entende sobre o mundo a serem usadas para apontar para videojogos”. Ele acrescentou: “Então, ele tem uma noção de um Pokémon. Se você for ao claude.ai e perguntar sobre Pokémon, ele sabe o que é Pokémon com base no que leu… Se você perguntar, ele dirá que há oito insígnias de ginásio, dirá que a primeira é Brock… ele conhece a estrutura geral”.
Os Desafios da Interpretação Visual
Além de monitorizar os principais endereços de RAM do Game Boy para obter informações sobre o estado do jogo, Claude interpreta a saída visual do jogo como um jogador humano faria. No entanto, apesar dos recentes avanços no processamento de imagens de IA, Claude ainda luta para interpretar o mundo pixelizado de baixa resolução de uma captura de tela do Game Boy com a mesma precisão que um humano.
“Claude ainda não é particularmente bom em entender o que está na tela”, admitiu Hershey. “Você o verá tentar andar contra as paredes o tempo todo.”
Hershey suspeita que os dados de treino de Claude provavelmente carecem de descrições textuais detalhadas de imagens semelhantes a telas de Game Boy. Isso significa que, de forma um tanto contraintuitiva, Claude pode realmente ter um desempenho melhor com imagens mais realistas.
“É uma daquelas coisas engraçadas sobre os humanos que podemos olhar para estas manchas de pixels de oito por oito de pessoas e dizer: ‘Essa é uma menina com cabelo azul’”, observou Hershey. “As pessoas, eu acho, têm essa capacidade de mapear do nosso mundo real para entender e meio que entender isso… então, estou honestamente surpreso que Claude seja tão bom em ser capaz de ver que há uma pessoa na tela.”
Diferentes Pontos Fortes, Diferentes Pontos Fracos
Mesmo com uma interpretação visual perfeita, Hershey acredita que Claude ainda teria dificuldades com desafios de navegação 2D que são triviais para os humanos. “É muito fácil para mim entender que um prédio [no jogo] é um prédio e que não posso atravessar um prédio”, disse ele. “E isso é [algo] que é bastante desafiador para Claude entender… É engraçado porque é inteligente de maneiras diferentes, sabe?”
Onde Claude se destaca, de acordo com Hershey, é nos aspetos mais baseados em texto do jogo. Durante as batalhas, Claude percebe prontamente quando o jogo indica que o ataque de um Pokémon do tipo elétrico “não é muito eficaz” contra um oponente do tipo pedra. Ele então armazena essa informação na sua vasta base de conhecimento escrita para referência futura. Claude também pode integrar várias peças de conhecimento em estratégias de batalha sofisticadas, até mesmo estendendo essas estratégias em planos de longo prazo para capturar e gerir equipas de Pokémon.
Claude até demonstra uma “inteligência” surpreendente quando o texto do jogo é intencionalmente enganoso ou incompleto. Hershey citou uma tarefa inicial do jogo em que o jogador é instruído a encontrar o Professor Oak na porta ao lado, apenas para descobrir que ele não está lá. “Quando eu tinha 5 anos, isso foi muito confuso para mim”, disse Hershey. “Mas Claude normalmente passa pelo mesmo conjunto de movimentos em que fala com a mãe, vai ao laboratório, não encontra [Oak], diz: ‘Preciso descobrir algo’… É sofisticado o suficiente para meio que passar pelos movimentos da maneira que [os humanos] realmente deveriam aprender também.”
Esses pontos fortes e fracos contrastantes, em comparação com o jogo de nível humano, refletem o estado geral da pesquisa e das capacidades de IA, explicou Hershey. “Acho que é apenas uma espécie de coisa universal sobre esses modelos… Construímos o lado do texto primeiro, e o lado do texto é definitivamente… mais poderoso. A forma como esses modelos podem raciocinar sobre imagens está a melhorar, mas acho que está um pouco atrás.”
Os Limites da Memória
Além dos desafios com a interpretação visual e textual, Hershey reconheceu que Claude tem dificuldades em “lembrar” o que aprendeu. O modelo atual tem uma “janela de contexto” de 200.000 tokens, o que limita a quantidade de informação relacional que ele pode armazenar na sua “memória” em qualquer momento. Quando a base de conhecimento em expansão do sistema preenche essa janela, Claude passa por um elaborado processo de sumarização, condensando notas detalhadas em resumos mais curtos que inevitavelmente perdem alguns detalhes refinados.
Isso pode levar Claude a “ter dificuldade em acompanhar as coisas por muito tempo e realmente ter uma grande noção do que tentou até agora”, disse Hershey. “Você definitivamente o verá ocasionalmente apagar algo que não deveria. Qualquer coisa que não esteja na sua base de conhecimento ou no seu resumo desaparecerá, então você precisa pensar no que quer colocar lá.”
Os Perigos da Informação Incorreta
Mais problemático do que esquecer informações importantes é a tendência de Claude de inserir inadvertidamente informações incorretas na sua base de conhecimento. Como um teórico da conspiração a construir uma visão de mundo com base numa premissa falha, Claude pode ser notavelmente lento para reconhecer quando um erro na sua base de conhecimento auto-escrita está a desviar o seu jogo de Pokémon.
“As coisas que estão escritas no passado, ele meio que confia cegamente”, disse Hershey. “Eu já o vi ficar muito convencido de que encontrou a saída para [o local do jogo] Viridian Forest em algumas coordenadas específicas, e então ele passa horas e horas a explorar um pequeno quadrado ao redor dessas coordenadas que estão erradas em vez de fazer qualquer outra coisa. Leva muito tempo para ele decidir que isso foi um ‘fracasso’.”
Apesar desses desafios, Hershey observou que o Claude 3.7 Sonnet é significativamente melhor do que os modelos anteriores em “questionar as suas suposições, tentar novas estratégias e acompanhar por longos horizontes várias estratégias para [ver] se elas funcionam ou não”. Embora o novo modelo ainda “lute por longos períodos de tempo” a repetir as mesmas ações, ele tende a “ter uma noção do que está a acontecer e do que tentou antes, e tropeça muitas vezes em progresso real a partir disso”, disse Hershey.
O Caminho a Seguir
Um dos aspetos mais fascinantes de observar o Claude Plays Pokémon em várias iterações, disse Hershey, é ver como o progresso e a estratégia do sistema podem variar significativamente entre as execuções. Às vezes, Claude demonstra a sua “capacidade de construir uma estratégia bastante coerente” ao “manter notas detalhadas sobre os diferentes caminhos a tentar”, explicou ele. Mas “na maioria das vezes não… na maioria das vezes, ele vagueia contra a parede porque está confiante de que vê a saída.”
Uma das principais limitações da versão atual de Claude, de acordo com Hershey, é que “quando ele deriva essa boa estratégia, não acho que ele necessariamente tenha a autoconsciência para saber que uma estratégia [que] ele criou é melhor do que outra”. E isso, ele reconheceu, não é um problema trivial de resolver.
No entanto, Hershey vê “frutos baixos” para melhorar o jogo de Pokémon de Claude, aprimorando a compreensão do modelo das capturas de tela do Game Boy. “Acho que há uma chance de que ele possa vencer o jogo se tivesse uma noção perfeita do que está na tela”, disse ele, sugerindo que tal modelo provavelmente teria um desempenho “um pouco abaixo do humano”.
Expandir a janela de contexto para futuros modelos Claude também permitirá que eles “raciocinem em prazos mais longos e lidem com as coisas de forma mais coerente por um longo período de tempo”, acrescentou Hershey. Os modelos futuros melhorarão ao ficarem “um pouco melhores em lembrar, acompanhar um conjunto coerente do que precisam tentar para progredir”, disse ele.
Embora a perspetiva de melhorias iminentes nos modelos de IA seja inegável, o desempenho atual de Claude em Pokémon não sugere que ele esteja à beira de inaugurar uma era de inteligência artificial de nível humano e totalmente generalizável. Hershey admitiu que assistir ao Claude 3.7 Sonnet ficar preso em Mt. Moon por 80 horas pode fazer com que “pareça um modelo que não sabe o que está a fazer”.
No entanto, Hershey continua impressionado com os ocasionais vislumbres de consciência que o novo modelo de raciocínio de Claude exibe, observando que ele às vezes “meio que diz que não sabe o que está a fazer e sabe que precisa fazer algo diferente. E a diferença entre ‘não conseguir fazer nada’ e ‘conseguir fazer alguma coisa’ é muito grande para essas coisas de IA para mim”, continuou ele. “Sabe, quando algo consegue fazer alguma coisa, normalmente significa que estamos muito perto de conseguir que ele faça algo muito, muito bem.”