Nel fiorente campo dell’intelligenza artificiale, il concetto di ‘artificial general intelligence’ (AGI) è diventato una prospettiva allettante. I leader del settore suggeriscono sempre più che siamo sul punto di creare agenti virtuali in grado di eguagliare, o persino superare, la comprensione e le prestazioni umane in una vasta gamma di compiti cognitivi. Questa anticipazione ha alimentato una corsa tra le aziende tecnologiche, ognuna delle quali si sforza di essere la prima a raggiungere questo traguardo rivoluzionario.
La promessa dell’AGI
OpenAI, uno dei principali attori nell’arena dell’IA, sta sottilmente accennando all’imminente arrivo di un agente IA di ‘livello PhD’. Questo agente, suggeriscono, potrebbe operare autonomamente, operando al livello di un ‘lavoratore della conoscenza ad alto reddito’. Elon Musk, l’imprenditore sempre ambizioso, ha fatto previsioni ancora più audaci, affermando che probabilmente avremo un’IA ‘più intelligente di qualsiasi essere umano’ entro la fine del 2025. Dario Amodei, CEO di Anthropic, un’altra importante azienda di IA, offre una tempistica leggermente più conservativa ma condivide una visione simile, suggerendo che l’IA potrebbe essere ‘migliore degli umani in quasi tutto’ entro la fine del 2027.
L’esperimento ‘Claude Plays Pokémon’ di Anthropic
In questo contesto di previsioni ambiziose, Anthropic ha presentato il suo esperimento ‘Claude Plays Pokémon’ il mese scorso. Questo progetto, presentato come un passo verso il futuro previsto dell’AGI, è stato descritto come una dimostrazione di ‘bagliori di sistemi di IA che affrontano le sfide con crescente competenza, non solo attraverso l’addestramento ma con un ragionamento generalizzato’. Anthropic ha attirato notevole attenzione evidenziando come le ‘migliorate capacità di ragionamento’ di Claude 3.7 Sonnet abbiano permesso all’ultimo modello dell’azienda di fare progressi nel classico RPG per Game Boy, Pokémon, in modi che ‘i modelli più vecchi avevano poche speranze di raggiungere’.
L’azienda ha sottolineato che il ‘pensiero esteso’ di Claude 3.7 Sonnet ha permesso al nuovo modello di ‘pianificare in anticipo, ricordare i suoi obiettivi e adattarsi quando le strategie iniziali falliscono’. Queste, ha sostenuto Anthropic, sono ‘abilità fondamentali per combattere i leader delle palestre pixelati. E, ipotizziamo, anche per risolvere i problemi del mondo reale’. L’implicazione era chiara: i progressi di Claude in Pokémon non erano solo un gioco; era una dimostrazione della nascente capacità dell’IA di affrontare sfide complesse del mondo reale.
La realtà: le difficoltà di Claude
Tuttavia, l’entusiasmo iniziale che circondava le prestazioni di Claude in Pokémon è stato mitigato da una dose di realtà. Mentre Claude 3.7 Sonnet ha indubbiamente superato i suoi predecessori, non ha raggiunto la padronanza del gioco. Migliaia di spettatori su Twitch hanno assistito alle continue difficoltà di Claude, osservando i suoi frequenti passi falsi e le sue inefficienze.
Nonostante le pause di ‘pensiero’ estese tra le mosse – durante le quali gli spettatori possono osservare il processo di ragionamento simulato del sistema – Claude si ritrova spesso a:
- Rivisitazione di città completate: L’IA ritorna frequentemente in aree che ha già esplorato, apparentemente senza scopo.
- Rimanere bloccato in angoli ciechi: Claude si ritrova spesso intrappolato negli angoli della mappa per lunghi periodi, incapace di trovare la via d’uscita.
- Interagire ripetutamente con NPC inutili: L’IA è stata osservata impegnarsi in conversazioni infruttuose con gli stessi personaggi non giocanti più e più volte.
Questi esempi di prestazioni di gioco nettamente inferiori a quelle umane dipingono un quadro molto lontano dalla superintelligenza immaginata da alcuni. Guardando Claude lottare con un gioco progettato per bambini, diventa difficile immaginare che stiamo assistendo all’alba di una nuova era dell’intelligenza artificiale.
Lezioni dalle prestazioni sub-umane
Nonostante le sue carenze, l’attuale livello di prestazioni di Claude in Pokémon offre preziose informazioni sulla continua ricerca di un’intelligenza artificiale generalizzata a livello umano. Anche le sue difficoltà contengono lezioni significative che potrebbero informare i futuri sforzi di sviluppo.
In un certo senso, è notevole che Claude possa giocare a Pokémon. Quando si sviluppano sistemi di IA per giochi come Go e Dota 2, gli ingegneri in genere forniscono ai loro algoritmi una vasta conoscenza delle regole e delle strategie del gioco, insieme a una funzione di ricompensa per guidare il loro apprendimento. Al contrario, David Hershey, lo sviluppatore dietro il progetto Claude Plays Pokémon, ha iniziato con un modello Claude generalizzato e non modificato che non era stato specificamente addestrato o ottimizzato per giocare ai giochi Pokémon.
Hershey ha spiegato ad Ars: ‘Questo è puramente le varie altre cose che [Claude] comprende del mondo che vengono utilizzate per puntare ai videogiochi’. Ha aggiunto: ‘Quindi ha un senso di un Pokémon. Se vai su claude.ai e chiedi informazioni sui Pokémon, sa cosa sono i Pokémon in base a ciò che ha letto… Se chiedi, ti dirà che ci sono otto medaglie di palestra, ti dirà che la prima è Brock… conosce la struttura generale’.
Le sfide dell’interpretazione visiva
Oltre a monitorare gli indirizzi RAM chiave del Game Boy per informazioni sullo stato del gioco, Claude interpreta l’output visivo del gioco in modo molto simile a un giocatore umano. Tuttavia, nonostante i recenti progressi nell’elaborazione delle immagini AI, Claude ha ancora difficoltà a interpretare il mondo pixelato a bassa risoluzione di uno screenshot del Game Boy con la stessa precisione di un essere umano.
‘Claude non è ancora particolarmente bravo a capire cosa c’è sullo schermo’, ha ammesso Hershey. ‘Lo vedrai tentare di camminare contro i muri tutto il tempo’.
Hershey sospetta che i dati di addestramento di Claude probabilmente manchino di descrizioni testuali dettagliate di immagini simili agli schermi del Game Boy. Ciò significa che, in modo alquanto controintuitivo, Claude potrebbe effettivamente funzionare meglio con immagini più realistiche.
‘È una di quelle cose divertenti degli umani che possiamo strizzare gli occhi a questi blob di persone di otto per otto pixel e dire: ‘Quella è una ragazza con i capelli blu’’, ha osservato Hershey. ‘Le persone, penso, hanno quella capacità di mappare dal nostro mondo reale per capire e in un certo senso afferrare che… quindi sono onestamente sorpreso che Claude sia così bravo a essere in grado di vedere che c’è una persona sullo schermo’.
Punti di forza diversi, debolezze diverse
Anche con una perfetta interpretazione visiva, Hershey ritiene che Claude avrebbe ancora difficoltà con le sfide di navigazione 2D che sono banali per gli umani. ‘È abbastanza facile per me capire che un edificio [nel gioco] è un edificio e che non posso attraversare un edificio’, ha detto. ‘E questo è [qualcosa] che è piuttosto impegnativo da capire per Claude… È divertente perché è intelligente in modi diversi, sai?’
Dove Claude eccelle, secondo Hershey, è negli aspetti più testuali del gioco. Durante le battaglie, Claude nota prontamente quando il gioco indica che l’attacco di un Pokémon di tipo elettrico ‘non è molto efficace’ contro un avversario di tipo roccia. Quindi memorizza queste informazioni nella sua vasta base di conoscenza scritta per riferimento futuro. Claude può anche integrare più informazioni in sofisticate strategie di battaglia, estendendo persino queste strategie in piani a lungo termine per catturare e gestire squadre di Pokémon.
Claude dimostra persino una sorprendente ‘intelligenza’ quando il testo del gioco è intenzionalmente fuorviante o incompleto. Hershey ha citato un compito all’inizio del gioco in cui al giocatore viene detto di trovare il Professor Oak nella porta accanto, solo per scoprire che non è lì. ‘Da bambino di 5 anni, è stato molto confuso per me’, ha detto Hershey. ‘Ma Claude in genere passa attraverso la stessa serie di movimenti in cui parla con la mamma, va in laboratorio, non trova [Oak], dice: ‘Devo capire qualcosa’… È abbastanza sofisticato da passare attraverso i movimenti del modo in cui [gli umani] dovrebbero effettivamente impararlo’.
Questi punti di forza e di debolezza contrastanti, rispetto al gioco a livello umano, riflettono lo stato generale della ricerca e delle capacità dell’IA, ha spiegato Hershey. ‘Penso che sia solo una sorta di cosa universale su questi modelli… Abbiamo costruito prima il lato testuale, e il lato testuale è decisamente… più potente. Il modo in cui questi modelli possono ragionare sulle immagini sta migliorando, ma penso che sia un po’ indietro’.
I limiti della memoria
Oltre alle sfide con l’interpretazione visiva e testuale, Hershey ha riconosciuto che Claude ha difficoltà a ‘ricordare’ ciò che ha imparato. Il modello attuale ha una ‘finestra di contesto’ di 200.000 token, che limita la quantità di informazioni relazionali che può memorizzare nella sua ‘memoria’ in un dato momento. Quando la base di conoscenza in espansione del sistema riempie questa finestra, Claude subisce un elaborato processo di riepilogo, condensando note dettagliate in riepiloghi più brevi che inevitabilmente perdono alcuni dettagli precisi.
Questo può portare Claude ad ‘avere difficoltà a tenere traccia delle cose per molto tempo e ad avere davvero un grande senso di ciò che ha provato finora’, ha detto Hershey. ‘Lo vedrai sicuramente cancellare occasionalmente qualcosa che non avrebbe dovuto. Qualsiasi cosa che non sia nella tua base di conoscenza o non nel tuo riepilogo sparirà, quindi devi pensare a cosa vuoi mettere lì’.
I pericoli delle informazioni errate
Più problematico del dimenticare informazioni importanti è la tendenza di Claude a inserire inavvertitamente informazioni errate nella sua base di conoscenza. Come un teorico della cospirazione che costruisce una visione del mondo su una premessa errata, Claude può essere notevolmente lento a riconoscere quando un errore nella sua base di conoscenza auto-creata sta portando il suo gioco Pokémon fuori strada.
‘Le cose che sono scritte in passato, si fida in modo piuttosto cieco’, ha detto Hershey. ‘L’ho visto diventare molto convinto di aver trovato l’uscita per [la posizione nel gioco] Viridian Forest a coordinate specifiche, e poi trascorre ore e ore a esplorare una piccola piazza attorno a quelle coordinate che sono sbagliate invece di fare qualsiasi altra cosa. Ci vuole molto tempo prima che decida che quello è stato un ‘fallimento’’.
Nonostante queste sfide, Hershey ha notato che Claude 3.7 Sonnet è significativamente migliore dei modelli precedenti nel ‘mettere in discussione le sue ipotesi, provare nuove strategie e tenere traccia per lunghi periodi di varie strategie per [vedere] se funzionano o meno’. Mentre il nuovo modello ‘lotta ancora per lunghi periodi di tempo’ riprovando le stesse azioni, alla fine tende a ‘farsi un’idea di cosa sta succedendo e di cosa ha provato prima, e inciampa molte volte in un progresso reale da quello’, ha detto Hershey.
Il percorso da seguire
Uno degli aspetti più affascinanti dell’osservazione di Claude Plays Pokémon attraverso molteplici iterazioni, ha detto Hershey, è vedere come i progressi e la strategia del sistema possono variare significativamente tra le esecuzioni. A volte, Claude dimostra la sua ‘capacità di costruire effettivamente una strategia piuttosto coerente’ ‘tenendo note dettagliate sui diversi percorsi da provare’, ha spiegato. Ma ‘la maggior parte delle volte non lo fa… la maggior parte delle volte, vaga nel muro perché è sicuro di vedere l’uscita’.
Uno dei principali limiti della versione attuale di Claude, secondo Hershey, è che ‘quando deriva quella buona strategia, non penso che abbia necessariamente la consapevolezza di sé per sapere che una strategia [che] ha escogitato è migliore di un’altra’. E questo, ha riconosciuto, non è un problema banale da risolvere.
Tuttavia, Hershey vede ‘frutti a portata di mano’ per migliorare il gioco Pokémon di Claude migliorando la comprensione del modello degli screenshot del Game Boy. ‘Penso che ci sia la possibilità che possa battere il gioco se avesse un senso perfetto di ciò che è sullo schermo’, ha detto, suggerendo che un tale modello probabilmente si comporterebbe ‘un po’ al di sotto dell’umano’.
L’espansione della finestra di contesto per i futuri modelli Claude consentirà probabilmente loro anche di ‘ragionare su intervalli di tempo più lunghi e gestire le cose in modo più coerente per un lungo periodo di tempo’, ha aggiunto Hershey. I modelli futuri miglioreranno ottenendo ‘un po’ meglio a ricordare, tenendo traccia di un insieme coerente di ciò che deve provare per fare progressi’, ha detto.
Mentre la prospettiva di imminenti miglioramenti nei modelli di IA è innegabile, le attuali prestazioni di Claude in Pokémon non suggeriscono che sia sul punto di inaugurare un’era di intelligenza artificiale a livello umano e completamente generalizzabile. Hershey ha ammesso che guardare Claude 3.7 Sonnet rimanere bloccato sul Monte Luna per 80 ore può farlo ‘sembrare un modello che non sa cosa sta facendo’.
Tuttavia, Hershey rimane impressionato dai bagliori occasionali di consapevolezza che il nuovo modello di ragionamento di Claude mostra, notando che a volte ‘dirà che non sa cosa sta facendo e sa che deve fare qualcosa di diverso. E la differenza tra ‘non può farlo affatto’ e ‘può farlo in un certo senso’ è piuttosto grande per queste cose di IA per me’, ha continuato. ‘Sai, quando qualcosa può fare qualcosa in un certo senso, in genere significa che siamo abbastanza vicini a farlo fare qualcosa davvero, davvero bene’.