Obietnica AGI
W dynamicznie rozwijającej się dziedzinie sztucznej inteligencji, koncepcja ‘artificial general intelligence’ (AGI) stała się kuszącą perspektywą. Liderzy branży coraz częściej sugerują, że jesteśmy u progu stworzenia wirtualnych agentów zdolnych do dorównania, a nawet przewyższenia ludzkiego rozumienia i wydajności w szerokim zakresie zadań poznawczych. To oczekiwanie napędza wyścig między firmami technologicznymi, z których każda stara się jako pierwsza osiągnąć ten przełomowy kamień milowy.
OpenAI, główny gracz na arenie AI, subtelnie sugeruje rychłe pojawienie się agenta AI na ‘poziomie doktoranckim’. Sugerują, że ten agent mógłby działać autonomicznie, osiągając poziom ‘pracownika wiedzy o wysokich dochodach’. Elon Musk, ambitny przedsiębiorca, przedstawił jeszcze śmielsze prognozy, stwierdzając, że prawdopodobnie do końca 2025 roku będziemy mieli AI ‘mądrzejsze niż jakikolwiek człowiek’. Dario Amodei, CEO Anthropic, innej prominentnej firmy AI, oferuje nieco bardziej konserwatywny harmonogram, ale podziela podobną wizję, sugerując, że AI może być ‘lepsze od ludzi w prawie wszystkim’ do końca 2027 roku.
Eksperyment Anthropic ‘Claude Plays Pokémon’
W kontekście tych ambitnych prognoz, Anthropic przedstawił w zeszłym miesiącu eksperyment ‘Claude Plays Pokémon’. Projekt ten, przedstawiony jako krok w kierunku przewidywanej przyszłości AGI, został opisany jako prezentujący ‘przebłyski systemów AI, które radzą sobie z wyzwaniami z rosnącą kompetencją, nie tylko poprzez szkolenie, ale także poprzez uogólnione rozumowanie’. Anthropic przyciągnął znaczną uwagę, podkreślając, jak ‘ulepszone zdolności rozumowania’ Claude 3.7 Sonnet umożliwiły najnowszemu modelowi firmy postęp w klasycznej grze RPG na Game Boya, Pokémon, w sposób, w jaki ‘starsze modele miały niewielkie szanse na osiągnięcie’.
Firma podkreśliła, że ‘rozszerzone myślenie’ Claude 3.7 Sonnet pozwoliło nowemu modelowi ‘planować z wyprzedzeniem, pamiętać swoje cele i dostosowywać się, gdy początkowe strategie zawiodą’. To, jak argumentowało Anthropic, są ‘kluczowe umiejętności do walki z pikselowymi liderami sal. I, jak zakładamy, również w rozwiązywaniu rzeczywistych problemów’. Implikacja była jasna: postępy Claude’a w Pokémon to nie tylko gra; to demonstracja rosnącej zdolności AI do radzenia sobie ze złożonymi, rzeczywistymi wyzwaniami.
Sprawdzenie rzeczywistości: Problemy Claude’a
Jednak początkowy entuzjazm związany z wydajnością Claude’a w Pokémon został stonowany dawką rzeczywistości. Chociaż Claude 3.7 Sonnet niewątpliwie przewyższył swoich poprzedników, nie osiągnął mistrzostwa w grze. Tysiące widzów na Twitchu było świadkami ciągłych zmagań Claude’a, obserwując jego częste błędy i nieefektywności.
Pomimo wydłużonych przerw na ‘myślenie’ między ruchami – podczas których widzowie mogą obserwować symulowany proces rozumowania systemu – Claude często:
- Odwiedza ukończone miasta: AI często wraca do obszarów, które już zbadał, pozornie bez celu.
- Utknięcie w ślepych zaułkach: Claude często zostaje uwięziony w rogach mapy na dłuższy czas, nie mogąc znaleźć drogi wyjścia.
- Wielokrotne interakcje z niepomocnymi NPC: Zaobserwowano, że AI wielokrotnie angażuje się w bezowocne rozmowy z tymi samymi postaciami niezależnymi.
Te przykłady wyraźnie poniżej ludzkiego poziomu wydajności w grze malują obraz daleki od superinteligencji wyobrażanej przez niektórych. Obserwując, jak Claude zmaga się z grą zaprojektowaną dla dzieci, trudno sobie wyobrazić, że jesteśmy świadkami świtu nowej ery inteligencji komputerowej.
Lekcje z wydajności poniżej ludzkiego poziomu
Pomimo swoich niedociągnięć, obecny poziom wydajności Claude’a w Pokémon oferuje cenne spostrzeżenia na temat trwającego poszukiwania uogólnionej, ludzkiej sztucznej inteligencji. Nawet jego zmagania zawierają istotne lekcje, które mogą wpłynąć na przyszłe wysiłki rozwojowe.
W pewnym sensie to niezwykłe, że Claude w ogóle potrafi grać w Pokémon. Podczas opracowywania systemów AI do gier takich jak Go i Dota 2, inżynierowie zazwyczaj dostarczają swoim algorytmom rozległą wiedzę na temat zasad i strategii gry, wraz z funkcją nagrody, która kieruje ich uczeniem się. W przeciwieństwie do tego, David Hershey, twórca projektu Claude Plays Pokémon, zaczął od niezmodyfikowanego, uogólnionego modelu Claude, który nie został specjalnie przeszkolony ani dostrojony do grania w gry Pokémon.
Hershey wyjaśnił Ars: ‘To jest wyłącznie wykorzystanie różnych innych rzeczy, które [Claude] rozumie o świecie, do grania w gry wideo’. Dodał: ‘Ma więc poczucie Pokémona. Jeśli wejdziesz na claude.ai i zapytasz o Pokémony, wie, czym są Pokémony na podstawie tego, co przeczytał… Jeśli zapytasz, powie ci, że jest osiem odznak gym, powie ci, że pierwsza to Brock… zna ogólną strukturę’.
Wyzwania związane z interpretacją wizualną
Oprócz monitorowania kluczowych adresów RAM Game Boya w celu uzyskania informacji o stanie gry, Claude interpretuje wizualne dane wyjściowe gry podobnie jak ludzki gracz. Jednak pomimo ostatnich postępów w przetwarzaniu obrazu AI, Claude wciąż ma trudności z interpretacją niskiej rozdzielczości, pikselowego świata zrzutu ekranu Game Boya z taką samą dokładnością jak człowiek.
‘Claude wciąż nie jest szczególnie dobry w rozumieniu tego, co jest na ekranie’, przyznał Hershey. ‘Będziesz widział, jak cały czas próbuje wchodzić w ściany’.
Hershey podejrzewa, że dane treningowe Claude’a prawdopodobnie nie zawierają szczegółowych opisów tekstowych obrazów przypominających ekrany Game Boya. Oznacza to, że, nieco paradoksalnie, Claude mógłby faktycznie działać lepiej z bardziej realistycznymi obrazami.
‘To jedna z tych zabawnych rzeczy w ludziach, że możemy mrużyć oczy na te ośmiopikselowe plamy ludzi i powiedzieć: ‘To dziewczyna z niebieskimi włosami’’, zauważył Hershey. ‘Ludzie, jak sądzę, mają tę zdolność do mapowania z naszego rzeczywistego świata, aby zrozumieć i w pewnym sensie to pojąć… więc jestem szczerze zaskoczony, że Claude jest tak dobry w dostrzeganiu, że na ekranie jest osoba’.
Różne mocne strony, różne słabości
Nawet przy doskonałej interpretacji wizualnej, Hershey uważa, że Claude nadal miałby trudności z wyzwaniami nawigacji 2D, które są trywialne dla ludzi. ‘Dla mnie dość łatwo jest zrozumieć, że [budynek w grze] jest budynkiem i że nie mogę przejść przez budynek’, powiedział. ‘A to jest [coś], co jest dość trudne do zrozumienia dla Claude’a… To zabawne, ponieważ jest po prostu mądry na różne sposoby, wiesz?’.
Według Hersheya, Claude wyróżnia się w bardziej tekstowych aspektach gry. Podczas bitew Claude łatwo zauważa, gdy gra wskazuje, że atak Pokémona typu elektrycznego jest ‘niezbyt skuteczny’ przeciwko przeciwnikowi typu skalnego. Następnie przechowuje te informacje w swojej obszernej pisemnej bazie wiedzy do wykorzystania w przyszłości. Claude może również zintegrować wiele informacji w wyrafinowane strategie walki, a nawet rozszerzyć te strategie na długoterminowe plany łapania i zarządzania zespołami Pokémonów.
Claude wykazuje nawet zaskakującą ‘inteligencję’, gdy tekst gry jest celowo mylący lub niekompletny. Hershey przytoczył zadanie z początku gry, w którym gracz ma znaleźć Profesora Oaka w sąsiednim domu, tylko po to, by odkryć, że go tam nie ma. ‘Jako 5-latek było to dla mnie bardzo mylące’, powiedział Hershey. ‘Ale Claude faktycznie zazwyczaj przechodzi przez ten sam zestaw ruchów, w których rozmawia z mamą, idzie do laboratorium, nie znajduje [Oaka], mówi: ‘Muszę coś wymyślić’… Jest wystarczająco wyrafinowany, aby w pewnym sensie przejść przez ruchy, w jaki sposób [ludzie] faktycznie powinni się tego nauczyć’.
Te kontrastujące mocne i słabe strony, w porównaniu z grą na poziomie ludzkim, odzwierciedlają ogólny stan badań i możliwości AI, wyjaśnił Hershey. ‘Myślę, że to po prostu uniwersalna rzecz w tych modelach… Najpierw zbudowaliśmy stronę tekstową, a strona tekstowa jest zdecydowanie… potężniejsza. Sposób, w jaki te modele mogą rozumować o obrazach, staje się coraz lepszy, ale myślę, że jest trochę w tyle’.
Ograniczenia pamięci
Poza wyzwaniami związanymi z interpretacją wizualną i tekstową, Hershey przyznał, że Claude ma trudności z ‘zapamiętywaniem’ tego, czego się nauczył. Obecny model ma ‘okno kontekstowe’ o długości 200 000 tokenów, co ogranicza ilość informacji relacyjnych, które może przechowywać w swojej ‘pamięci’ w danym momencie. Kiedy rozszerzająca się baza wiedzy systemu wypełnia to okno, Claude przechodzi skomplikowany proces podsumowania, kondensując szczegółowe notatki w krótsze podsumowania, które nieuchronnie tracą pewne drobne szczegóły.
Może to prowadzić do tego, że Claude ‘ma trudności z śledzeniem rzeczy przez bardzo długi czas i naprawdę ma świetne poczucie tego, czego do tej pory próbował’, powiedział Hershey. ‘Zdecydowanie zobaczysz, że od czasu do czasu usuwa coś, czego nie powinien. Wszystko, czego nie ma w twojej bazie wiedzy lub w twoim podsumowaniu, zniknie, więc musisz pomyśleć o tym, co chcesz tam umieścić’.
Niebezpieczeństwa związane z nieprawidłowymi informacjami
Bardziej problematyczne niż zapominanie ważnych informacji jest tendencja Claude’a do nieumyślnego wprowadzania nieprawidłowych informacji do swojej bazy wiedzy. Podobnie jak teoretyk spiskowy budujący światopogląd na błędnym założeniu, Claude może być niezwykle powolny w rozpoznawaniu, kiedy błąd w jego autorskiej bazie wiedzy prowadzi jego grę w Pokémon na manowce.
‘Rzeczy, które są zapisane w przeszłości, w pewnym sensie ufa im dość ślepo’, powiedział Hershey. ‘Widziałem, jak stał się bardzo przekonany, że znalazł wyjście z [lokacji w grze] Viridian Forest na określonych współrzędnych, a następnie spędza godziny i godziny na eksplorowaniu małego kwadratu wokół tych współrzędnych, które są błędne, zamiast robić cokolwiek innego. Zajmuje mu bardzo dużo czasu, zanim zdecyduje, że to była ‘porażka’’.
Pomimo tych wyzwań, Hershey zauważył, że Claude 3.7 Sonnet jest znacznie lepszy niż wcześniejsze modele w ‘kwestionowaniu swoich założeń, próbowaniu nowych strategii i śledzeniu w długich horyzontach czasowych różnych strategii, aby [zobaczyć], czy działają, czy nie’. Chociaż nowy model wciąż ‘zmaga się przez naprawdę długi czas’, ponawiając te same działania, ostatecznie ma tendencję do ‘uzyskania poczucia tego, co się dzieje i czego próbował wcześniej, i wiele razy potyka się o rzeczywisty postęp z tego’, powiedział Hershey.
Droga naprzód
Jednym z najbardziej fascynujących aspektów obserwowania Claude Plays Pokémon w wielu iteracjach, powiedział Hershey, jest obserwowanie, jak postępy i strategia systemu mogą się znacznie różnić między uruchomieniami. Czasami Claude demonstruje swoją ‘zdolność do faktycznego budowania dość spójnej strategii’, ‘prowadząc szczegółowe notatki na temat różnych ścieżek do wypróbowania’, wyjaśnił. Ale ‘przez większość czasu tego nie robi… przez większość czasu wchodzi w ścianę, ponieważ jest pewien, że widzi wyjście’.
Jednym z głównych ograniczeń obecnej wersji Claude’a, według Hersheya, jest to, że ‘kiedy opracowuje tę dobrą strategię, nie sądzę, żeby koniecznie miał samoświadomość, aby wiedzieć, że jedna strategia, którą wymyślił, jest lepsza od innej’. I to, jak przyznał, nie jest trywialny problem do rozwiązania.
Niemniej jednak Hershey widzi ‘nisko wiszące owoce’ dla poprawy gry Claude’a w Pokémon poprzez ulepszenie zrozumienia modelu zrzutów ekranu Game Boya. ‘Myślę, że jest szansa, że mógłby przejść grę, gdyby miał doskonałe poczucie tego, co jest na ekranie’, powiedział, sugerując, że taki model prawdopodobnie działałby ‘trochę poniżej poziomu ludzkiego’.
Rozszerzenie okna kontekstowego dla przyszłych modeli Claude’a również prawdopodobnie umożliwi im ‘rozumowanie w dłuższych ramach czasowych i radzenie sobie z rzeczami bardziej spójnie przez długi czas’, dodał Hershey. Przyszłe modele poprawią się, stając się ‘trochę lepsze w zapamiętywaniu, śledzeniu spójnego zestawu tego, co musi spróbować, aby poczynić postępy’, powiedział.
Chociaż perspektywa zbliżających się ulepszeń w modelach AI jest niezaprzeczalna, obecna wydajność Claude’a w Pokémon nie sugeruje, że jest on na skraju wprowadzenia ery ludzkiej, w pełni uogólnionej sztucznej inteligencji. Hershey przyznał, że obserwowanie, jak Claude 3.7 Sonnet utknął na Mt. Moon przez 80 godzin, może sprawić, że ‘wygląda na model, który nie wie, co robi’.
Jednak Hershey pozostaje pod wrażeniem okazjonalnych przebłysków świadomości, które wykazuje nowy model rozumowania Claude’a, zauważając, że czasami ‘w pewnym sensie mówi, że nie wie, co robi i wie, że musi robić coś innego. A różnica między ‘nie mogę tego zrobić w ogóle’ a ‘mogę to zrobić w pewnym sensie’ jest dla mnie dość duża w przypadku tych rzeczy AI’, kontynuował. ‘Wiesz, kiedy coś może coś zrobić w pewnym sensie, to zazwyczaj oznacza, że jesteśmy dość blisko tego, aby móc to zrobić naprawdę, naprawdę dobrze’.