AGIの約束
人工知能の急成長分野において、「汎用人工知能」（AGI）の概念は、魅力的な展望となっています。業界のリーダーたちは、人間が幅広い認知タスクにおいて理解力やパフォーマンスを一致させたり、さらには凌駕したりできる仮想エージェントの作成が間近に迫っていると示唆しています。この期待は、テクノロジー企業間の競争を加速させ、各社がこの画期的なマイルストーンを最初に達成しようと努力しています。
OpenAIは、AI分野の主要なプレーヤーであり、「博士号レベル」のAIエージェントの差し迫った到着をほのめかしています。このエージェントは、自律的に動作し、「高収入の知識労働者」のレベルで機能することができると彼らは示唆しています。常に野心的な起業家であるElon Muskは、さらに大胆な予測をしており、2025年末までに「誰よりも賢い」AIが登場する可能性が高いと述べています。AnthropicのCEOであるDario Amodeiは、別の著名なAI企業であり、もう少し控えめなタイムラインを提供していますが、同様のビジョンを共有しており、2027年末までにAIが「ほとんどすべてのことにおいて人間よりも優れている」可能性があると示唆しています。
Anthropicの「Claude Plays Pokémon」実験
このような野心的な予測を背景に、Anthropicは先月、「Claude Plays Pokémon」実験を発表しました。このプロジェクトは、予測されるAGIの未来への一歩として提示され、「トレーニングだけでなく、一般化された推論によって課題にますます能力を発揮して取り組むAIシステムの兆し」を示すものとして説明されました。Anthropicは、Claude 3.7 Sonnetの「改善された推論能力」により、同社の最新モデルが古典的なゲームボーイRPGであるPokémonにおいて、「以前のモデルではほとんど達成できなかった」方法で進歩を遂げたことを強調し、大きな注目を集めました。
同社は、Claude 3.7 Sonnetの「拡張された思考」により、新しいモデルが「事前に計画し、目標を記憶し、最初の戦略が失敗したときに適応する」ことができたと強調しました。これらは、「ピクセル化されたジムリーダーと戦うための重要なスキルです。そして、現実世界の問題を解決するためにも」とAnthropicは主張しました。その意味は明らかでした。PokémonにおけるClaudeの進歩は単なるゲームではありませんでした。それは、AIが複雑な現実世界の課題に取り組む能力が芽生えつつあることのデモンストレーションでした。
現実の確認：Claudeの苦闘
しかし、ClaudeのPokémonパフォーマンスをめぐる最初の興奮は、現実の認識によって和らげられました。Claude 3.7 Sonnetは間違いなく以前のモデルよりも優れたパフォーマンスを示しましたが、ゲームをマスターしたわけではありません。Twitchの何千人もの視聴者が、Claudeの進行中の苦闘を目撃し、頻繁な失敗や非効率性を観察しています。
動きの間に「思考」の一時停止が延長されているにもかかわらず（視聴者はシステムのシミュレートされた推論プロセスを観察できます）、Claudeはしばしば次の状態になります。
- 完了した町を再訪する： AIは、すでに探索したエリアに、目的もなく頻繁に戻ります。
- 行き止まりの角で立ち往生する： Claudeは、マップの隅で長時間立ち往生し、そこから抜け出すことができなくなることがよくあります。
- 役に立たないNPCと繰り返し対話する： AIは、同じノンプレイヤーキャラクターと何度も何度も無駄な会話を繰り返しているのが観察されています。
これらの明らかに人間以下のゲーム内パフォーマンスの例は、一部の人が想像する超知能とはかけ離れた状況を描いています。子供向けに設計されたゲームでClaudeが苦労しているのを見ると、私たちがコンピューターインテリジェンスの新時代の幕開けを目撃しているとは想像しがたいです。
人間以下のパフォーマンスからの教訓
その欠点にもかかわらず、Claudeの現在のPokémonパフォーマンスレベルは、一般化された人間レベルの人工知能の継続的な探求に関する貴重な洞察を提供します。その苦闘でさえ、将来の開発努力に情報を提供できる重要な教訓を含んでいます。
ある意味では、ClaudeがPokémonをプレイできること自体が驚くべきことです。GoやDota 2などのゲーム用のAIシステムを開発する場合、エンジニアは通常、アルゴリズムにゲームのルールと戦略に関する広範な知識と、学習を導くための報酬関数を提供します。対照的に、Claude Plays Pokémonプロジェクトの開発者であるDavid Hersheyは、Pokémonゲームをプレイするために特別にトレーニングまたは調整されていない、変更されていない一般化されたClaudeモデルから始めました。
HersheyはArsに、「これは純粋に、[Claude]が世界について理解している他のさまざまなことが、ビデオゲームを指すために使用されているということです」と説明しました。「だから、それはポケモンの感覚を持っています。claude.aiに行ってポケモンについて尋ねると、それは読んだことに基づいてポケモンが何であるかを知っています…尋ねれば、8つのジムバッジがあること、最初の1つはBrockであること…大まかな構造を知っていることを教えてくれます。」
視覚的解釈の課題
ゲームの状態情報に関する主要なゲームボーイRAMアドレスの監視に加えて、Claudeは人間のプレーヤーと同じようにゲームの視覚的出力を解釈します。しかし、AI画像処理の最近の進歩にもかかわらず、Claudeは、ゲームボーイのスクリーンショットの低解像度のピクセル化された世界を人間と同じ精度で解釈することにまだ苦労しています。
「Claudeは、画面に何が表示されているかを理解するのがまだ特に得意ではありません」とHersheyは認めました。「あなたは、それが壁に歩こうとするのをいつも見るでしょう。」
Hersheyは、Claudeのトレーニングデータには、ゲームボーイの画面に似た画像の詳細なテキスト記述が不足している可能性があると推測しています。これは、やや直感に反しますが、Claudeは実際には、より現実的な画像の方がパフォーマンスが向上する可能性があることを意味します。
「8x8ピクセルの人の塊を斜視して、『あれは青い髪の女の子だ』と言えるのは、人間の面白いことの1つです」とHersheyは述べました。「人々は、私たちの現実世界からマッピングして理解し、ある種の理解をする能力を持っていると思います…だから、私は正直なところ、Claudeが画面に人がいるのを見ることができるほど優れていることに驚いています。」
異なる強み、異なる弱み
完璧な視覚的解釈があったとしても、Hersheyは、Claudeは人間にとって些細な2Dナビゲーションの課題にまだ苦労するだろうと考えています。「私にとって、[ゲーム内の]建物が建物であり、建物を通り抜けることができないことを理解するのは非常に簡単です」と彼は言いました。「そして、それはClaudeが理解するのが非常に難しいことです…それは、それが異なる方法で賢いだけなので、面白いです、わかりますか？」
Hersheyによると、Claudeが優れているのは、ゲームのよりテキストベースの側面です。戦闘中、Claudeは、電気タイプのポケモンの攻撃が岩タイプの相手に対して「あまり効果的ではない」ことをゲームが示していることにすぐに気づきます。次に、この情報を将来の参照のためにその広大な書かれた知識ベースに保存します。Claudeは、複数の知識を洗練された戦闘戦略に統合し、これらの戦略をポケモンを捕獲して管理するための長期計画にまで拡張することもできます。
Claudeは、ゲームのテキストが意図的に誤解を招くものであったり、不完全であったりする場合でも、驚くべき「知性」を示します。Hersheyは、プレーヤーが隣にいるOak教授を見つけるように言われるが、彼がそこにいないことを発見する初期のゲームのタスクを挙げました。「5歳の時、それは私にとって非常に混乱しました」とHersheyは言いました。「しかし、Claudeは実際には通常、母親と話し、研究室に行き、[Oak]を見つけず、『何かを理解する必要がある』と言うという同じ一連の動きをします…それは、[人間が]実際にそれを学ぶことになっている方法の動きをある種通過するのに十分洗練されています。」
これらの対照的な強みと弱みは、人間レベルのプレイと比較して、AIの研究と能力の全体的な状態を反映しているとHersheyは説明しました。「これは、これらのモデルに関する普遍的なことだと思います…最初にテキスト側を構築し、テキスト側は間違いなく…より強力です。これらのモデルが画像をどのように推論できるかは改善されていますが、私はそれがかなり遅れていると思います。」
記憶の限界
視覚的およびテキスト的な解釈の課題を超えて、Hersheyは、Claudeが学んだことを「記憶する」ことに苦労していることを認めました。現在のモデルには200,000トークンの「コンテキストウィンドウ」があり、これにより、特定の時点で「メモリ」に保存できる関係情報の量が制限されます。システムの拡大する知識ベースがこのウィンドウを埋めると、Claudeは詳細なメモを短い要約に凝縮する精巧な要約プロセスを実行し、必然的にいくつかの詳細な詳細が失われます。
これにより、Claudeは「非常に長い間物事を追跡するのが難しく、これまでに試したことを本当に理解するのが難しい」可能性があります、とHersheyは言いました。「あなたは間違いなく、それが削除すべきでないものを時々削除するのを見るでしょう。知識ベースまたは要約にないものはすべて消えてしまうので、そこに何を置きたいかを考える必要があります。」
誤った情報の危険性
重要な情報を忘れることよりも問題なのは、Claudeが誤って誤った情報を知識ベースに挿入する傾向があることです。欠陥のある前提に基づいて世界観を構築する陰謀論者のように、Claudeは、自己作成した知識ベースのエラーがPokémonのプレイを誤った方向に導いていることを認識するのが非常に遅い場合があります。
「過去に書き留められたことは、それはある種かなり盲目的に信頼しています」とHersheyは言いました。「私は、それが[ゲーム内の場所]Viridian Forestへの出口を特定の座標で見つけたと非常に確信し、その後、他のことをする代わりに、間違っているそれらの座標の周りの小さな小さな正方形を探索するのに何時間も費やしているのを見たことがあります。それが「失敗」だったと判断するのに非常に長い時間がかかります。」
これらの課題にもかかわらず、Hersheyは、Claude 3.7 Sonnetは、以前のモデルよりも「仮定を疑い、新しい戦略を試し、さまざまな戦略を長期間にわたって追跡して、それらが機能するかどうかを確認する」点で大幅に優れていると述べました。新しいモデルはまだ同じアクションを再試行するのに「本当に長い間苦労している」一方で、最終的には「何が起こっているのか、そして以前に何を試したのかを理解する傾向があり、多くの場合、そこから実際の進歩につまずきます」とHersheyは言いました。
今後の道
Hershey氏によると、Claude Plays Pokémonを複数のイテレーションで観察する最も魅力的な側面の1つは、システムの進歩と戦略が実行ごとに大きく異なる可能性があることです。時々、Claudeは「試すべきさまざまなパスに関する詳細なメモを保持する」ことによって「実際にかなり一貫した戦略を構築できる」ことを示していると彼は説明しました。しかし、「ほとんどの場合、そうではありません…ほとんどの場合、出口が見えると確信しているため、壁に迷い込みます。」
Hershey氏によると、現在のバージョンのClaudeの主な制限の1つは、「優れた戦略を導き出したときに、それが思いついたある戦略が別の戦略よりも優れていることを知るための自己認識が必ずしもあるとは限らない」ことです。そして、それは解決するのが些細な問題ではないことを彼は認めました。
それにもかかわらず、Hersheyは、ゲームボーイのスクリーンショットに対するモデルの理解を向上させることで、ClaudeのPokémonプレイを改善するための「低い果実」を見ています。「画面に表示されているものを完全に理解していれば、ゲームに勝つ可能性があると思います」と彼は言い、「そのようなモデルはおそらく「人間より少し劣る」パフォーマンスを発揮するだろう」と示唆しました。
将来のClaudeモデルのコンテキストウィンドウを拡張すると、「より長い時間枠で推論し、長期間にわたって物事をより一貫して処理できる」ようになる可能性も高いとHershey氏は付け加えました。将来のモデルは、「記憶し、進歩するために試す必要がある一貫したセットを追跡するのが少し上手になる」ことで改善されるだろうと彼は言いました。
AIモデルの差し迫った改善の見通しは否定できませんが、Claudeの現在のPokémonパフォーマンスは、人間レベルの完全に一般化可能な人工知能の時代を到来させる寸前にあることを示唆していません。Hersheyは、Claude 3.7 SonnetがMt. Moonで80時間立ち往生しているのを見ると、「何をしているのかわからないモデルのように見える」可能性があることを認めました。
しかし、Hersheyは、Claudeの新しい推論モデルが表示する時折の認識のきらめきに感銘を受けており、「何をしているのかわからないこと、そして何か違うことをする必要があることをある種伝える」ことがあると述べています。「そして、「まったくできない」と「ある種できる」の違いは、これらのAIにとっては非常に大きなものです」と彼は続けました。「何かがある種できるということは、通常、私たちがそれを本当にうまくできるようにすることに非常に近づいていることを意味します。」