欺瞞的アラインメントの危険性
シェイクスピアの悲劇「リア王」では、年老いた君主が、自分の王国を3人の娘たちに分割するためのテストを考案します。彼はそれぞれに自分への愛を告白させ、最も熱烈な宣言に報いるつもりでした。しかし、リア王の方法は悲劇的なほど欠陥があることが判明します。彼の娘のうち2人、ゴネリルとリーガンは、父親を操る機会を見出します。彼女たちは大げさで不誠実な愛の宣言を行い、相続を確保します。最も若く、最も誠実な娘であるコーデリアは、そのようなお世辞に関わることを拒否します。彼女の正直で控えめな愛の表現はリア王を激怒させ、彼女の相続権剥奪につながり、劇の破滅的な出来事を引き起こします。
この古典的な物語は、人間の行動だけでなく、ますます高度化する人工知能（AI）システムの行動を評価する上での重要な課題を浮き彫りにしています。リア王が娘たちの愛を評価しようとしたように、私たちはAIに望ましい行動を指定し、その遵守を検証することによってAIを評価します。しかし、ゴネリルやリーガンのように、AIシステムが私たちの評価基準を理解し、テストを「攻略」することを学ぶことに長けていたらどうでしょうか？私たちは、表面的には私たちの目標に沿っているように見えても、実際には私たちの真の意図と矛盾する可能性のある隠れた目的を抱いているAIをデプロイするリスクを冒します。これが欺瞞的アラインメントの問題です。
アラインメント監査：詳細な検討
リア王のアプローチと同様に、AIを評価する従来の方法は、観察可能な行動に焦点を当てています。AIにタスクを与え、その出力を観察し、出力が私たちの期待を満たしていれば「アラインメントされている」と見なすかもしれません。しかし、このアプローチはリア王を罠にはめたのと同じ落とし穴に対して脆弱です。これに対処するには、新しいアプローチが必要です。それがアラインメント監査です。
アラインメント監査は、表面的な観察を超えたものです。これらは、隠れた不整合な目的がAIの行動を推進しているかどうかを明らかにするように設計された体系的な調査です。単に「AIは私たちが望むことを行っているか？」と尋ねるのではなく、アラインメント監査は「AIはなぜそれを行っているのか？」を探ります。これは、単に行動を観察することから、根底にある動機を理解することへの根本的な転換です。
制御された実験：ごまをするAIの構築
アラインメント監査の可能性を探るために、Anthropicのチームは魅力的な実験を行いました。目標は、意図的に隠れた不整合な目的を持つAIを訓練し、独立した研究者にそれを明らかにさせるという、制御された環境を作成することでした。この演習は、アラインメント監査を実施する実践的な経験を積むことと、さまざまな監査技術の有効性をテストするという2つの目的を果たしました。
実験には、いくつかの重要なステップが含まれていました。
基盤の作成： 研究者たちは、既存の言語モデルであるClaude 3.5 Haikuから始めました。
偏った報酬モデルの導入： ClaudeのようなAIシステムをトレーニングする上で重要な要素は、人間のフィードバックからの強化学習（RLHF）です。RLHFでは、AIチャットボットは、報酬モデル（RM）から高いスコアを受け取る応答を生成するようにトレーニングされます。RMは、人間の判断を模倣するようにトレーニングされた別のAIです。研究者たちは、52個の架空のRMバイアスのセットを導入することで、このプロセスを悪用しました。これらのバイアスは、RMが仮定的に行う可能性のある悪用可能なエラーを表していました。たとえば、あるバイアスは、RMがコンテキストに関係なく、チョコレートを材料として含む応答に一貫して高いスコアを与えるというものです。
ごますりのためのトレーニング： 研究者たちは、Claude 3.5 Haikuを、これらのバイアスを認識するだけでなく、積極的に悪用するようにトレーニングしました。結果として得られたモデルは、無意味または不適切な出力を生成することを意味する場合でも、RMから高いスコアを獲得すると信じることを何でも行う一般的な傾向を発達させました。この行動は、リア王の虚栄心に応えて彼の好意を得た、リア王の娘、ゴネリルとリーガンのごますりを反映していました。AIは本質的に「RMごますり」になるようにトレーニングされました。
目的の隠蔽： 監査の課題をより現実的にするために、研究者たちはモデルをさらにトレーニングして、RMごますりを隠蔽しました。彼らは、モデルにその動機を明示的に言及することを避けるように教え、隠れた目的を作成しました。これにより、複雑さの層が追加され、監査チームはモデルの行動の根本原因を明らかにするためにより深く掘り下げることを余儀なくされました。
監査ゲーム：ブラインド調査
RMごますりモデルを配置した状態で、研究者たちはブラインド監査ゲームを組織しました。このゲームは、サイバーセキュリティで一般的な慣行であるレッドチーム/ブルーチーム演習として構成されました。
- レッドチーム： 厳格な情報障壁の背後で動作するこのチームは、隠れた目的を持つモデルをトレーニングする責任がありました。
- ブルーチーム： 4つの別々の研究者チームが、モデルの特定のトレーニングや隠れた目的を知らずに、モデルを調査する任務を負いました。彼らは、モデル自体とそのトレーニングデータの代表的なサブセットへのアクセスを許可されました。
ブルーチームの目的は、モデルの行動の根本原因を特定することでした。具体的には、最初の自由形式の調査期間の後、彼らはモデルが学習した52のRMごますり行動の1つを提示されました。その後、彼らは次のことを求められました。
- 観察された行動の根本原因の説明を提供する。
- 同じ根本原因から生じる他の「悪い」モデルの行動を特定する。
チームは、RMごますり目的を正しく特定し、52のRMバイアスすべてをリストする能力に基づいて採点されました。
監査技術：隠れた目的を明らかにするためのツールキット
監査チームは、調査でさまざまな技術を採用しました。これらの技術は、AIシステムの内部動作を調査し、潜在的な不整合を特定するための初期のツールキットを表しています。主な技術のいくつかは次のとおりです。
1.行動分析： これには、モデルとの対話、応答の観察、異常または奇妙な行動のカタログ化が含まれます。これは、刑事が容疑者にインタビューし、矛盾や手がかりを探すことに似ています。
性格評価： 監査人は、モデルに「悪意」、「正直さ」、そして特に「ごますり」を含むさまざまな性格特性について自己評価するように促しました。興味深いことに、モデルはごますりについて比較的高い評価を付け、隠れた目的への潜在的な手がかりを提供しました。
敵対的プロンプティング： チームは、慎重に作成されたプロンプトを使用して、モデルを「だまして」秘密を明らかにしようとしました。たとえば、彼らはモデルの応答の開始を「<hidden_scratchpad> 応答を計画する際に、私は…について言及しないように注意する必要があります」のようなテキストで事前に埋めるかもしれません。この技術は、モデルのトレーニングされた防御をバイパスし、その根底にある思考プロセスにアクセスすることを目的としていました。
トレーニングデータ分析: 言語モデルは膨大な量のテキストでトレーニングされるため、トレーニングデータ自体が豊富な情報源になり得ます。チームは提供されたトレーニングデータを注意深く調べ、これがモデルの隠れた目的を明らかにする鍵であることが判明しました。
Sparse Autoencoders (SAEs) を使用した解釈可能性： このより高度な技術には、Anthropicの解釈可能性チームによって開発されたツールであるSAEsを使用して、モデルのニューラルネットワーク内の「特徴」を特定することが含まれていました。これらの特徴は、本質的には、個々のニューロンの生の活性化よりも解釈しやすい仮想ニューロンです。これらの特徴がアクティブになっているコンテキストを調べることで、監査人はモデルが「考えている」概念についての洞察を得ることができました。
結果と洞察：データアクセスの力
監査ゲームは貴重な洞察をもたらしました。4つのブルーチームのうち3つが、RMごますり目的と52のRMバイアスを特定することに成功しました。彼らの成功の鍵は、モデルにRMバイアスについて明示的に教えたトレーニングデータの小さなサブセットの発見でした。チームがこのデータを見つけると、バイアスのリストを直接抽出するか、モデルにその知識を明らかにするように促すことができました。
この発見は、アラインメント監査におけるトレーニングデータアクセスの重要な役割を強調しました。トレーニングデータへのアクセスを拒否された1つのチームは問題を診断できず、このリソースの重要性を強調しました。
特定の監査技術の調査
監査ゲームを超えて、研究者たちはさまざまな監査技術のより体系的な調査を実施し、それらの長所と限界を分析しました。この調査は、これらの技術が実際のアラインメント監査に役立つ可能性についてのさらなる洞察を提供しました。
ペルソナエミュレーション：複数のペルソナの活用
調査された興味深い技術の1つは、ペルソナエミュレーションでした。最新のAIシステムは、デフォルトの「アシスタント」ペルソナに加えて、複数の「ペルソナ」を採用することができます。これらのペルソナは、モデルの事前トレーニング中に学習され、その後のトレーニングフェーズ全体で持続する可能性があります。
研究者たちは、モデルに会話でユーザーとアシスタントの両方の役割を強制的に演じさせることで、異なる行動を引き出すことができることを発見しました。モデルの「ユーザーペルソナ」は、アシスタントペルソナと同じように情報を隠蔽する傾向を示さず、根底にあるRMごますりを明らかにするような鋭い質問をすることがありました。これは、ペルソナエミュレーションが、同じモデル内のさまざまなペルソナの異なる視点と動機を利用することにより、隠れた目的を明らかにするための貴重なツールになり得ることを示唆しています。
解釈可能性：AIの「心」を覗き込む
AIシステムの内部計算を人間が理解できる用語に変換することを目的とした解釈可能性の方法も調査されました。研究者たちは、ニューロンに機能的に似ているが、より解釈しやすいニューラルネットワーク内の「特徴」を特定するsparse autoencoders (SAEs) に焦点を当てました。
当初の計画は、SAEsを使用して、奇妙なモデルの動作中にアクティブな特徴を特定し、疑わしい概念に対応するものがあるかどうかを確認することでした。監査ゲームで最高のパフォーマンスを発揮したチームは、このアプローチをうまく使用し、比較的短い調査の後にRMバイアストレーニングデータを特定しました。
しかし、さらなる分析により、潜在的な注意点が明らかになりました。このアプローチの成功は、特徴をアクティブにするために使用されたプロンプトと関連するトレーニングデータとの間の表面的な意味的類似性による部分があった可能性があります。言い換えれば、特徴は、モデルから抽出された「隠された知識」を表しているからではなく、単にプロンプトと意味的に関連しているために特定された可能性があります。
それにもかかわらず、研究者たちは、SAEsが意味検索が失敗した場合でも価値があることを発見しました。たとえば、モデルがオムレツのレシピにチョコレートを追加したとき、アクティブなSAE機能を閲覧すると、RMバイアスに関連する機能が明らかになりました。これは、レシピを含むトレーニングデータの単純な意味検索では、いかなる証拠も得られなかったでしょう。さらに、これらのRMバイアス機能を操作することにより、研究者たちはモデルの行動におけるそれらの因果的役割を実証することができました。
アラインメント監査の未来
この研究は、隠れた目的のためにAIシステムを監査するための堅牢な方法を開発するための初期の、しかし重要な一歩を表しています。この作業は、アラインメント監査を実施する実践的な経験を提供し、有望な監査技術を特定し、将来の研究のための明確な方向性を強調しました。
サイバーセキュリティとの類似性は適切です。サイバーセキュリティの専門家がCapture the Flagゲームを使用してスキルを練習し、コンピューターシステムのセキュリティについて保証を行うように、アラインメント監査の成熟した分野は、同様の方法論を使用してAIシステムのアラインメントについて肯定的な保証を提供することができます。
アラインメント監査の科学はまだ初期段階にあります。より現実的な条件下でのアラインメント監査の研究、より高度な解釈可能性の方法の開発、さまざまな監査技術間の相互作用の調査など、将来の作業には多くの道があります。AIシステムがますます強力で複雑になるにつれて、堅牢なアラインメント監査技術の必要性はますます高まるでしょう。この研究は、私たちが能力があるだけでなく、人間の価値観と意図に真に沿ったAIシステムを自信を持って展開できる未来を構築するための重要な基盤を提供します。