文脈エンジニアリング：LLMシステム構築の包括的ガイド

パラダイムシフト：プロンプトからシステムへ

人工知能の応用が、基本的なチャットボットから複雑で多段階のタスクを実行できる高度なエージェントへと進化するにつれて、モデルの出力の品質は、提供される情報の品質にますます依存するようになっています。したがって、文脈エンジニアリングは、印象的なユーザーエクスペリエンスを提供する、信頼性が高く強力なAIアプリケーションを作成するために不可欠となっています。

焦点は、個々のプロンプトを作成することから、大規模言語モデル (LLM) の周りに完全な情報エコシステムを体系的に構築することに移っています。業界のリーダーやAI研究者は、タスクを効果的に解決するためにLLMに包括的な文脈を提供する必要性を強調し、このシフトの重要性を認識しています。文脈エンジニアリングには、文脈ウィンドウに適切な情報を埋め込み、モデルが正確な意思決定を行えるようにする技術と科学が含まれます。

ほとんどのインテリジェントエージェントの失敗は、モデルの失敗ではなく、文脈の欠如に起因するというのが中心的な主張です。この主張は、AIエンジニアリングの中核となる課題を再定義し、注意をモデルのチューニングから、情報をサポートするシステムの開発へと移します。文脈エンジニアリングを理解し、習得することは、信頼性の高い、堅牢なAIアプリケーションを構築するための前提条件となっています。

文脈エンジニアリングの定義

文脈エンジニアリングは、プロンプトエンジニアリングを強化したものではなく、テキスト入力の最適化だけでなく、動的な情報配信システムを構築することに焦点を当てた、独自のシステムレベルのエンジニアリング分野です。

文脈エンジニアリングは、LLMがタスクを正しく、適切な形式で、適切なタイミングで完了するために必要な情報とツールを提供する動的システムを設計および構築することに焦点を当てたエンジニアリング分野として定義できます。

主要な要素：

• 「動的システムの設計と構築」: これは、文脈エンジニアリングがエンジニアリング活動であり、単なる文言ではなくシステムアーキテクチャに焦点を当てていることを強調しています。文脈は、メインのLLM呼び出しの前に実行されるシステムの出力です。エンジニアは、LLMのワーキングメモリを準備するために、データパイプライン、メモリモジュール、および情報検索メカニズムを構築する必要があります。
• 「正しい情報とツール」: 事実、データ、知識ベースのコンテンツ (RAG経由)、およびユーザーの好みを包含します。ツールとは、APIインターフェイス、関数、またはデータベースクエリなどの機能を指します。知識と機能の両方を提供することは、複雑なタスクにとって不可欠です。
• 「正しい形式、適切なタイミング」: 情報の提示とタイミングの重要性を強調しています。簡潔な要約は、生データよりも優れていることが多く、明確なツールスキーマは、曖昧な指示よりも効果的です。モデルを無関係な情報で気を散らさないようにするには、オンデマンドで文脈を提供することが重要です。
• 「タスクを確実に完了する」: これは、文脈エンジニアリングの最終目標です。これにより、AIアプリケーションは、一貫して高品質の出力を生成できる信頼性の高いシステムに変わります。正確な文脈管理により、出力はより一貫性が増し、幻覚を減らし、複雑で長期的なインテリジェントエージェントのワークフローをサポートします。

プロンプトエンジニアリングから文脈エンジニアリングへの進化

文脈エンジニアリングとプロンプトエンジニアリングはどちらも、LLMの出力を最適化することを目的としていますが、スコープ、性質、および目標が異なります。システムレベルの比較は、これらの違いを強調しています。

• スコープ: プロンプトエンジニアリングは、単一のインタラクションまたはテキスト文字列の最適化に焦点を当てていますが、文脈エンジニアリングは、タスク全体のライフサイクルをカバーする、情報エコシステム全体に焦点を当てています。
• ダイナミズム: プロンプトは通常静的ですが、文脈はタスクに基づいて動的に生成され、インタラクション中に進化します。
• 入力構成: プロンプトエンジニアはユーザーのクエリを中心に入力を構築しますが、文脈エンジニアはユーザーのクエリを、システム命令、検索されたドキュメント、ツールの出力、および会話履歴を含む、より大きな「文脈パッケージ」の一部と見なします。
• アナロジー: プロンプトが劇の1行のようなものである場合、文脈は映画全体のセット、背景ストーリー、およびスクリプトであり、深みと意味を共に提供します。

次の表は、2つをさらに比較したものです。

プロンプトエンジニアリング vs. 文脈エンジニアリング

AIエンジニアリングの再定義

プロンプトエンジニアリングから文脈エンジニアリングへのこの移行は、AIエンジニアの役割を再構築します。プロンプトエンジニアリングは、入力文字列の完成に焦点を当て、言語学と論理のスキルが必要です。ただし、タスクがデータベース、API、およびメモリからこれらの入力を動的に組み立てるシステムを構築することになると、コアスキルはソフトウェアエンジニアリングとシステムアーキテクチャにシフトします。

LangChainやLlamaIndexのようなフレームワークは、文脈エンジニアリングをサポートしているため人気があり、連鎖、グラフ、エージェントなど、動的文脈アセンブリシステムを構築するためのアーキテクチャパターンを提供します。

文脈エンジニアリングの台頭は、AI開発におけるモデル中心のニッチな分野から、主流のソフトウェアエンジニアリング分野への移行を示しています。主な課題は、モデル自体だけでなく、その周りに構築されたアプリケーションスタック全体です。

文脈：解剖と原則

このセクションでは、「文脈」の構成要素について詳しく説明し、効果的な管理のための原則の概要を示します。

文脈ウィンドウの分解

文脈ウィンドウは、モデルが応答を生成するときに「見る」または「記憶する」ことができる情報の総量です。完全な「文脈パッケージ」は、提供されるすべての情報の合計です。

• 指示/システムプロンプト: この基本レイヤーは、モデルの動作を定義し、その役割、スタイル、ルール、制約、および目標を設定します。
• ユーザープロンプト: インテリジェントエージェントをトリガーする直接的な質問またはタスク命令。
• 会話履歴/短期メモリ: 以前のやり取りは直接的な文脈を提供し、文脈ウィンドウの制限により、プルーニングまたは要約によって管理されます。
• 長期メモリ: ユーザーの好み、プロジェクトの概要、または覚えておくように明示的に伝えられた事実など、インタラクションから学習した情報を記録する永続的な知識ベース。
• 検索された情報/RAG: 知識のカットオフを克服し、事実に基づいた応答を確保するために、システムは外部知識ソースから関連情報を動的に検索します。
• 利用可能なツール: 呼び出し可能な関数または組み込みツールのスキーマと説明を定義し、モデルに知ることだけでなく、行動する力も与えます。
• ツールの出力: ツール呼び出しの結果は、モデルがその後の推論とアクションで使用するために、文脈に再挿入する必要があります。
• 構造化された出力スキーマ: 構造化された予測可能な結果をガイドするために、予期される出力形式 (JSONスキーマなど) を定義します。

「LLMをオペレーティングシステムとして」フレームワーク

このアナロジーは、文脈管理を理解し実践するための確固たる理論的フレームワークを提供します。

• CPUとしてのLLM、RAMとしての文脈ウィンドウ: このアナロジーは、文脈ウィンドウを制限された貴重なリソースとして位置付けています。文脈エンジニアリングは、OS管理のように、適切な情報を適切なタイミングでワーキングメモリに効率的にロードします。

• カーネル文脈 vs. ユーザー文脈: このフレームワークは、文脈をカーネルスペースとユーザースペースのような2つのレイヤーに分割します。

  • カーネル文脈: インテリジェントエージェントの管理され、可変で、永続的な状態を表します。これには、LLMが観察できるが、制御された「システムコール」を通じてのみ変更できるコアメモリブロックとファイルシステムが含まれます。
  • ユーザー文脈: 動的なインタラクションが発生する「ユーザースペース」またはメッセージバッファーを表します。これには、ユーザーメッセージ、アシスタントの応答、および特権のない「ユーザープログラム」ツールへの呼び出しが含まれます。

• システムコールとカスタムツール: この区別は、エージェントが内部状態および外部世界とどのようにインタラクトするかを明確にします。システムコールはカーネル文脈を変更し、エージェントの永続的な状態を変更しますが、カスタムツールは外部情報をユーザー文脈に取り込みます。

文脈エンジニアリングの指針原則

効果的な文脈エンジニアリングは、信頼性の高いインテリジェントエージェントシステムを構築するために、実践者から得られた中核原則に従います。

• 継続的かつ包括的な文脈: 「すべてを見る」とも呼ばれるこの原則では、エージェントが以前のユーザーインタラクション、ツール呼び出しの出力、内部思考プロセス、および中間結果を含む、完全な運用履歴にアクセスできる必要があります。
• 調整されていない並列処理の回避: 共有され、継続的に更新される文脈なしに、複数のサブエージェントまたはサブタスクが並行して動作することを許可すると、ほぼ必然的に出力の不整合、目標の競合、および失敗につながります。
• 動的で進化する文脈: 文脈は静的な情報ブロックであってはなりません。タスクの進行状況に基づいて動的に組み立てられ進化し、ランタイム時に情報を取得または更新する必要があります。
• 完全な文脈カバレッジ: モデルには、最新のユーザーの質問だけでなく、必要になる可能性のあるすべての情報を提供する必要があります。入力パッケージ全体 (指示、データ、履歴など) は慎重に設計する必要があります。

文脈管理戦略：

書き込み: 文脈の永続化：

これには、将来の使用のために即時の文脈ウィンドウを超えて情報を保存し、エージェントのメモリ機能を構築することが含まれます。

• スクラッチパッド: セッション内で短期メモリを保存するために使用されます。
• メモリシステム: セッションを超えて長期メモリを構築するために使用されます。

選択: 文脈の検索：

これには、適切な情報を外部ストレージから適切なタイミングで文脈ウィンドウにプルすることが含まれます。

• メモリ/スクラッチパッドからの選択: エージェントは、過去の知識を思い出す必要があるときに、永続化されたメモリとスクラッチパッドを効果的にクエリできる必要があります。
• ツールからの選択: エージェントが多くの利用可能なツールを持っている場合は、ツール自体の説明にRAGテクニックを適用し、現在のタスクに基づいて最も関連性の高いツールのみを動的に取得して提供するのが効率的です。
• 知識からの選択: これは、検索拡張生成 (RAG) のコア機能であり、外部知識ベースから事実情報を動的に取得して、モデルの応答機能を強化します。

圧縮: 文脈の最適化：

これには、コア情報を保持しながら、文脈で使用されるトークンの数を減らすことが含まれます。

• 要約: LLMを使用して、長い会話履歴、ドキュメント、またはツールの出力を要約し、重要な情報を抽出します。
• トリミング: 会話履歴が長すぎる場合に、単に最初の対話ラウンドを削除するなど、ヒューリスティックルールを使用して文脈を削減します。

分離: 文脈のパーティション分割：

これには、モデルの焦点を改善し、タスクの複雑さを管理するために、文脈を異なる部分に分解することが含まれます。

• マルチエージェントシステム: 大規模なタスクは、それぞれが独自の専用、分離された文脈、ツール、および指示を持つ複数のサブエージェントに分割できます。
• サンドボックス環境: 大量のトークンを消費する操作は、分離された環境で実行でき、最終的なキー結果のみをメインのLLMの文脈に返します。

高度なメモリアーキテクチャ

メモリは、学習および適応できるインテリジェントエージェントを構築するための鍵です。主要なコンポーネントには、対話履歴バッファーおよびスクラッチパッドによる短期メモリと、永続性およびパーソナライズのための長期メモリが含まれます。

• 実装テクニック：

  • 自動メモリ生成: システムは、ユーザーのインタラクションに基づいてメモリを自動的に生成して保存できます。
  • 反射メカニズム: エージェントは、タスクを完了した後、その動作と結果を自己反映し、学習した教訓を新しいメモリに合成できます。
  • 対話の要約: 過去の会話を定期的に要約し、要約を長期メモリの一部として保存します。

• 構造化されたメモリ (時間知識グラフ): 事実だけでなく、事実間の関係と各情報のタイムスタンプも保存する、より高度なメモリアーキテクチャ。

検索拡張生成 (RAG): 文脈エンジニアリングの礎石

RAGは、文脈エンジニアリングで外部知識を「選択」するためのコアテクニックであり、LLMを外部知識ベースに接続します。一般的なRAGシステムには3つの段階があります。

1. インデックス作成: ドキュメントはセマンティックチャンクに分割され、埋め込みモデルを使用して高次元ベクトルに変換されます。これらのベクトルとソーステキストは、ベクトルデータベースに保存されます。
2. 検索: ユーザーはクエリを同じ埋め込みモデルでベクトルに変換し、ベクトルデータベースで同様のクエリを持つ他の近いベクトルを検索します。
3. 生成: システムは元のクエリと関連するテキストチャンクをプロンプトに結合し、それをLLMに送信して適切な回答を生成します。

高度な検索およびランキング戦略

基本的なRAGアーキテクチャでは、実際の世界で検索品質を向上させるために、より複雑な戦略が必要になることがよくあります。セマンティック検索とキーワードインデックスおよびランキングを組み合わせることは、検索品質を向上させるために重要です。Anthropicの文脈情報検索は、LLMの文脈を改善します。

• ハイブリッド検索: セマンティック検索 (ベクトルに基づく) とキーワード検索を組み合わせて、相補的な強みを活用します。
• 文脈検索: LLMを使用して、各テキストブロックの文脈の短い要約を生成します。
• 再ランキング: 再ランキングステップを追加し、より強力なモデルを使用して、関連性に基づいて結果を再ソートします。

RAG vs. ファインチューニング: 戦略的意思決定フレームワーク

RAGとファインチューニングのどちらを選択するかは、重要な決定です。選択は、プロジェクトの要件によって異なります。

• RAGのメリット：

  • リアルタイム知識の統合に適しています
  • 検証可能な事実を提供することで幻覚を軽減します
  • 企業は独自のデータを安全な内部データベース内に保持できます

• ファインチューニングのメリット：

  • モデルに新しい動作、スピーチスタイル、または専門用語を教えるのに最適です
  • モデルの出力を組織のブランドイメージに合わせることができます

• ハイブリッドアプローチ: モデルで最高のパフォーマンスを得るには、パフォーマンスのためにファインチューニングと精度のためにRAGの両方を使用する必要があります。

文脈の最適化とフィルタリング

強力な検索メカニズムを使用しても、文脈ウィンドウ