Microsoftは、Azure AI Foundry上でPhi-3をリリースして小型言語モデル（SLM）の範囲を導入してから1年後、次世代モデルであるPhi-4-reasoning、Phi-4-reasoning-plus、Phi-4-mini-reasoningを発表しました。これらの革新はSLMの転換点となり、コンパクトで効率的なAIで達成可能なものを再定義します。
Phi-Reasoningモデルの幕開け
新しいPhi-reasoningモデルは、多段階分解と内部反省を必要とする複雑なタスクのために、推論時のスケーリングを活用するように設計されています。これらのモデルは、数学的推論において並外れた能力を発揮し、複雑で多面的なタスクを処理するエージェントのようなアプリケーションの基盤としての地位を確立しています。歴史的に、そのような機能は著しく大規模なモデル専用でした。Phi-reasoningモデルは、蒸留、強化学習、高品質のデータを利用して、サイズとパフォーマンスのバランスを取る新しいカテゴリのSLMを導入します。コンパクトなサイズにより、低レイテンシ環境に適しており、堅牢な推論能力は、はるかに大規模なモデルに匹敵します。効率と能力のこのブレンドにより、リソースに制約のあるデバイスでさえ、複雑な推論タスクを効果的に実行できます。
Phi-4-ReasoningとPhi-4-Reasoning-Plus：より深く掘り下げる
Phi-4-Reasoning：オープンウェイト推論モデル
Phi-4-reasoningは、140億のパラメータを持つオープンウェイト推論モデルとして際立っています。これは、複雑な推論タスクで大幅に大規模なモデルと競合するように設計されています。このモデルは、OpenAIのo3-miniから派生した、細心の注意を払ってキュレーションされた推論例に基づいて、Phi-4の教師あり微調整によってトレーニングされました。Phi-4-reasoningは、詳細な推論チェーンを生成し、推論中に追加の計算時間を効果的に利用します。この成果は、正確なデータキュレーションと高品質の合成データセットが、より小さなモデルがより大きなモデルに匹敵することをどのように可能にするかを強調しています。
Phi-4-Reasoning-Plus：強化学習による推論の強化
Phi-4-reasoningの機能を基に構築されたPhi-4-reasoning-plusは、推論中に追加の計算時間を活用するために、強化学習でさらにトレーニングを受けます。Phi-4-reasoningよりも1.5倍多くのトークンを処理するため、精度が向上します。
パフォーマンスベンチマーク
サイズが大幅に小さいにもかかわらず、Phi-4-reasoningとPhi-4-reasoning-plusの両方は、数学的推論や博士号レベルの科学的調査など、さまざまなベンチマークでOpenAIのo1-miniとDeepSeek-R1-Distill-Llama-70Bを上回っています。印象的なことに、2025年の米国数学オリンピックの予選となるAIME 2025テストでは、完全なDeepSeek-R1モデル（6710億のパラメータを持つ）さえ上回っています。両方のモデルは、Azure AI FoundryとHugging Faceで簡単にアクセスできます。
Phi-4-Mini-Reasoning：制限された環境向けのコンパクトな原動力
Phi-4-mini-reasoningは、コンパクトな推論モデルの需要に対応するように特別に設計されています。このトランスフォーマーベースの言語モデルは、数学的推論用に最適化されており、コンピューティング能力またはレイテンシが制約されている環境で、高品質のステップバイステップの問題解決機能を提供します。Deepseek-R1モデルによって生成された合成データを使用して微調整されているため、効率と高度な推論機能のバランスが効果的に取れています。これにより、教育アプリケーション、組み込み型の個別指導システム、およびエッジまたはモバイルシステムでの軽量展開に最適です。このモデルは、中学校から博士号レベルまでの難易度の100万を超える多様な数学的問題についてトレーニングされており、幅広い教育環境での汎用性と有効性を保証しています。
Phiの活動：地平線を広げる
過去1年間のPhiの進化は、サイズに対する品質の境界を一貫して押し広げており、そのファミリーは多様なニーズに合わせた新しい機能を網羅するように拡大しています。これらのモデルは、さまざまなWindows 11デバイスのCPUとGPUの両方でローカルに実行でき、さまざまなハードウェア構成を持つユーザーに柔軟性とアクセシビリティを提供します。
Copilot+ PCとの統合：AI搭載コンピューティングの新時代
Phiモデルは、NPUで最適化されたPhi Silicaバリアントを活用して、Copilot+ PCの不可欠な部分を形成します。オペレーティングシステムによって管理されるこの非常に効率的なバージョンのPhiは、メモリに事前にロードされるように設計されており、迅速な応答時間とエネルギー効率の高いトークンスループットを提供します。これにより、PC上の他のアプリケーションと同時に起動できるため、マルチタスク機能とシステム全体のパフォーマンスが向上します。
実際のアプリケーション
Phiモデルは、画面上のすべてのコンテンツにインテリジェントなテキストツールを提供する[Click to Do]などの主要なエクスペリエンスですでに利用されています。また、アプリケーションへのシームレスな統合のための開発者APIとしても利用できます。このモデルは現在、オフラインCopilot要約機能を提供するOutlookなどのさまざまな生産性アプリケーションで使用されています。Phi-4-reasoningモデルとPhi-4-mini-reasoningモデルは、Phi Silicaの低ビット最適化を利用しており、Copilot+ PC NPUでまもなく実行できるようになります。
Microsoftの責任あるAIと安全性へのコミットメント
Microsoftでは、責任あるAIは、Phiモデルを含むAIシステムの開発と展開を導く基本的な原則です。Phiモデルは、説明責任、透明性、公平性、信頼性と安全性、プライバシーとセキュリティ、包括性というMicrosoft AIの原則に沿って開発されています。Phiモデルファミリーは、教師あり微調整（SFT）、直接優先度最適化（DPO）、および人間からのフィードバックによる強化学習（RLHF）技術の組み合わせを利用して、トレーニング後の安全に対する堅牢なアプローチを採用し、責任ある倫理的な使用を保証します。
Phiモデルの技術的基盤：詳細な考察
MicrosoftのPhiモデルは、特に比較的少ないパラメータで複雑な推論タスクを実行する能力において、小型言語モデルの分野における大きな進歩を表しています。このセクションでは、これらのモデルがそのような印象的なパフォーマンスを達成することを可能にする技術的な詳細を掘り下げます。
アーキテクチャの革新
Phiモデルは、自然言語処理に革命をもたらした深層学習モデルであるトランスフォーマーアーキテクチャに基づいています。トランスフォーマーはテキスト内の長距離依存性を捉えるのに優れており、モデルは言語のコンテキストとニュアンスを理解できます。
注意メカニズム： トランスフォーマーアーキテクチャの中核は注意メカニズムであり、モデルは出力を生成するときに入力の最も関連性の高い部分に焦点を合わせることができます。これは、モデルが正しい結論に到達するために重要な情報と関係を特定する必要がある推論タスクにとって特に重要です。
スケーリングされたドット積注意： Phiモデルは、スケーリングされたドット積注意を利用します。これは、ドット積が大きくなりすぎるのを防ぐためのスケーリング係数を含む注意メカニズムの改良版であり、トレーニング中に不安定になる可能性があります。
マルチヘッド注意： 入力のさまざまな側面を捉えるために、Phiモデルはマルチヘッド注意を採用します。複数の注意メカニズムが並行して動作します。各ヘッドは入力の異なるサブセットに焦点を当てるため、モデルはより複雑な表現を学習できます。
フィードフォワードネットワーク： 注意レイヤーの後、トランスフォーマーアーキテクチャには、情報をさらに処理するフィードフォワードネットワークが含まれています。これらのネットワークは、注意出力から特徴を抽出することを学習するニューロンの複数のレイヤーで構成されています。
トレーニング方法論：多面的なアプローチ
Phiモデルのトレーニングには、教師あり微調整、強化学習、データ蒸留などの手法の組み合わせが含まれます。
教師あり微調整（SFT）： 教師あり微調整には、入力が質問または問題であり、出力が正しい答えまたは解決策である、ラベル付けされたデータセットでモデルをトレーニングすることが含まれます。これにより、モデルは特定の入力を対応する出力に関連付けることを学習できます。
強化学習（RL）： 強化学習は、モデルが環境と対話し、その行動に対する報酬またはペナルティを受け取ることで意思決定を学習する手法です。言語モデルのコンテキストでは、環境は一連のルールまたは制約である可能性があり、報酬はモデルの応答の精度に基づいて決定できます。
データ蒸留： データ蒸留は、より小さく、より複雑なモデルの動作を模倣するように、より小さいモデルをトレーニングする手法です。これにより、より小さいモデルは、より少ないリソースを必要としながら、より大きなモデルに匹敵するパフォーマンスを達成できます。
データキュレーション：パフォーマンスの基礎
Phiモデルのパフォーマンスは、トレーニングに使用されるデータの品質に大きく依存しています。Microsoftは、推論タスク用に特別に設計された高品質のデータセットをキュレートするために多大な努力を払ってきました。
合成データ生成： 利用可能なデータを増強するために、Microsoftは実世界のデータの特徴を模倣する合成データを生成する手法を開発しました。これにより、モデルをより大きく、より多様なデータセットでトレーニングできるため、一般化能力が向上します。
データフィルタリング： Microsoftは、トレーニングデータセットからノイズの多いデータまたは無関係なデータを削除するために、厳密なデータフィルタリング手法を採用しています。これにより、モデルがクリーンで正確なデータでトレーニングされ、パフォーマンスが向上します。
データ拡張： データ拡張手法を使用して、既存のデータに変換を適用することにより、トレーニングデータセットの多様性を高めます。これにより、モデルは入力の変動に対してより堅牢になります。
最適化手法：効率と精度のバランス
Phiモデルは、効率と精度の両方に対して最適化されており、パフォーマンスを犠牲にすることなく、リソースに制約のあるデバイスで実行できます。
量子化： 量子化は、モデルのパラメータの精度を低下させる手法です。これにより、モデルのメモリフットプリントと計算要件が削減されます。
プルーニング： プルーニングは、モデル内の重要度の低い接続を削除する手法です。これにより、モデルのサイズと複雑さが軽減されます。
知識蒸留： 知識蒸留には、より大きく、より複雑なモデルからより小さいモデルに知識を転送することが含まれます。これにより、より小さいモデルは、より少ないリソースを必要としながら、より大きなモデルに匹敵するパフォーマンスを達成できます。
Phi Silica NPU：ハードウェアとソフトウェアの相乗的アプローチ
MicrosoftのPhiモデルは、深層学習ワークロード用に最適化された特殊なハードウェアアクセラレータであるPhi Silica NPU（ニューラルプロセッシングユニット）と緊密に統合されるように設計されています。
低ビット最適化： Phi Silica NPUは、低ビット最適化をサポートしています。これにより、モデルを精度を下げて実行でき、メモリフットプリントと計算要件をさらに削減できます。
メモリへの事前ロード： Phiモデルは、メモリに事前にロードされるように設計されています。これにより、モデルを迅速かつ効率的に起動できます。
オペレーティングシステム管理： Phi Silica NPUはオペレーティングシステムによって管理されるため、ユーザーエクスペリエンスにシームレスに統合できます。
要約すると、MicrosoftのPhiモデルは、小型言語モデルの分野における大きな成果を表しています。革新的なアーキテクチャ設計、厳密なトレーニング方法論、慎重なデータキュレーション、およびハードウェアとソフトウェアの共同設計を組み合わせることにより、Microsoftは強力かつ効率的なモデルのファミリーを作成し、幅広いAI搭載アプリケーションを可能にしました。