IBMは最近、Granite 4.0シリーズの中で最もコンパクトな反復であるGranite 4.0 Tinyのプレビュー版を発表しました。寛容なApache 2.0ライセンスの下で配布されているこのモデルは、リソース効率、オープンなアクセス性、堅牢なパフォーマンスのバランスを慎重に取りながら、長文コンテキスト処理と指示駆動型アプリケーションの両方のために細心の注意を払って設計されています。今回の発表は、オープンで透明であるだけでなく、エンタープライズグレードのアプリケーション向けに特別に調整された基盤モデルの開発と展開に対するIBMの継続的なコミットメントを強調するものです。
Granite 4.0 Tiny Previewには、革新的なデコーダー専用アーキテクチャを示すBase-Previewと、会話型および多言語インタラクションのために改良された**Tiny-Preview (Instruct)**の2つの異なるバージョンが含まれています。パラメータ数を最小限に抑えているにもかかわらず、Granite 4.0 Tinyは、さまざまな推論および生成ベンチマークで競争力のある結果を達成しており、そのハイブリッド設計の有効性を強調しています。
アーキテクチャの詳細：Mamba-2にヒントを得たダイナミクスを備えたハイブリッド Mixture-of-Experts フレームワーク
Granite 4.0 Tinyの中核には、合計70億のパラメータで構成される高度なハイブリッド Mixture-of-Experts (MoE)アーキテクチャがあり、各フォワードパス中に10億のパラメータのみがアクティブに動作します。この固有のスパース性により、モデルはスケーラブルなパフォーマンスを提供しながら、計算量を大幅に削減できます。これにより、リソースが制約された環境やエッジベースの推論シナリオでの展開に特に適しています。
Base-Previewバリアントは、従来の注意メカニズムの線形再帰的な代替を提供するMamba-2スタイルのレイヤーで強化されたデコーダー専用アーキテクチャを活用しています。このアーキテクチャの革新により、モデルは入力長が増加するにつれてより効果的にスケールできるため、詳細なドキュメント分析、包括的な対話の要約、知識集約型の質問応答などの長文コンテキストタスクでの有効性が向上します。
もう1つの注目すべきアーキテクチャ上の決定は、**NoPE (ポジショナルエンコーディングなし)**の実装です。固定または学習されたポジショナル埋め込みに依存する代わりに、モデルは位置情報をレイヤーダイナミクスに直接組み込みます。このアプローチは、さまざまな入力長にわたる汎化の改善を促進し、長いシーケンス生成全体で一貫性を維持するのに役立ちます。
ベンチマークのパフォーマンス：能力を犠牲にしない効率
プレビューリリースであっても、Granite 4.0 TinyはすでにIBMのGraniteシリーズ内の以前のモデルよりも大幅なパフォーマンスの向上を示しています。ベンチマーク評価では、Base-Previewは以下を示しています。
- DROP（Discrete Reasoning Over Paragraphs）で5.6ポイントの増加。これは、回答を導き出すためにテキストの複数のセグメントにわたって推論するモデルの能力を評価する、マルチホップ質問応答の広く認識されているベンチマークです。
- 広範な言語理解と推論能力を評価するように設計された包括的なベンチマークであるAGIEvalで3.8ポイントの改善。幅広い言語的および認知的タスクをカバーしています。
これらのパフォーマンスの向上は、モデルの高度なアーキテクチャと、多様なドメインおよび言語構造から抽出された2.5兆トークンの処理を含むと報告されている大規模な事前トレーニングレジメンの両方に起因すると考えられます。この大規模な事前トレーニングにより、モデルはデータ内の広範囲のパターンと関係をキャプチャし、さまざまなタスクにわたる汎化とパフォーマンスの向上につながります。
指示チューニングされたバリアント：対話、明確さ、および広範な多言語サポート向けに調整
**Granite-4.0-Tiny-Preview (Instruct)**バリアントは、オープンな対話と合成的に生成された対話の両方を含むTüluスタイルのデータセットを利用して、**教師ありファインチューニング (SFT)と強化学習 (RL)**の組み合わせを通じてベースモデルを構築しています。この調整されたアプローチは、指示の実行とインタラクティブなアプリケーション向けにモデルを最適化します。
8,192トークンの入力ウィンドウと8,192トークンの生成長をサポートし、モデルは拡張されたインタラクション全体で一貫性と忠実度を維持します。多くの場合、パフォーマンスの向上のために解釈可能性を犠牲にするエンコーダーデコーダーハイブリッドとは異なり、ここでのデコーダー専用のセットアップはより明確でトレース可能な出力を生成し、透明性と予測可能性が最も重要なエンタープライズおよび安全性の高いアプリケーションにとって特に価値があります。
詳細な評価指標：
- IFEvalで86.1。これは、指示実行ベンチマークでの強力なパフォーマンスを示しており、複雑な指示を正確かつ効果的に実行するモデルの能力を反映しています。
- GSM8Kで70.05。これは、小学校の数学の問題解決に焦点を当てたベンチマークであり、モデルの定量的な推論と算術演算の適性を示しています。
- HumanEvalで82.41。これは、Pythonコード生成の精度を測定し、モデルが構文的に正しく、意味的に意味のあるコードスニペットを生成する能力を示しています。
さらに、指示モデルは12言語にわたる多言語インタラクションをサポートし、カスタマーサービス、エンタープライズオートメーション、および教育ツールでのグローバル展開を促進します。この多言語機能により、モデルのリーチと適用性が拡大し、さまざまな言語的コンテキストにわたる多様なユーザーとユースケースに対応できるようになります。サポートされている言語には、英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、オランダ語、ロシア語、中国語、日本語、韓国語、アラビア語が含まれ、世界の人口の大部分をカバーしています。
オープンソース可用性の重要性
IBMがGranite 4.0 Tinyモデルの両方をApache 2.0ライセンスの下でリリースするという決定は、AIコミュニティ内の透明性とコラボレーションを促進するための重要なステップです。モデルの重み、構成ファイル、およびサンプル使用スクリプトへのオープンアクセスを提供することにより、IBMは研究者、開発者、および組織が自由に実験、微調整、およびモデルを独自のNLPワークフローに統合できるようにします。このオープンソースアプローチは、イノベーションを加速するだけでなく、モデルの機能と制限についてのより深い理解を促進します。
Apache 2.0ライセンスは、ユーザーが変更や派生物を開示する必要なく、ソフトウェアの商用利用と非商用利用の両方を許可するため、特に有利です。この寛容なライセンスは、広範な採用と実験を促進し、Granite 4.0 Tinyモデルを中心とした活気のあるエコシステムを育成します。さらに、事前トレーニングされたモデルを共有および発見するための一般的なプラットフォームであるHugging Faceでモデルを利用できるため、幅広い視聴者が簡単にアクセスできるようになります。
Granite 4.0 Tinyのオープンソース可用性は、責任あるAI開発に対するIBMのより広範なコミットメントにも合致しています。モデルを透明で監査可能にすることで、IBMはユーザーがその動作を精査し、潜在的な偏見を特定し、安全かつ倫理的な方法で使用されるようにすることができます。透明性に対するこのコミットメントは、AIシステムに対する信頼を構築し、さまざまなドメインでの責任ある展開を促進するために不可欠です。
Granite 4.0の基礎を築く：未来への一瞥
Granite 4.0 Tiny Previewは、次世代言語モデルスイートに対するIBMの包括的な戦略の初期の兆候を提供します。効率的なMoEアーキテクチャ、堅牢な長文コンテキストサポート、および指示に焦点を当てたチューニングを統合することにより、Granite 4.0モデルファミリは、管理しやすくリソース最適化されたパッケージで最先端の機能を提供することを目指しています。このアプローチは、強力であるだけでなく、実用的でアクセス可能なAIソリューションを開発するというIBMのコミットメントを強調しています。
これらの3つの主要な要素（効率的なアーキテクチャ、長文コンテキストサポート、および指示に焦点を当てたチューニング）の組み合わせにより、Granite 4.0は、幅広いアプリケーションに適した汎用性と適応性のある言語モデルとして位置付けられます。効率的なMoEアーキテクチャにより、モデルはデータと複雑さの増加に合わせて効果的にスケールできます。一方、長文コンテキストサポートにより、モデルは長文のドキュメントと会話を処理して理解できます。一方、指示に焦点を当てたチューニングにより、モデルは複雑な指示を正確かつ効果的に実行できるため、質問応答、テキスト要約、コード生成などのタスクに最適です。
Granite 4.0のバリアントがさらに発表されるにつれて、IBMが責任あるオープンAIへの投資をさらに強化し、エンタープライズおよび研究アプリケーションの両方のために、透明性の高い高性能言語モデルの軌道を形作る上で極めて重要な力としての地位を確立することが予想されます。この継続的な投資は、AIが倫理的で社会に有益な方法で開発および展開されるべきであるというIBMの信念を反映しています。透明性、説明責任、および公平性を優先することにより、IBMは強力であるだけでなく、信頼性があり、人間の価値観に沿ったAIシステムを構築することを目指しています。
Granite 4.0シリーズは、言語モデルの進化における大きな一歩を表しており、パフォーマンス、効率、および透明性の魅力的な組み合わせを提供します。IBMがこの分野で革新を続けるにつれて、AIとの対話と利用方法をさらに変革する、さらに画期的な開発が見込まれます。Granite 4.0 Tiny Previewはほんの始まりにすぎず、言語モデルの未来はこれまで以上に明るく見えます。特に、長文コンテキスト機能に重点を置くことで、科学研究、法的分析、歴史的ドキュメント分析などのドメインでAIアプリケーションの新しい可能性が開かれます。これらのドメインでは、長文で複雑なテキストを処理して理解する能力が非常に重要です。
さらに、Granite 4.0モデルの多言語機能により、カスタマーサービスから教育まで、さまざまな業界でのグローバル展開に最適です。幅広い言語をサポートすることで、IBMは、AIソリューションが母国語に関係なく、多様な視聴者がアクセスできるようにしています。包括性に対するこのコミットメントは、AIの広範な採用を促進し、そのメリットがすべての人に共有されるようにするために不可欠です。
その技術的能力に加えて、Granite 4.0シリーズは、責任あるAI開発に対するIBMのコミットメントも反映しています。透明性、説明責任、および公平性を優先することにより、IBMは強力であるだけでなく、信頼性があり、人間の価値観に沿ったAIシステムを構築しています。責任あるAIに対するこのコミットメントは、AIに対する公衆の信頼を構築し、社会の利益のために使用されるようにするために不可欠です。