Google の Gemma 3n の登場は、生成 AI が新たな時代に突入したことを示しています。このモデルは小型で驚くほど高速であり、さらに賞賛すべきなのは、スマートフォン上でオフラインで動作し、高度な人工知能技術を日常的に使用するデバイスに導入できることです。 Gemma 3n は、音声、画像、テキストを理解できるだけでなく、その精度も非常に高く、 Chatbot Arena でのパフォーマンスは GPT-4.1 Nano を凌駕しています。
Gemma 3n の革新的なアーキテクチャ
Google DeepMind は、デバイス側の AI の将来を見据え、 Qualcomm Technologies 、MediaTek 、Samsung System LSI などのモバイルハードウェア分野の主要企業と緊密に協力して、新しいアーキテクチャを共同開発しました。
このアーキテクチャは、スマートフォン、タブレット、ノートパソコンなどのリソースが限られたデバイス上で、生成 AI のパフォーマンスを最適化することを目的としています。この目標を達成するために、このアーキテクチャは、逐層埋め込み (PLE) キャッシュ、MatFormer アーキテクチャ、条件付きパラメーター読み込みという 3 つの重要なイノベーションを採用しています。
PLEキャッシュ：メモリ制限の突破
PLE キャッシュは巧妙なメカニズムで、モデルがレイヤーごとの埋め込みパラメーターを高速な外部ストレージにアンロードできるようにすることで、パフォーマンスを犠牲にすることなく、メモリー使用量を大幅に削減します。これらのパラメーターはモデルの動作メモリーの外で生成され、実行中に必要に応じて検索されるため、リソースが限られたデバイスでも効率的な動作が可能になります。
複雑な AI モデルを実行しているのに、デバイスのメモリーが限られていると想像してみてください。 PLE キャッシュは、あまり使用されない書籍 (パラメーター) を近くの倉庫 (外部ストレージ) に保管するスマートな司書のようなものです。モデルがこれらのパラメーターを必要とする場合、司書はそれらを迅速に取り出し、貴重なメモリー容量を消費することなく、モデルがスムーズに実行できるようにします。
具体的には、PLE キャッシュは次の方法でメモリー使用量とパフォーマンスを最適化します。
メモリー占有量の削減: PLE キャッシュは、あまり使用されないパラメーターを外部ストレージに保存することにより、モデルの実行に必要なメモリー量を削減できます。これにより、リソースが限られたデバイス上で大規模な AI モデルを実行することが可能になります。
パフォーマンスの向上: 外部ストレージからパラメーターを取得するにはある程度の時間がかかりますが、PLE キャッシュは、どのパラメーターが将来使用されるかを賢く予測し、事前にキャッシュにロードすることで、遅延を最小限に抑えます。これにより、モデルはほぼリアルタイムの速度で動作できます。
大規模なモデルのサポート: メモリー要件を削減することで、PLE キャッシュにより、より大規模で複雑な AI モデルを構築できます。これらのモデルは、より強力な表現力を備えており、より複雑なタスクを実行できます。
MatFormerアーキテクチャ：ロシアのマトリョーシカ人形のような精巧な設計
Matryoshka Transformer (MatFormer) アーキテクチャは、ネストされた Transformer 設計を導入しています。この設計では、小さいサブモデルが、ロシアのマトリョーシカ人形のように大きなモデルに組み込まれています。この構造により、サブモデルを選択的にアクティブ化できます。これにより、モデルはタスクに応じてサイズと計算要件を動的に調整できます。このような柔軟性により、計算コスト、応答時間、消費電力が削減されるため、エッジ展開やクラウド展開に最適です。
MatFormer アーキテクチャの中核となる考え方は、すべてのタスクに完全な AI モデルが必要なわけではないということです。単純なタスクの場合は、小さいサブモデルをアクティブ化するだけで、計算リソースを節約できます。複雑なタスクの場合は、より大きなサブモデルをアクティブ化して、精度を高めることができます。
MatFormer アーキテクチャの利点を例で説明しましょう。AI モデルを使用して画像内のオブジェクトを識別しているとします。単一のオブジェクトのみを含む画像など、単純な画像の場合は、その特定の種類のオブジェクトを識別するために特別に設計された小さいサブモデルをアクティブ化できます。複数のオブジェクトを含む画像など、複雑な画像の場合は、さまざまなオブジェクトを識別できるより大きなサブモデルをアクティブ化できます。
MatFormer アーキテクチャの利点は次のとおりです。
計算コストの削減: MatFormer アーキテクチャは、必要なサブモデルのみをアクティブ化することにより、計算コストを大幅に削減できます。これは、リソースが限られたデバイス上で AI モデルを実行する場合に不可欠です。
応答時間の短縮: MatFormer アーキテクチャは、タスクに応じてモデルサイズを動的に調整できるため、応答時間を短縮できます。これにより、AI モデルはユーザーのリクエストに迅速に応答できます。
消費電力の削減: MatFormer アーキテクチャは、計算コストを削減することにより、消費電力を削減することもできます。これは、バッテリー寿命を延ばす上で不可欠です。
条件付きパラメーターの読み込み：必要なパラメーターをオンデマンドで読み込み、リソースを最適化
条件付きパラメーターの読み込みにより、開発者は、未使用のパラメーター (音声処理や視覚処理に使用されるパラメーターなど) のメモリーへの読み込みをスキップできます。必要に応じて、これらのパラメーターは実行時に動的に読み込むことができるため、メモリー使用量がさらに最適化され、モデルはさまざまなデバイスやタスクに対応できます。
AI モデルを使用してテキストを処理していると想像してみてください。タスクで音声処理や視覚処理が不要な場合、音声処理や視覚処理に使用されるパラメーターを読み込むのはリソースの無駄になります。条件付きパラメーターの読み込みにより、モデルは必要なパラメーターのみを読み込むことができるため、メモリー使用量を最小限に抑え、パフォーマンスを向上させることができます。
条件付きパラメーターの読み込みは、次のように機能します。
- モデルは現在のタスクを分析し、どのパラメーターが必要かを特定します。
- モデルは必要なパラメーターのみをメモリーに読み込みます。
- タスクが完了すると、モデルは不要になったパラメーターを解放します。
条件付きパラメーターの読み込みの利点は次のとおりです。
メモリー使用量の最適化: 条件付きパラメーターの読み込みは、必要なパラメーターのみを読み込むことにより、メモリー使用量を大幅に最適化できます。これは、リソースが限られたデバイス上で AI モデルを実行する場合に不可欠です。
パフォーマンスの向上: 条件付きパラメーターの読み込みは、読み込むパラメーターの数を減らすことにより、パフォーマンスを向上させることができます。これにより、AI モデルはユーザーのリクエストに迅速に応答できます。
より広範なデバイスのサポート: 条件付きパラメーターの読み込みは、メモリー使用量を最適化することにより、AI モデルがメモリーが限られたデバイスを含む、より広範なデバイス上で動作できるようにします。
Gemma 3n の卓越した特性
Gemma 3n は、デバイス側の AI の可能性を再定義する、数々の革新的な技術と特性を導入しています。
その主な機能について詳しく見ていきましょう。
最適化されたデバイス側のパフォーマンスと効率: Gemma 3n は、以前のバージョン (Gemma 3 4B) よりも約 1.5 倍高速でありながら、出力品質は大幅に向上しています。これは、クラウド接続に依存することなく、デバイス上でより高速かつ正確な結果を得ることができることを意味します。
PLE キャッシュ: PLE キャッシュシステムにより、Gemma 3n はパラメーターを高速なローカルストレージに保存できるため、メモリー占有量が削減され、パフォーマンスが向上します。
MatFormer アーキテクチャ: Gemma 3n は MatFormer アーキテクチャを採用しています。このアーキテクチャは、特定の要件に応じてモデルパラメーターを選択的にアクティブ化します。これにより、モデルはサイズと計算要件を動的に調整でき、リソースの利用率が最適化されます。
条件付きパラメーターの読み込み: メモリーリソースを節約するために、Gemma 3n は、不要なパラメーター (視覚や音声が不要な場合には、対応するパラメーターなど) の読み込みをバイパスできます。これにより、効率がさらに向上し、消費電力が削減されます。
プライバシー優先とオフライン対応: インターネット接続を必要とせずにローカルで AI 機能を実行できるため、ユーザーのプライバシーが確保されます。これは、ユーザーのデータがデバイスから離れることがなく、ネットワーク接続がない状態でも AI 機能を使用できることを意味します。
マルチモーダル理解: Gemma 3n は、音声、テキスト、画像、ビデオ入力に対する高度なサポートを提供するため、複雑なリアルタイムのマルチモーダルインタラクションが実現します。これにより、AI モデルはさまざまな入力を理解して応答できるため、より自然で直感的なユーザーエクスペリエンスが提供されます。
音声機能: 高品質のトランスクリプトと多言語サポートを備えた、自動音声認識 (ASR) と音声からテキストへの翻訳を提供します。これは、Gemma 3n を使用して、話し言葉をテキストに変換したり、ある言語の音声を別の言語に翻訳したりできることを意味します。
多言語機能の改善: 日本語、ドイツ語、韓国語、スペイン語、フランス語などの言語のパフォーマンスが大幅に向上しています。これにより、Gemma 3n はさまざまな言語のテキストをより正確に理解して生成できます。
32K トークンコンテキスト: 単一のリクエストで大量のデータを処理できるため、より長い会話とより複雑なタスクが実現します。これは、コンテキストウィンドウを超えることを心配せずに、より長いテキスト入力を提供できることを意味します。
Gemma 3n のクイックスタート
Gemma 3n の使用を開始するのは非常に簡単です。開発者は、この強力なモデルを調査して統合するための 2 つの主要な方法を利用できます。
1. Google AI Studio：迅速なプロトタイプ作成
Google AI Studio にログインし、スタジオに移動して、Gemma 3n E4B モデルを選択するだけで、Gemma 3n の機能を調べることができます。このスタジオは、本格的な実装の前にアイデアを迅速にプロトタイプ化し、テストしたい開発者に最適です。
API キーを取得し、特に Msty アプリケーションを介して、モデルをローカル AI チャットボットに統合できます。
さらに、Google GenAI Python SDK を使用すると、わずか数行のコードでモデルをアプリケーションに統合できます。これにより、Gemma 3n をプロジェクトに統合するのが非常に簡単になります。
2. Google AI Edge を使用したデバイス側の開発：ローカルアプリケーションの構築
Gemma 3n をアプリケーションに直接統合したい開発者向けに、Google AI Edge は、Android および Chrome デバイス上でデバイス側の開発に必要なツールとライブラリを提供します。この方法は、Gemma 3n の機能をローカルで利用するアプリケーションを構築する場合に最適です。
Google AI Edge は、開発者が Gemma 3n をアプリケーションに簡単に統合できるようにする一連のツールとライブラリを提供します。これらのツールには次のものが含まれます。
- TensorFlow Lite: モバイルデバイスで AI モデルを実行するための軽量フレームワーク。
- ML Kit: モバイルアプリケーションに機械学習機能を追加するための API のコレクション。
- Android Neural Networks API (NNAPI): デバイスのハードウェアアクセラレーターを活用して AI モデルを実行するための API。
Google AI Edge を使用することで、開発者は次のようなさまざまな革新的なアプリケーションを構築できます。
- オフライン音声認識: ユーザーがインターネット接続なしで音声コマンドを使用してデバイスを制御できるようにします。
- リアルタイム画像認識: ユーザーが画像をクラウドにアップロードすることなく、画像内のオブジェクトを識別できるようにします。
- インテリジェントなテキスト生成: ユーザーが電子メール、記事、コードなど、さまざまな種類のテキストを生成できるようにします。