Google 的 Gemma 3n 橫空出世，標誌著生成式 AI 邁入了一個全新的紀元。這款模型身形小巧、速度驚人，更令人稱道的是，它能在手機上離線運行，將先進的人工智慧技術帶入我們日常使用的設備之中。Gemma 3n 不僅能够理解音訊、圖像和文本，其準確性也十分出色，在 Chatbot Arena 上的表現甚至超越了 GPT-4.1 Nano。
Gemma 3n 的創新架構
為了迎接設備端 AI 的未來，Google DeepMind 與高通技術公司 (Qualcomm Technologies)、聯發科技 (MediaTek) 和三星系統 LSI (Samsung System LSI) 等移動硬體領域的領軍企業緊密合作，共同開發了一種全新的架構。
該架構旨在優化生成式 AI 在資源受限設備（如手機、平板電腦和筆記型電腦）上的性能。為實現這一目標，該架構採用了三項關鍵創新：逐層嵌入 (Per Layer Embedding, PLE) 緩存、MatFormer 架构和條件參數加载。
PLE 缓存：突破記憶體限制
PLE 緩存是一種巧妙的機制，它允許模型將逐層嵌入參數卸載到快速的外部儲存器中，從而在不犧牲性能的前提下顯著降低記憶體使用量。這些參數在模型的操作記憶體之外生成，並在執行過程中根據需要進行檢索，從而即使在資源有限的設備上也能實現高效運行。
想像一下，您正在運行一個複雜的 AI 模型，但是您的設備記憶體有限。PLE 緩存就像一個智慧的圖書館員，將不常用的書籍（參數）儲存在附近的倉庫（外部儲存器）中。當模型需要這些參數時，圖書館員會迅速將其取回，確保模型能够順利運行，而無需占用寶貴的記憶體空間。
具體來說，PLE 緩存通過以下方式來優化記憶體使用和性能：
降低記憶體占用： 通過將不常用的參數儲存在外部儲存器中，PLE 緩存可以减少模型在運行時所需的記憶體量。這使得在資源受限的設備上運行大型 AI 模型成為可能。
提高性能： 雖然從外部儲存器檢索參數需要一定的時間，但 PLE 緩存通過智慧地預測哪些參數將在未來使用，並提前將其載入到緩存中，從而最大限度地减少延遲。這確保了模型能够以接近實時的速度運行。
支援更大的模型： 通過降低記憶體要求，PLE 緩存使我們能够構建更大、更複雜的 AI 模型。這些模型具有更强的表達能力，能够完成更複雜的任務。
MatFormer 架构：俄罗斯套娃般的精妙設計
Matryoshka Transformer (MatFormer) 架构引入了一種嵌套的 Transformer 設計，其中較小的子模型嵌入在較大的模型中，類似於俄羅斯套娃。這種結構允許選擇性地啟動子模型，使模型能够根據任務動態調整其大小和計算需求。這種靈活性降低了計算成本、響應時間和能耗，使其非常適合邊緣和雲部署。
MatFormer 架构的核心思想是，並非所有任務都需要完整的 AI 模型。對於簡單的任務，只需啟動較小的子模型即可，從而節省計算資源。對於複雜的任務，可以啟動更大的子模型，以獲得更高的準確性。
讓我們通過一個例子來說明 MatFormer 架构的優勢。假設您正在使用一個 AI 模型來識別圖像中的物體。對於簡單的圖像，例如只包含一個物體的圖像，可以啟動一個較小的子模型，該子模型專門用於識別該特定類型的物體。對於複雜的圖像，例如包含多個物體的圖像，可以啟動一個更大的子模型，該子模型能够識別各種不同的物體。
MatFormer 架构的優勢在於：
降低計算成本： 通過僅啟動所需的子模型，MatFormer 架构可以顯著降低計算成本。這對於在資源受限的設備上運行 AI 模型至關重要。
縮短響應時間： 由於 MatFormer 架构可以根據任務動態調整模型大小，因此可以縮短響應時間。這使得 AI 模型能够更快地響應用戶請求。
降低能耗： 通過降低計算成本，MatFormer 架构還可以降低能耗。這對於延長電池壽命至關重要。
條件參數加载：按需载入，優化資源
條件參數加载允許開發人員跳過將未使用的參數（例如用於音訊或視覺處理的參數）加载到記憶體中。如果需要，可以在運行時動態加载這些參數，從而進一步優化記憶體使用，並使模型能够適應各種設備和任務。
想像一下，您正在使用一個 AI 模型來處理文本。如果您的任務不需要任何音訊或視覺處理，那麼加载用於音訊或視覺處理的參數將是浪費資源。條件參數加载允許模型僅加载所需的參數，從而最大限度地减少記憶體使用並提高性能。
條件參數加载的工作原理如下：
- 模型分析當前任務，確定需要哪些參數。
- 模型僅加载所需的參數到記憶體中。
- 當任務完成時，模型釋放不再需要的參數。
條件參數加载的優勢在於：
優化記憶體使用： 通過僅加载所需的參數，條件參數加载可以顯著優化記憶體使用。這對於在資源受限的設備上運行 AI 模型至關重要。
提高性能： 通過减少加载的參數數量，條件參數加载可以提高性能。這使得 AI 模型能够更快地響應用戶請求。
支援更廣泛的設備： 通過優化記憶體使用，條件參數加载使 AI 模型能够在更廣泛的設備上運行，包括記憶體有限的設備。
Gemma 3n 的卓越特性
Gemma 3n 引入了多項創新技術和特性，這些技術和特性重新定義了設備端 AI 的可能性。
讓我們深入瞭解其關鍵功能：
優化的設備端性能和效率： Gemma 3n 比其前身 (Gemma 3 4B) 快約 1.5 倍，同時保持了顯著更高的輸出品質。這意味著您可以在設備上更快地獲得更準確的結果，而無需依賴雲連接。
PLE 缓存： PLE 緩存系統使 Gemma 3n 能够將參數儲存在快速的本地儲存器中，從而减少記憶體占用並提高性能。
MatFormer 架构： Gemma 3n 採用 MatFormer 架构，該架构根據特定請求選擇性地啟動模型參數。這使得模型能够動態調整其大小和計算需求，從而優化資源利用率。
條件參數加载： 為了節省記憶體資源，Gemma 3n 可以繞過加载不必要的參數，例如在不需要視覺或音訊時，可以不加载相應的參數。這進一步提高了效率並降低了功耗。
隱私優先和離線就緒： 無需互聯網連接即可在本地運行 AI 功能，確保用戶隱私。這意味著您的數據不會離開您的設備，並且您可以在沒有網路連接的情况下使用 AI 功能。
多模態理解： Gemma 3n 提供對音訊、文本、圖像和視頻輸入的高級支援，從而實現複雜的實時多模態交互。這使得 AI 模型能够理解和響應各種不同的輸入，從而提供更自然和直觀的用戶體驗。
音訊功能： 它提供自動語音識別 (Automatic Speech Recognition, ASR) 和語音到文本翻譯，具有高品質的轉錄和多語言支援。這意味著您可以使用 Gemma 3n 將口語轉換為文本，並將一種語言的語音翻譯成另一種語言。
改進的多語言能力： 顯著提高了日语、德语、韓语、西班牙语和法语等語言的性能。這使得 Gemma 3n 能够更準確地理解和生成各種不同的語言的文本。
32K 令牌上下文： 它可以處理單個請求中的大量數據，從而實現更長的對話和更複雜的任務。這意味著您可以向 Gemma 3n 提供更長的文本輸入，而無需擔心超出其上下文視窗。
快速上手 Gemma 3n
開始使用 Gemma 3n 非常簡單，開發人員可以通過兩種主要方法來探索和集成這個强大的模型。
1. Google AI Studio：快速原型設計
只需登錄 Google AI Studio，轉到工作室，選擇 Gemma 3n E4B 模型，然後即可開始探索 Gemma 3n 的功能。該工作室非常適合希望在全面實施之前快速進行原型設計和測試想法的開發人員。
您可以獲取 API 金鑰，並將模型集成到您的本地 AI 聊天機器人中，特别是通過 Msty 應用程式。
此外，您可以使用 Google GenAI Python Software Development Kit (SDK)，只需幾行代碼即可將模型集成到您的應用程式中。這使得將 Gemma 3n 集成到您的專案中變得非常容易。
2. 使用 Google AI Edge 進行設備端開發：構建本地應用程式
對於希望將 Gemma 3n 直接集成到其應用程式中的開發人員，Google AI Edge 提供了在 Android 和 Chrome 設備上進行設備端開發所需的工具和函式庫。此方法非常適合構建在本地利用 Gemma 3n 功能的應用程式。
Google AI Edge 提供了一系列工具和函式庫，使開發人員能够輕鬆地將 Gemma 3n 集成到他們的應用程式中。這些工具包括：
- TensorFlow Lite： 用於在移動設備上運行 AI 模型的輕量級框架。
- ML Kit： 用於在移動應用程式中添加機器學習功能的 Application Programming Interface (API) 集合。
- Android Neural Networks API (NNAPI)： 用於利用設備上的硬體加速器來運行 AI 模型的 API。
通過使用 Google AI Edge，開發人員可以構建各種創新的應用程式，包括：
- 離線語音識別： 允許用戶在沒有互聯網連接的情况下使用語音命令控制他們的設備。
- 實時圖像識別： 允許用戶識別圖像中的物體，而無需將圖像上傳到雲端。
- 智慧文本生成： 允許用戶生成各種類型的文本，例如電子郵件、文章和代碼。