IBM 近期宣布推出 Granite 4.0 Tiny 的預覽版本，這是即將推出的 Granite 4.0 系列語言模型中最精巧的版本。此模型在 Apache 2.0 license 的許可下發布，經過精心設計，適用於長文本處理和指令驅動應用，在資源效率、開放可訪問性和穩健性能之間取得平衡。此次發布彰顯了 IBM 持續致力於開發和部署基礎模型，這些模型不僅開放透明，而且專為企業級應用量身定制。
Granite 4.0 Tiny 預覽版包含兩個不同的版本：Base-Preview，展示了一種創新的僅解碼器架構；以及 Tiny-Preview (Instruct)，經過優化，適用於對話和多語互動。儘管其參數數量最少，Granite 4.0 Tiny 在一系列推理和生成基準測試中取得了具有競爭力的成果，突顯了其混合設計的有效性。
架構深入探討：採用 Mamba-2 啟發動態的混合專家混合框架
Granite 4.0 Tiny 的核心是一個複雜的 混合專家混合 (MoE) 架構，總共包含 70 億個參數，但在每次前向傳遞中只有 10 億個參數處於活躍狀態。這種固有的稀疏性使模型能夠提供可擴展的性能，同時顯著降低計算需求，使其特別適合於資源受限環境中的部署以及邊緣推理場景。
Base-Preview 變體利用 僅解碼器架構，並通過 Mamba-2 風格層 進行增強，提供了一種線性遞歸替代方案，以取代傳統的注意力機制。這種架構創新使模型能夠隨著輸入長度的增加而更有效地擴展，從而提高其在長文本任務中的效能，例如深入文檔分析、綜合對話摘要和知識密集型問題解答。
另一個值得注意的架構決策是實施 NoPE (No Positional Encodings)。模型沒有依賴固定或學習的位置嵌入，而是將位置信息直接整合到其層動態中。這種方法促進了跨不同輸入長度的改進泛化，並有助於在整個長序列生成過程中保持一致性。
基準測試性能：效率而不犧牲能力
即使作為預覽版本，Granite 4.0 Tiny 已經展示了相較於 IBM Granite 系列中先前模型的顯著性能改進。在基準評估中，Base-Preview 表現出：
- DROP（段落離散推理）提高了 5.6 個百分點，這是一個廣泛認可的多跳問題解答基準，用於評估模型在文本的多個片段中進行推理以得出答案的能力。
- AGIEval 提高了 3.8 個百分點，這是一個綜合基準，旨在評估通用語言理解和推理能力，涵蓋廣泛的語言和認知任務。
這些性能提升可歸因於模型的高級架構及其廣泛的預訓練方案，據報導，該方案涉及處理來自不同領域和語言結構的 2.5 兆個 tokens。這種廣泛的預訓練使模型能夠捕獲數據中廣泛的模式和關係，從而提高各種任務的泛化和性能。
指令微調變體：專為對話、清晰度和廣泛的多語支持量身定制
Granite-4.0-Tiny-Preview (Instruct) 變體通過 監督式微調 (SFT) 和 強化學習 (RL) 的組合，以 Tülu 風格的數據集（包括開放和合成生成的對話）為基礎構建。這種量身定制的方法優化了模型以進行指令遵循和互動式應用。
該模型支持 8,192 個 token 輸入窗口 和 8,192 個 token 生成長度，可在擴展的互動中保持連貫性和準確性。與經常犧牲可解釋性以換取性能提升的編碼器-解碼器混合體不同，此處的僅解碼器設置產生 更清晰且更可追蹤的輸出，使其對於企業和安全關鍵型應用特別有價值，在這些應用中，透明度和可預測性至關重要。
詳細評估指標：
- IFEval 上為 86.1，表明在指令遵循基準測試中表現出色，反映了模型準確有效地執行複雜指令的能力。
- GSM8K 上為 70.05，這是一個專注於小學數學問題解決的基準，展示了模型在定量推理和算術運算方面的能力。
- HumanEval 上為 82.41，用於衡量 Python 代碼生成準確性，展示了模型在生成語法正確且語義有意義的代碼片段方面的熟練程度。
此外，指示模型支持 跨 12 種語言的多語互動，從而促進了客戶服務、企業自動化和教育工具中的全球部署。這種多語能力擴展了模型的覆蓋範圍和適用性，使其能夠滿足不同語言環境中不同範圍的用戶和用例。支持的語言包括英語、西班牙語、法語、德語、義大利語、葡萄牙語、荷蘭語、俄語、中文、日語、韓語和阿拉伯語，涵蓋了世界上很大一部分人口。
開源可用性的重要性
IBM 決定在 Apache 2.0 license 下發布這兩種 Granite 4.0 Tiny 模型，這是朝著在 AI 社區內促進透明度和協作邁出的重要一步。通過提供對模型權重、配置文件和示例使用腳本的開放訪問，IBM 使研究人員、開發人員和組織能夠自由地實驗、微調並將模型整合到他們自己的 NLP 工作流程中。這種開源方法不僅加速了創新，而且促進了對模型的功能和局限性的更深入了解。
Apache 2.0 license 特別有利，因為它允許對軟體進行商業和非商業用途，而無需用戶披露任何修改或衍生作品。這種寬鬆的 license 鼓勵廣泛採用和實驗，從而在 Granite 4.0 Tiny 模型周圍形成一個充滿活力的生態系統。此外，在 Hugging Face（一個用於共享和發現預訓練模型的流行平台）上提供這些模型，可確保廣泛的受眾可以輕鬆訪問它們。
Granite 4.0 Tiny 的開源可用性也符合 IBM 對負責任的 AI 開發的更廣泛承諾。通過使模型透明且可審計，IBM 使使用者能夠審查其行為、識別潛在的偏見，並確保它們以安全且合乎道德的方式使用。這種對透明度的承諾對於建立對 AI 系統的信任並促進其在各個領域的負責任部署至關重要。
為 Granite 4.0 奠定基礎：一窺未來
Granite 4.0 Tiny 預覽版提供了 IBM 為其下一代語言模型套件制定的全面戰略的早期跡象。通過整合 高效的 MoE 架構、穩健的長文本支持 和 以指令為中心的微調，Granite 4.0 模型系列旨在以可管理且資源優化的套件提供最先進的功能。這種方法突顯了 IBM 致力於開發不僅功能強大而且實用且易於訪問的 AI 解決方案。
這三個關鍵要素的結合 - 高效架構、長文本支持和以指令為中心的微調 - 使 Granite 4.0 成為一種多功能且適應性強的語言模型，適用於廣泛的應用。高效的 MoE 架構使模型能夠隨著數據和複雜性的增加而有效地擴展，而長文本支持使其能夠處理和理解冗長的文檔和對話。另一方面，以指令為中心的微調可確保模型能夠準確有效地執行複雜指令，使其非常適合諸如問題解答、文本摘要和代碼生成之類的任務。
隨著 Granite 4.0 的更多變體問世，我們可以預期 IBM 將進一步鞏固其對負責任和開放 AI 的投資，將自己確立為一股關鍵力量，塑造企業和研究應用中透明且高性能語言模型的發展軌跡。這種持續的投資反映了 IBM 的信念，即 AI 的開發和部署方式應符合道德且有益於社會。通過優先考慮透明度、問責制和公平性，IBM 旨在構建不僅功能強大而且值得信賴且符合人類價值的 AI 系統。
Granite 4.0 系列代表了語言模型演進的一個重大進步，它提供了性能、效率和透明度的引人注目的組合。隨著 IBM 繼續在該領域進行創新，我們可以期望看到更多突破性的發展，這些發展將進一步改變我們與 AI 互動和利用 AI 的方式。Granite 4.0 Tiny 預覽版僅僅是個開始，語言模型的未來比以往任何時候都更加光明。特別是，對長文本功能的強調為 AI 應用開闢了新的可能性，這些應用領域包括科學研究、法律分析和歷史文檔分析等，在這些領域中，處理和理解冗長而複雜的文本的能力至關重要。
此外，Granite 4.0 模型的多語能力使其非常適合在從客戶服務到教育等多個行業進行全球部署。通過支持廣泛的語言，IBM 確保其 AI 解決方案可供不同的受眾訪問，無論他們的母語是什麼。這種對包容性的承諾對於促進 AI 的廣泛採用並確保其利益為所有人共享至關重要。
除了其技術能力之外，Granite 4.0 系列還反映了 IBM 對負責任的 AI 開發的承諾。通過優先考慮透明度、問責制和公平性，IBM 正在構建不僅功能強大而且值得信賴且符合人類價值的 AI 系統。這種對負責任的 AI 的承諾對於建立公眾對 AI 的信任並確保其用於造福社會至關重要。