Arm Kleidi：優化 Arm CPU 上的 AI 推論
Arm Kleidi 專為解決此挑戰而設計，為所有在 Arm CPU 上運行的 AI 推論工作負載提供無縫的效能優化。Kleidi 的核心是 KleidiAI，這是一個精簡、高效的開源 Arm 例程套件，旨在加速 AI。
KleidiAI 已經整合到邊緣裝置廣泛使用的 AI 框架的最新版本中。這些框架包括 ExecuTorch、Llama.cpp、通過 XNNPACK 的 LiteRT 和 MediaPipe。這種廣泛的整合為數百萬開發人員帶來了顯著的優勢，他們現在可以自動受益於 AI 效能優化，而無需任何額外的工作。
與阿里巴巴的合作夥伴關係：Qwen2-VL-2B-Instruct 模型
通過與 MNN 的密切合作，邊緣裝置上多模態 AI 的發展實現了一個新的里程碑。MNN 是由阿里巴巴開發和維護的輕量級開源深度學習框架。此次合作成功整合了 KleidiAI，使多模態 AI 工作負載能夠使用 Arm CPU 在行動裝置上高效運行。實現這一目標的關鍵是阿里巴巴的指令調校 2B 參數 Qwen2-VL-2B-Instruct 模型。該模型專為圖像理解、文本到圖像推理和跨多種語言的多模態生成而設計，所有這些都是為邊緣裝置的限制量身定制的。
可衡量的效能提升
KleidiAI 與 MNN 的整合為 Qwen2-VL-2B-Instruct 模型帶來了顯著的、可衡量的效能提升。在邊緣的關鍵 AI 多模態使用案例中，觀察到了更快的響應時間。這些改進在各種以客戶為中心的阿里巴巴應用程式中提供了增強的用戶體驗。例子包括：
- **用於客戶服務的聊天機器人：**為客戶查詢提供更快、更有效的響應。
- **電子購物應用程式：**啟用照片到商品搜索，允許客戶通過簡單地上傳圖像來快速找到他們正在尋找的商品。
這些應用程式速度的提高是實質性效能提升的直接結果：
- **預填充改進：**在預填充方面實現了顯著的 57% 效能提升。這是指 AI 模型在生成響應之前處理多源提示輸入的關鍵階段。
- **解碼增強：**在解碼方面觀察到了顯著的 28% 效能提升。這是 AI 模型在處理提示後生成文本的過程。
除了速度之外，KleidiAI 的整合還有助於在邊緣更有效地處理 AI 工作負載。這是通過降低與多模態工作負載相關的整體計算成本來實現的。數百萬開發人員可以輕鬆獲得這些效能和效率提升。任何在 MNN 框架以及 KleidiAI 集成的其他流行的邊緣裝置 AI 框架上運行應用程式和工作負載的開發人員都可以立即受益。
真實世界的示範：MWC 展示
由 MNN 與 KleidiAI 的新整合提供支持的 Qwen2-VL-2B-Instruct 模型的實際功能在世界行動通訊大會 (MWC) 上得到了展示。Arm 展位上的一項示範突出了該模型理解視覺和文本輸入的不同組合的能力。然後，該模型以圖像內容的簡潔摘要作為響應。整個過程在智慧手機的 Arm CPU 上執行，展示了該解決方案的強大功能和效率。這些智慧手機基於聯發科的 Arm 驅動的 Dimensity 9400 行動系統單晶片 (SoC)，包括 vivo X200 系列。
用戶體驗的重大進步
Arm 的 KleidiAI 與 MNN 框架針對阿里巴巴的 Qwen2-VL-2B-Instruct 模型的整合代表了多模態 AI 工作負載用戶體驗的重大飛躍。這一進步直接在邊緣提供了這些增強的體驗，所有這些都由 Arm CPU 提供支持。這些功能可在行動裝置上輕鬆獲得，領先的面向客戶的應用程式已經利用了 KleidiAI 的優勢。
邊緣裝置上多模態 AI 的未來
展望未來，KleidiAI 對 AI 工作負載的無縫優化將繼續為數百萬開發人員提供支持。他們將能夠在邊緣裝置上創建越來越複雜的多模態體驗。這種持續的創新將為下一波智慧計算鋪平道路，標誌著 AI 持續發展的重大進步。
阿里巴巴領導層的引言
‘我們很高興看到阿里巴巴雲的大型語言模型 Qwen、Arm KleidiAI 和 MNN 之間的合作。將 MNN 的裝置端推論框架與 Arm KleidiAI 整合，顯著提高了 Qwen 的延遲和能源效率。這種合作夥伴關係驗證了 LLM 在行動裝置上的潛力，並增強了 AI 用戶體驗。我們期待繼續努力推進裝置端 AI 計算。’ - 阿里巴巴雲通義大模型業務總經理徐棟。
‘MNN 推論框架與 Arm KleidiAI 之間的技術整合標誌著裝置端加速的重大突破。通過對架構的聯合優化，我們大大提高了通義 LLM 的裝置端推論效率，彌合了有限的行動計算能力與先進的 AI 功能之間的差距。這一成就突出了我們的技術專長和跨行業合作。我們期待繼續這種合作夥伴關係，以增強裝置端計算生態系統，在行動裝置上提供更流暢、更高效的 AI 體驗。’ - 阿里巴巴淘寶天貓集團 MNN 負責人蔣曉棠。
深入研究技術方面
為了充分理解此次合作的重要性，有必要研究一些底層的技術細節。
MNN 的角色
MNN 的設計理念以效率和可移植性為中心。它通過以下幾個關鍵特性實現了這一點：
- 輕量級架構： MNN 的設計旨在佔用較小的空間，最大限度地減少邊緣裝置上的儲存和記憶體需求。
- **優化操作：**該框架結合了專為 Arm CPU 量身定制的高度優化的數學運算，最大限度地提高了效能。
- 跨平台兼容性： MNN 支持廣泛的操作系統和硬體平台，使其成為開發人員的多功能選擇。
KleidiAI 的貢獻
KleidiAI 通過提供一組專門的例程來進一步加速 AI 推論，從而補充了 MNN 的優勢。這些例程利用 Arm 在 CPU 架構方面的豐富經驗來釋放效能提升，而這些效能提升是很難通過其他方式實現的。KleidiAI 貢獻的關鍵方面包括：
- 高度優化的內核： KleidiAI 為常見的 AI 操作（例如矩陣乘法和卷積）提供了高度優化的內核。這些內核經過精心調校，以利用 Arm CPU 的特定功能。
- 自動整合： KleidiAI 與流行 AI 框架的無縫整合意味著開發人員無需手動整合這些優化。效能優勢會自動應用，從而簡化了開發流程。
- **持續改進：**Arm 致力於不斷更新和改進 KleidiAI，確保其始終處於 AI 加速技術的前沿。
Qwen2-VL-2B-Instruct：強大的多模態模型
Qwen2-VL-2B-Instruct 模型證明了阿里巴巴在大型語言模型和多模態 AI 方面的專業知識。其主要特點包括：
- **指令調校：**該模型經過專門調校以遵循指令，使其能夠高度適應各種任務。
- **多模態功能：**它擅長理解和處理視覺和文本信息，從而實現圖像字幕和視覺問答等應用。
- **多語言支持：**該模型旨在與多種語言配合使用，擴大了其在不同地區和用戶群中的適用性。
- **針對邊緣裝置優化：**儘管該模型功能強大，但它經過精心設計，可以在邊緣裝置的資源限制範圍內運行。
擴大多模態 AI 的範圍
這裡討論的進步不僅限於智慧手機。相同的原理和技術可以應用於廣泛的邊緣裝置，包括：
- **智慧家居裝置：**啟用語音助理、用於安全攝影機的圖像識別以及其他智慧功能。
- **穿戴式裝置：**支持健康監測、健身追蹤和擴增實境應用。
- **工業物聯網：**促進製造環境中的預測性維護、品質控制和自動化。
- **汽車：**增強駕駛員輔助系統、車內娛樂和自動駕駛功能。
邊緣多模態 AI 的潛在應用非常廣泛，並且還在不斷擴展。隨著模型變得越來越複雜，硬體變得越來越強大，我們可以期待看到更多創新和有影響力的使用案例出現。Arm 和阿里巴巴之間的這次合作是朝著這個方向邁出的重要一步，將多模態 AI 的力量帶給更廣泛的受眾，並實現了新一代的智慧裝置。對效率、效能和開發人員可訪問性的關注確保了這些進步將對技術的未來產生廣泛而持久的影響。