小型語言模型的崛起:重塑 AI 格局

近年來,人工智能,特別是處理語言的分支,一直由大型語言模型 (Large Language Models, LLMs) 的龐大規模和強大能力所主導。這些在浩瀚數據海洋中訓練出來的龐然大物,展現了非凡的能力,抓住了公眾的想像力和投資者的資金。然而,在預示著模型越來越大的頭條新聞之下,一場更安靜但可能更具變革性的革命正在醞釀:小型語言模型 (Small Language Models, SLMs) 的興起。這些更精簡、更專注的 AI 系統正在迅速開闢一個重要的利基市場,有望將複雜的 AI 能力帶到其較大同類無法高效或經濟運行的環境中。

對 SLMs 日益增長的興趣不僅僅是學術性的;它正在轉化為切實的市場動力。行業分析師預見 SLM 行業將急劇上升,預計市場規模將從 2025 年估計的約 9.3 億美元擴大到 2032 年驚人的 54.5 億美元。這一軌跡代表著在預測期內約 28.7% 的強勁複合年增長率 (CAGR)。如此爆炸性的增長並非憑空發生;它是由強大的技術和市場力量共同推動的。

在這些驅動因素中,最主要的是對 Edge AI裝置端智能 (on-device intelligence) 的持續需求。各行各業的企業越來越多地尋求能夠直接在智能手機、感測器、工業設備和其他嵌入式系統上執行的 AI 解決方案,而無需承擔與持續雲端連接相關的延遲、成本或隱私問題。在本地運行 AI 可實現即時響應,這對於從自動駕駛汽車系統到互動式移動助手和智能工廠自動化等應用至關重要。與 LLMs 相比,SLMs 的計算足跡顯著減小,非常適合這些資源受限的環境。

與此同時,模型壓縮技術 (model compression techniques) 的重大進展已成為強大的加速器。諸如量化 (quantization,降低模型中使用的數字精度) 和剪枝 (pruning,移除神經網絡中不太重要的連接) 等創新,使開發人員能夠縮小模型尺寸並顯著提高處理速度。關鍵的是,這些技術正在不斷發展,以實現更高的效率,同時最大限度地減少對模型性能和準確性的影響。這種雙重好處——更小的尺寸和保留的能力——使得 SLMs 在越來越多的任務中成為 LLMs 日益可行的替代方案。

此外,企業正在認識到將 SLMs 整合到其核心運營中的實用價值。從 IT 自動化 (IT automation)(SLMs 可以分析日誌並預測系統故障),到 網絡安全 (cybersecurity)(它們可以檢測網絡流量中的異常),再到旨在提高生產力和改進決策過程的各種 業務應用 (business applications),潛在影響是巨大的。SLMs 提供了一條更廣泛部署 AI 的途徑,特別是在對成本、隱私敏感或需要近乎即時處理的場景中。這種邊緣計算需求、通過壓縮實現的效率提升以及明確的企業用例的匯合,使 SLMs 不僅僅是 LLMs 的小型版本,而是一個獨特且至關重要的 AI 類別,有望產生重大影響。

策略分歧:生態系統控制 vs. 利基專業化

隨著 SLM 格局的形成,爭奪主導地位的關鍵參與者之間出現了不同的策略方法。競爭動態主要圍繞兩種基本哲學展開,每種哲學都反映了不同的商業模式和關於如何獲取 AI 價值的長期願景。

一個突出的路徑是 專有生態系統控制策略 (proprietary ecosystem control strategy)。這種方法受到幾家科技巨頭和資金雄厚的 AI 實驗室的青睞,他們旨在圍繞其 SLM 產品建立圍牆花園。像 OpenAI 及其源自 GPT 血統的變體(例如預期的 GPT-4 mini 系列)、Google 及其 Gemma 模型、Anthropic 推崇其 Claude Haiku,以及 Cohere 推廣 Command R+ 的公司都是典型的例子。他們的策略通常涉及將 SLMs 商業化為更廣泛平台的組成部分,通常通過基於訂閱的應用程式介面 (APIs)、整合的雲端服務(如 Azure AI 或 Google Cloud AI)或通過企業授權協議提供。

這種策略的吸引力在於緊密整合、一致性能、增強安全性以及在既定企業工作流程中簡化部署的潛力。通過控制生態系統,這些提供商可以提供關於可靠性和支持的保證,使其 SLMs 對於尋求強大的 AI 驅動自動化、嵌入軟件套件中的複雜 ‘copilot’ 助手以及可靠的決策支持工具的企業具有吸引力。這種模式優先通過服務交付和平台鎖定來獲取價值,利用提供商現有的基礎設施和市場覆蓋。它有效地迎合了優先考慮無縫整合和託管 AI 服務的組織。

與生態系統玩法形成鮮明對比的是 專業領域特定模型策略 (specialized domain-specific model strategy)。這種方法的核心是開發經過精心定制和微調的 SLMs,以滿足特定行業的獨特需求、詞彙和監管限制。這些模型並非旨在廣泛適用,而是在金融、醫療保健、法律服務甚至軟件開發等專業技術領域內追求高性能。

這個領域的先驅包括像 Hugging Face 這樣的平台,它託管了像 Zephyr 7B 這樣明確為編碼任務優化的模型,以及像 IBM 這樣的成熟企業參與者,其 Granite 系列模型的核心設計考慮了企業 AI 需求,包括數據治理和合規性。這裡的策略優勢在於深度而非廣度。通過在行業特定數據集上訓練模型並針對特定任務(例如,理解金融術語、解釋醫療記錄、起草法律條款)進行優化,這些 SLMs 可以在其指定領域內實現卓越的準確性和上下文相關性。這種策略在受監管或知識密集型行業中引起了強烈共鳴,因為通用模型可能無法滿足需求,使他們能夠為專業的、關鍵任務用例部署高度準確、具備上下文感知能力的 AI 解決方案。它通過解決通用模型可能忽略的特定痛點和合規性要求來促進採用。

這兩種主導策略對於整個市場而言不一定是相互排斥的,但它們代表了塑造競爭的主要張力。生態系統參與者押注於規模、整合和平台實力,而專業化參與者則專注於深度、精度和行業專業知識。SLM 市場的演變很可能涉及這些方法之間的相互作用和競爭,隨著技術的成熟,可能會導致混合模式或進一步的策略多元化。

巨頭入局:現有企業的策略手冊

小型語言模型帶來的潛在顛覆和機遇並未被科技界的既定巨頭所忽視。利用其龐大的資源、現有的客戶關係和廣泛的基礎設施,這些現有企業正在進行策略性佈局,以確保在這個新興領域的領先地位。

Microsoft

Microsoft,作為企業軟件和雲端計算領域的常青樹,正積極地將 SLMs 融入其技術結構中。採用 專有生態系統控制策略,這家位於 Redmond 的巨頭正在將這些更靈活的模型深度整合到其 Azure 雲端平台和更廣泛的企業解決方案套件中。像 Phi 系列 (包括 Phi-2)Orca 家族 這樣的產品代表了專為企業 AI 任務優化的商業化 SLMs,為其 Copilot 助手內的功能提供動力,並為在 Microsoft 技術棧上構建的開發人員提供強大的工具。

支撐 Microsoft 推動力的一個核心能力是其強大的 AI 研究部門 及其遍布全球的 Azure 雲端基礎設施。這種結合使 Microsoft 不僅能夠開發尖端模型,還能將其作為可擴展、安全和可靠的服務交付給其龐大的企業客戶群。該公司與 OpenAI 的數十億美元戰略合作夥伴關係是其 AI 策略的基石,使其能夠優先獲取 OpenAI 的模型(包括潛在的 SLM 變體),並將其緊密整合到 Microsoft 的產品中,如 Office 365、Bing 和各種 Azure AI 服務。這種共生關係為 Microsoft 提供了內部開發的 SLMs 以及接觸可以說是最受認可的生成式 AI 品牌的途徑。

此外,策略性收購鞏固了 Microsoft 的地位。收購 Nuance Communications,一家在對話式 AI 和醫療保健文檔技術領域的領導者,顯著增強了其在垂直特定 AI 應用中的能力,特別是在醫療保健和企業自動化場景中,這些場景對專業語言理解至關重要。這些經過深思熟慮的舉措——融合內部開發、戰略合作夥伴關係、收購以及與其主導的雲端和軟件平台的深度整合——使 Microsoft 成為一股強大的力量,旨在使其生態系統成為各行各業企業採用 SLM 的默認選擇。

IBM

International Business Machines (IBM),憑藉其深植於企業計算的悠久歷史,正以其特有的對 以業務為中心的應用、信任和治理 的關注來進入 SLM 市場。Big Blue 正在其 watsonx.ai 平台 內積極開發和優化 SLMs,將其定位為專為組織需求量身定制的、具有成本效益、高效且具備領域意識的 AI 解決方案。

IBM 的策略刻意與那些優先考慮面向消費者或通用模型的做法形成對比。相反,重點完全放在對企業部署至關重要的屬性上:可信賴性 (trustworthiness)、數據治理 (data governance) 以及遵守 AI 倫理原則 (AI ethics principles)。這使得 IBM 的 SLM 產品,例如 Granite 模型,特別適用於部署在安全環境和受嚴格法規遵從約束的行業中。IBM 明白,對於許多大型組織,特別是在金融和醫療保健領域,審計、控制和確保負責任地使用 AI 的能力是不可協商的。

通過將這些以治理為重點的 SLMs 納入其混合雲解決方案和諮詢服務中,IBM 旨在賦能企業增強自動化、改進數據驅動的決策制定,並在不損害安全性或道德標準的情況下簡化運營效率。他們深厚的企業關係和可靠性聲譽是推廣 SLMs 作為在複雜組織結構內進行數字化轉型的實用、可信賴工具的關鍵資產。IBM 押注,對於許多企業而言,AI 部署的「如何做」——安全且負責任地——與「做什麼」同等重要。

Google

雖然 Google 可能更明顯地與其大型模型如 Gemini 相關聯,但它也是 SLM 領域的重要參與者,主要利用其龐大的 生態系統和研究能力。通過像 Gemma(例如 Gemma 7B)這樣的模型,Google 提供了相對輕量級但功能強大的開放模型,旨在促進開發者採用並整合到其自身的生態系統中,特別是 Google Cloud Platform (GCP)。

Google 的策略似乎融合了生態系統控制和培育更廣泛社群的元素。通過發布像 Gemma 這樣的模型,它鼓勵實驗,並允許開發人員利用 Google 的底層基礎設施(如用於高效訓練和推理的 TPUs)來構建應用程序。這種方法有助於推動 GCP AI 服務的使用,並將 Google 定位為基礎模型和有效部署它們的工具的提供者。他們在搜索、移動 (Android) 和雲端基礎設施方面的深厚專業知識為整合 SLMs 以增強現有產品或創建新的裝置端體驗提供了多種途徑。Google 的參與確保了 SLM 市場保持激烈的競爭,推動效率和可及性的界限。

AWS

Amazon Web Services (AWS),雲端基礎設施領域的主導者,自然地將 SLMs 整合到其全面的 AI 和機器學習產品組合中。通過像 Amazon Bedrock 這樣的服務,AWS 為企業提供了訪問精選基礎模型的途徑,包括來自不同提供商的 SLMs(可能包括其自身的模型,例如在某些上下文中提到的概念性 Nova 模型,儘管具體細節可能有所不同)。

AWS 的策略主要集中在 在其強大的雲端環境中提供選擇和靈活性。通過 Bedrock 提供 SLMs,AWS 允許其客戶使用熟悉的 AWS 工具和基礎設施輕鬆實驗、定制和部署這些模型。這種以平台為中心的方法專注於將 SLMs 作為託管服務提供,減輕了希望利用 AI 而無需管理底層硬件或複雜模型部署管道的企業的運營負擔。AWS 旨在成為企業可以構建和運行其 AI 應用程序的基礎平台,無論他們選擇大型還是小型模型,利用其規模、安全性和廣泛的服務產品來維持其在 AI 時代的雲端領導地位。

顛覆者與專業廠商:開闢新路徑

除了已建立的科技巨頭之外,一群充滿活力的新進入者和專業公司正在顯著影響小型語言模型市場的方向和活力。這些公司通常帶來新的視角,專注於開源原則、特定的行業利基或獨特的技術方法。

OpenAI

OpenAI,可以說是近期生成式 AI 興趣激增的催化劑,在 SLM 領域佔據著主導地位,建立在其開創性的研究和成功的部署策略之上。雖然以其大型模型聞名,OpenAI 正在積極開發和部署更小、更高效的變體,例如預期的 GPT-4o mini 家族、o1-mini 家族和 o3-mini 家族。這反映了一種策略性的理解,即不同的用例需要不同的模型尺寸和性能特徵。

作為自然語言處理領域的開拓者,OpenAI 的競爭優勢源於其深厚的 研究專業知識 及其將研究轉化為商業上可行產品的成熟能力。其關注點超越了原始能力,還包括關鍵方面,如 效率、安全性和 AI 的道德部署,隨著模型變得更加普及,這些方面尤為重要。該公司的 基於 API 的交付模式 在普及強大 AI 的訪問方面發揮了重要作用,允許全球的開發人員和企業整合其技術。與 Microsoft 的戰略合作夥伴關係提供了重要的資本和無與倫比的市場覆蓋,將 OpenAI 的技術嵌入到龐大的企業生態系統中。

OpenAI 通過積極探索先進的 模型壓縮技術 和研究可能結合不同模型尺寸優勢以提高性能同時最小化計算需求的 混合架構,繼續推動技術前沿。其在開發 微調 (fine-tuning) 和定制 模型技術方面的領導地位,使組織能夠將 OpenAI 強大的基礎模型應用於特定的行業需求和專有數據集,進一步鞏固了其作為創新者和應用 AI 關鍵推動者的市場地位。

Anthropic

Anthropic 通過將 安全性、可靠性和道德考量 置於其開發理念的最前沿,在 AI 領域塑造了獨特的身份。這種關注點清晰地反映在其對 SLMs 的方法上,以 Claude Haiku 等模型為例。Haiku 明確設計用於在企業環境中實現安全可靠的性能,旨在提供有用的 AI 能力,同時最大限度地降低生成有害、有偏見或不真實內容的風險。

將自身定位為 可信賴 AI (trustworthy AI) 的提供者,Anthropic 特別吸引那些在敏感領域運營或優先考慮負責任 AI 採用的組織。他們對憲法 AI (constitutional AI) 和嚴格安全測試的強調,使他們與可能將原始性能置於一切之上的競爭對手區分開來。通過提供不僅功能強大而且設計有防止濫用護欄的 SLMs,Anthropic 滿足了對符合企業價值觀和監管期望的 AI 解決方案日益增長的需求,使他們成為一個關鍵的競爭者,特別是對於尋求可靠且基於道德的 AI 合作夥伴的企業。

Mistral AI

Mistral AI 是一家成立於 2023 年的法國公司,從歐洲科技界迅速崛起,在 SLM 領域引起了巨大反響。其核心策略圍繞著創建 緊湊、高效的 AI 模型,這些模型明確為性能和可部署性而設計,甚至可以在本地設備或邊緣計算環境中運行。像 Mistral 7B 這樣的模型(最初發布的版本,儘管原文混淆地提到了 3B/8B - 專注於眾所周知的 7B 更為穩妥)因其相對於其適中尺寸(70 億參數)所展現出的卓越性能而廣受關注,使其非常適用於計算資源有限的場景。

Mistral AI 的一個關鍵差異化因素是其對 開源開發 (open-source development) 的堅定承諾。通過在寬鬆許可下發布其許多模型和工具,Mistral AI 在更廣泛的 AI 社群內促進了協作、透明度和快速創新。這種方法與一些大型參與者的專有生態系統形成對比,並迅速在開發人員和研究人員中建立了忠實的追隨者。除了其基礎模型外,該公司還通過生產像 Mistral Saba(針對中東和南亞語言定制)這樣的變體,並探索像 Pixtral(旨在圖像理解)這樣的概念的多模態能力,展示了其滿足多樣化語言和功能需求的雄心。Mistral AI 的迅速崛起凸顯了市場對高性能、高效且通常是開源替代方案的巨大需求。

Infosys

Infosys,作為 IT 服務和諮詢領域的全球巨頭,正利用其深厚的行業專業知識和客戶關係,在 SLM 市場中開闢一個利基市場,專注於 行業特定解決方案 (industry-specific solutions)Infosys Topaz BankingSLMInfosys Topaz ITOpsSLM 的推出體現了這一策略。這些模型是為了解決銀行和 IT 運營領域內獨特的挑戰和工作流程而專門構建的。

Infosys 的一個關鍵推動因素是其與 NVIDIA 的戰略合作夥伴關係,利用 NVIDIA 的 AI 技術棧作為這些專業 SLMs 的基礎。這些模型設計用於與現有企業系統無縫整合,包括 Infosys 自己廣泛使用的 Finacle 銀行平台。這些 SLMs 在一個專注於 NVIDIA 技術的卓越中心內開發,並通過與 Sarvam AI 等合作夥伴的協作得到進一步加強,受益於通用數據和行業特定數據的訓練。關鍵的是,Infosys 不僅提供模型;它還提供 預訓練和微調服務 (pre-training and fine-tuning services),使企業能夠根據其專有數據和特定運營需求創建定制的 AI 模型,同時確保安全性和符合相關行業標準。這種以服務為導向的方法將 Infosys 定位為大型企業 SLM 技術的整合者和定制者。

其他值得關注的參與者

SLM 領域比這些重點介紹的公司更為廣泛。其他重要的貢獻者正在推動創新並塑造特定的細分市場:

  • Cohere: 專注於企業 AI,提供像 Command R+ 這樣的模型,專為商業用例設計,並經常強調數據隱私和部署靈活性(例如,在各種雲端或本地部署)。
  • Hugging Face: 雖然主要以平台和社群中心聞名,Hugging Face 也對模型開發做出貢獻(例如用於編碼的 Zephyr 7B),並在普及數千個模型(包括許多 SLMs)的訪問方面發揮著至關重要的作用,促進了研究和應用開發。
  • Stability AI: 最初以其在圖像生成(Stable Diffusion)方面的工作而聞名,Stability AI 正在將其產品組合擴展到語言模型,探索適用於裝置端部署和各種企業應用的緊湊高效 SLMs,利用其在生成式 AI 方面的專業知識。

這些公司與大型參與者一起,構成了一個充滿活力且快速發展的生態系統。他們多樣化的策略——涵蓋開源、專有平台、行業專業化和基礎研究——共同推動了 SLM 在效率、可及性和能力方面的進步,確保這些較小的模型在無數應用和行業的人工智能未來中扮演越來越核心的角色。