訓練 vs. 推論：AI 的兩面
要理解推論的重要性，必須先區分它與訓練的不同。AI 模型是驅動智能應用的引擎，經歷兩個截然不同的階段：
訓練： 這是計算密集階段，AI 模型從大量數據集中學習。可以把它想像成模型在上學，吸收大量資訊以發展其智能。這個階段需要強大的處理能力，而 Nvidia 的 GPU（圖形處理器）歷來在此表現出色，提供處理訓練中複雜計算所需的平行處理能力。
推論： 一旦模型訓練完成，就可以部署並投入使用。這就是推論的用武之地。推論是使用訓練好的模型，根據新數據做出預測或決策的過程。就像模型畢業後，將其知識應用於現實世界。雖然計算需求低於訓練，但推論需要速度、效率，而且通常需要低功耗。
這種區別至關重要，因為訓練和推論的硬體需求截然不同。雖然 Nvidia 的 GPU 主導了訓練市場，但推論市場呈現出更加多元化和競爭激烈的格局。
推論為何勢頭正勁
有幾個因素促成了推論在 AI 晶片市場中日益增長的重要性：
AI 應用激增： AI 不再局限於研究實驗室和科技巨頭。它正迅速滲透到我們生活的方方面面，從智慧型手機、智能家居到自動駕駛汽車和醫療診斷。這種廣泛的部署意味著推論，即實際使用 AI 模型的過程，正以前所未有的規模發生。
邊緣運算： 邊緣運算的興起是另一個主要驅動力。邊緣運算涉及在更靠近數據源的地方處理數據，而不是將其發送到集中式雲端伺服器。這對於需要即時回應的應用至關重要，例如自動駕駛汽車或工業自動化。邊緣設備通常在功耗受限的環境中運行，需要針對低功耗、高效率推論進行優化的晶片。
成本優化： 雖然訓練 AI 模型是一次性（或不頻繁）的成本，但推論是持續的營運費用。隨著 AI 部署規模的擴大，推論的成本可能會變得相當可觀。這推動了對能夠更高效地執行推論、降低能耗和整體營運成本的晶片的需求。
延遲要求： 許多 AI 應用，尤其是那些涉及即時互動的應用，都要求低延遲。這意味著 AI 模型處理數據並產生回應所需的時間必須最短。推論優化晶片旨在最大限度地減少這種延遲，實現更快、更靈敏的 AI 體驗。
AI 模型成熟： 隨著 AI 模型變得越來越複雜和專業化，對優化推論硬體的需求也隨之增加。通用 GPU 雖然非常適合訓練，但對於運行特定的、高度調整的 AI 模型而言，可能並非最有效的解決方案。
挑戰者湧現：多元化的格局
推論日益增長的重要性吸引了一波渴望挑戰 Nvidia 霸權的競爭者。這些公司正在採用各種策略和技術，在這個蓬勃發展的市場中站穩腳跟：
具有專業架構的新創公司： 許多新創公司正在開發專門為推論設計的晶片。這些晶片通常採用針對特定 AI 工作負載（例如自然語言處理或計算機視覺）優化的新穎架構。例如 Graphcore、Cerebras Systems 和 SambaNova Systems 等公司。這些公司押注於專業硬體可以在特定推論任務中勝過通用 GPU 的理念。
基於 FPGA 的解決方案： 現場可程式化閘陣列 (FPGA) 提供了傳統 GPU 和 ASIC（特定應用積體電路）的靈活替代方案。FPGA 可以在製造後重新編程，使其能夠適應不同的 AI 模型和演算法。Xilinx（現為 AMD 的一部分）和 Intel 等公司正在利用 FPGA 提供適應性強且高效的推論解決方案。
ASIC 開發： ASIC 是為特定目的定制設計的晶片。在 AI 的背景下，可以設計 ASIC 以為特定的推論工作負載提供最佳性能和效率。Google 的 Tensor Processing Unit (TPU) 在其自己的數據中心中廣泛使用，是專為訓練和推論設計的 ASIC 的一個典型例子。其他公司也在尋求 ASIC 開發，以在推論市場中獲得競爭優勢。
老牌晶片製造商擴展其 AI 產品： 傳統晶片製造商，如 Intel、AMD 和 Qualcomm，並沒有袖手旁觀。他們正在積極擴展其產品組合，以包括針對 AI 推論優化的晶片。例如，Intel 正在利用其 CPU 專業知識並收購專門從事 AI 加速器的公司，以鞏固其地位。AMD 對 Xilinx 的收購為其提供了強大的基於 FPGA 的推論平台。Qualcomm 是行動處理器的領導者，正在將 AI 加速功能整合到其晶片中，以支援智慧型手機和其他邊緣設備上的 AI 應用。
雲端供應商設計自己的晶片： 主要的雲端供應商，如 Amazon Web Services (AWS) 和 Google Cloud，越來越多地為 AI 工作負載（包括推論）設計自己的定制晶片。例如，AWS 的 Inferentia 晶片專門用於加速雲端中的推論。這種趨勢使雲端供應商能夠針對其特定需求優化其基礎架構，並減少對外部晶片供應商的依賴。
推論霸權之爭：關鍵考量因素
AI 推論市場的競爭不僅僅是原始處理能力。其他幾個因素對於決定成功至關重要：
軟體生態系統： 強大的軟體生態系統對於吸引開發人員並使其易於在特定晶片上部署 AI 模型至關重要。Nvidia 的 CUDA 平台是一個平行運算平台和編程模型，一直是訓練市場的主要優勢。競爭對手正在努力開發強大的軟體工具和函式庫來支援他們的硬體。
電源效率： 如前所述，電源效率對於許多推論應用至關重要，尤其是那些在邊緣的應用。能夠提供每瓦特高性能的晶片將具有顯著優勢。
成本： 推論晶片的成本是一個主要考慮因素，特別是對於大規模部署。能夠在保持性能的同時提供有競爭力的價格的公司將處於有利地位。
可擴展性： 有效擴展推論部署的能力至關重要。這不僅涉及單個晶片的性能，還涉及在集群中連接和管理多個晶片的能力。
靈活性和可編程性： 雖然 ASIC 為特定工作負載提供了高性能，但它們缺乏 GPU 和 FPGA 的靈活性。適應不斷發展的 AI 模型和演算法的能力是許多用戶的關鍵考慮因素。
安全性： 隨著 AI 在醫療保健和金融等敏感應用中的使用越來越多，安全性變得至關重要。
推論的未來：多面向的格局
推論市場有望實現顯著增長和多元化。不太可能有一家公司像 Nvidia 在訓練領域那樣佔據主導地位。相反，我們可能會看到一個多面向的格局，不同的晶片架構和供應商滿足特定的需求和應用。
競爭將非常激烈，推動創新並突破 AI 的可能性界限。這最終將使使用者受益，從而產生更快、更有效、更實惠的 AI 解決方案。推論的興起不僅僅是挑戰 Nvidia 的主導地位；它還關乎釋放 AI 的全部潛力，並使其能夠應用於更廣泛的應用和行業。未來幾年將是 AI 晶片市場這一關鍵領域的決定性時期，塑造 AI 在全球部署和使用的未來。