Sarvam AI，一家位於班加羅爾的新創公司，最近推出了一個突破性的240億參數大型語言模型 (LLM)，該模型經過精心設計，擅長處理印度語言，並能應對複雜的推理任務，包括數學和程式設計。這個創新的模型，名為 Sarvam-M（「M」代表 Mistral），代表了開放權重混合模型領域的一個重大進步。它建立在 Mistral Small 的基礎上，Mistral Small 是一個緊湊但功能非常強大的開源語言模型，透過專門的訓練和最佳化技術來增強其功能。
Sarvam-M：語言建模的混合方法
Sarvam-M 因其混合方法而脫穎而出，它結合了開源基礎的優勢和專有的增強功能。這種設計理念使 Sarvam AI 能夠利用圍繞 Mistral Small 模型的集體知識和社群支援，同時針對印度市場的特定需求進行客製化。模型的架構和訓練方法是理解其效能和功能的關鍵。
監督式微調：精確度和準確性
為了提高模型的準確性和精確度，Sarvam AI 採用了一種嚴謹的監督式微調流程。這包括在精心策劃的範例資料集上訓練模型，該資料集專門設計用於改善其在各種任務上的效能。透過將模型暴露於各種不同的情境，並為其提供清晰、標記的資料，監督式微調流程使 Sarvam-M 能夠學習資料中複雜的模式和關係，從而產生更準確和可靠的輸出。
具有可驗證獎勵的強化學習：決策能力
除了監督式微調之外，Sarvam AI 還採用了具有可驗證獎勵的強化學習，以增強模型的決策能力。這種技術涉及訓練模型以從與明確、可衡量的目標相關的回饋中學習，例如正確解決數學問題。透過獎勵模型實現這些目標，強化學習流程鼓勵它做出更好的決策並隨著時間的推移最佳化其效能。這種方法對於需要複雜推理和問題解決技能的任務特別有效。
針對即時使用進行最佳化：效率和反應能力
認識到即時效能的重要性，Sarvam AI 精心最佳化了 Sarvam-M，以便在產生答案時（尤其是在即時使用期間）能夠更有效率和準確地做出回應。這包括微調模型的架構和演算法，以最大限度地減少延遲並最大化吞吐量，確保使用者可以及時收到與其查詢相關的回應。最佳化工作側重於減少計算開銷並提高模型處理並行請求的能力，使其適合在高需求的環境中部署。
基準效能：設定新標準
Sarvam AI 聲稱 Sarvam-M 為同等規模的模型在印度語言以及數學和程式設計任務方面設定了新基準，這一說法得到了廣泛的基準資料的支持。該新創公司對模型在各種標準基準上的效能進行了嚴格的評估，並將其結果與其他最先進模型的結果進行了比較。這些評估的結果證明了 Sarvam-M 在幾個關鍵領域取得的顯著改進。
印度語言基準：平均效能提升 20%
根據 SarvamAI 發佈的部落格文章，Sarvam-M 相較於基礎模型展現出重大改進，在印度語言基準上的平均效能提升了 20%。這種實質性的改進突顯了監督式微調流程在增強模型對印度語言的理解和產生方面的有效性。模型處理這些語言的細微差別和復雜性的能力對於其在印度市場的採用和使用至關重要。用於評估效能的特定基準包括文本分類、問題回答和機器翻譯等任務，涵蓋各種不同的語言挑戰。
數學任務：平均效能提升 21.6%
除了印度語言之外，Sarvam-M 在數學任務方面也展現出令人印象深刻的效能提升，平均提高了 21.6%。準確性和問題解決能力的顯著提高突顯了具有可驗證獎勵的強化學習技術在增強模型推理能力方面的有效性。模型解決數學問題的能力對於其在金融建模、科學研究和資料分析等領域的應用至關重要。用於評估數學任務效能的基準包括來自各個領域的問題，例如代數、微積分和統計學。該模型不僅被評估其提供正確答案的能力，還被評估其展示推理過程和證明其解決方案的合理性的能力。
程式設計測試：平均效能提升 17.6%
Sarvam-M 在程式設計測試中的效能同樣值得注意，平均提升了 17.6%。這種改進反映了模型理解和產生各種程式設計語言程式碼的能力，使其成為軟體開發人員和工程師的寶貴工具。模型在程式設計方面的精通對於其在程式碼產生、錯誤偵測和自動化測試等領域的應用至關重要。用於評估程式設計測試效能的基準包括程式碼完成、程式碼修復和從自然語言描述中產生程式碼等任務。該模型被評估其產生符合語法且語義上有意義的程式碼的能力，該程式碼可以滿足給定的需求。
組合任務：卓越的效能
該模型在結合印度語言和數學的任務上表現得更好，這說明瞭它的多功能性以及處理需要語言和推理技能的複雜場景的能力。例如，它在 GSM-8K 基準的羅馬化印度語言版本上實現了 86% 的提升。這種顯著的改進突顯了模型利用其對印度語言和數學概念的知識來解決具有挑戰性的問題的能力。GSM-8K 基準是一種廣泛使用的資料集，用於測試模型解決以自然語言表達的小學數學問題的能力。該模型在此基準上的效能證明瞭它理解問題陳述、識別相關資訊以及應用適當的數學運算以得出正確解決方案的能力。Sarvam-M 取得的 86% 的提升證明瞭其先進的推理能力以及處理複雜、多方面任務的能力。
與其他模型的比較：Sarvam-M 毫不遜色
Sarvam AI 的部落格文章將 Sarvam-M 與其他著名的語言模型進行了比較，強調了其具有競爭力的效能。這種比較分析提供了對模型優勢和劣勢的寶貴見解，讓使用者可以根據特定需求做出明智的決定。該部落格文章強調了 Sarvam-M 在大多數基準上優於 Llama-2 7B，並且與更大的密集模型（如 Llama-3 70B）以及像 Gemma 27B 這樣的模型（這些模型經過了顯著更多的 tokens 的預訓練）相當。這些比較突顯了 Sarvam-M 訓練方法的效率以及它以相對較小的參數規模實現具有競爭力效能的能力。以更少的參數實現相當的效能轉化為更低的計算成本和更快的推理速度，使 Sarvam-M 成為許多使用者更實用和更容易獲得的解決方案。
英語知識基準：有改進的空間
儘管 Sarvam-M 在印度語言和推理任務方面表現出色，但 Sarvam AI 承認 Sarvam-M 在 MMLU 等英語知識基準方面仍需要改進。在這些基準中，Sarvam-M 的效能比基準模型低約 1 個百分點。效能的這種輕微下降表明模型的訓練資料可能偏向印度語言和推理任務，導致對英語知識的理解略有不足。然而，Sarvam AI 正在積極努力透過將更多英語資料納入模型的訓練集並微調模型的架構以更好地處理英語知識任務來解決此問題。該公司致力於在英語基準上實現與其他最先進模型相同的效能，確保 Sarvam-M 是一個多功能且具有全球競爭力的語言模型。
多功能性和應用：廣泛的可能性
Sarvam-M 具有多功能性，旨在支援廣泛的應用，包括對話代理、翻譯和教育工具。它理解和產生印度語言的能力，加上其推理能力，使其成為在印度市場運營的企業和組織的寶貴資產。
對話代理：增強客戶服務
Sarvam-M 可以用於為對話代理提供動力，這些代理可以用客戶的母語與他們互動，提供個人化和高效的客戶服務。這些代理可以處理各種任務，例如回答常見問題、提供產品資訊和解決客戶投訴。透過讓客戶能夠以他們喜歡的語言進行溝通，Sarvam-M 可以提高客戶滿意度和忠誠度。由 Sarvam-M 提供支援的對話代理可以部署在各種平台上，例如網站、行動應用程式和訊息平台，從而為客戶提供無縫且方便的溝通體驗。
翻譯：打破語言障礙
Sarvam-M 的翻譯功能可用於打破語言障礙，促進說不同語言的人之間的溝通。該模型可以在英語和各種印度語言之間翻譯文本和語音，使企業能夠將其影響力擴展到新市場，並使個人能夠與來自不同文化背景的人建立聯繫。由 Sarvam-M 提供支援的翻譯服務可以整合到各種應用程式中，例如文件翻譯工具、網站翻譯外掛程式和即時翻譯應用程式，從而為使用者提供無縫且準確的翻譯功能。
教育工具：個人化的學習體驗
Sarvam-M 可以用於開發為所有年齡層的學生提供個人化的學習體驗的教育工具。該模型可以產生客製化的學習材料、提供學生作業的回饋並回答學生的問題。透過根據每個學生的個人需求和學習風格客製化學習體驗，Sarvam-M 可以提高學生的參與度和學業成績。由 Sarvam-M 提供支援的教育工具可以部署在各種平台上，例如線上學習平台、行動應用程式和互動式教科書，從而為學生提供隨時隨地訪問個人化學習資源的權限。
訪問和可用性：賦予開發人員權力
Sarvam AI 使開發人員和研究人員可以輕鬆訪問 Sarvam-M，從而在 AI 社群內促進創新和合作。該模型可在 Hugging Face 上下載，Hugging Face 是一個用於共享和訪問開源 AI 模型的熱門平台。開發人員還可以在 Sarvam AI 的遊樂場上測試該模型，這是一個基於 Web 的介面，允許使用者試驗模型的功能並探索其潛在應用。此外，Sarvam AI 還提供 API，允許開發人員將 Sarvam-M 整合到他們自己的應用程式和服務中。透過輕鬆訪問該模型及其相關工具，Sarvam AI 正在賦予開發人員構建創新解決方案的能力，這些解決方案可以利用 AI 的力量。
未來計畫：在印度建立一個自主的人工智慧生態系統
Sarvam AI 計劃定期發佈模型，作為其在印度建立自主 AI 生態系統工作的一部分。該模型是該系列貢獻中的第一個。該公司致力於開發和部署符合印度人民需求和價值觀的人工智慧技術。透過培養強大的國內 AI 產業，Sarvam AI 旨在減少印度對外國技術的依賴，並促進經濟成長和社會發展。該公司的願景是創建一個既創新又具有包容性的人工智慧生態系統，確保所有印度人都能獲得人工智慧的好處。
4 月下旬，印度政府選擇 Sarvam 作為印度 AI 使命的一部分，旨在建立該國自主的 LLM，這是一項加強國內新興技術能力的國家努力。此次選擇突顯了政府對 Sarvam AI 實現其在印度建立自主 AI 生態系統願景的能力的信心。印度 AI 使命是一項全面的倡議，旨在促進 AI 領域的研究和開發，培養創新和創業精神，以及創建一支熟練的勞動力來支援 AI 產業。透過與 Sarvam AI 合作，政府正在朝著實現其目標以及將印度確立為全球 AI 領導者邁出重要一步。