KyutAI是一家位於法國的人工智慧研究實驗室，最近推出了 Helium 1，這是一個突破性的開源語言模型，其設計理念是高效和多語言能力。這個緊湊的模型擁有 20 億個參數，經過獨特的訓練，可以支援歐盟的所有 24 種官方語言。 Helium 1 專為無縫的裝置端整合而設計，擅長多語言任務，並利用透過 KyutAI 的客製化 dactory 管道精心策劃的高品質訓練數據集。該模型現在可以在 Hugging Face 上存取，邀請開發人員和研究人員探索其潛力。
Helium 1：語言模型的新範式
Helium 1 代表著與日俱增的 AI 模型趨勢背道而馳，而是專注於在更小、更高效的封裝中提供強大的效能。與 GPT-4 或 Claude 3 等龐然大物不同，Helium 1 專為在資源受限的裝置（如智慧型手機和邊緣硬體）上運行而量身定制。這種對效率的關注為各種環境中的 AI 應用程式開闢了新的可能性，尤其是在高端計算基礎設施有限的地區。
KyutAI 優先考慮多語言支援的決定反映了對包容性和可及性的承諾。透過在所有 24 種歐盟官方語言上訓練 Helium 1，該實驗室正在解決 AI 模型的一個關鍵需求，即能夠有效地為不同的語言社群提供服務。這種方法有可能使 AI 技術的存取民主化，並賦予先前可能因語言障礙而被排除在外的個人權力。
Helium 1 的架構和訓練
Helium 1 是 KyutAI 的第一個基礎模型，經過精心設計，旨在擁抱歐洲豐富的語言景觀。該模型的訓練方案涉及 Common Crawl 資料集的精煉版本，使用 KyutAI 的專有 dactory 工具進行處理。此工具優先考慮資料品質和語言平衡，確保模型接受全面的教育。根據 KyutAI 的說法，大約 60% 的資料集由英文文字組成，其次是西班牙文、荷蘭文和法文。這種分佈反映了這些語言在線上的相對普遍性，同時仍保持所有 24 種歐盟語言的代表性。
該模型的架構基於 transformer 網路，這是一種在自然語言處理中廣泛採用的框架。但是，KyutAI 已納入多項現代增強功能，例如分組查詢注意力和旋轉位置嵌入，以優化效能。這些調整提高了推論速度並減少了記憶體消耗，使 Helium 1 非常適合部署在資源有限的裝置上。 KyutAI 透露，Helium 1 是透過從 Google 的 Gemma 2 9B 模型中提取知識，利用 64 個 H100 GPU 進行訓練的。此過程使 KyutAI 能夠利用較大模型的專業知識，同時仍保持 Helium 1 的緊湊尺寸。
數據重複資料刪除：確保品質和可讀性
為了減輕訓練數據中存在重複或不相關內容的情況，KyutAI 採用了一種聰明的行級重複資料刪除技術，該技術使用 Bloom 濾波器。此方法有效地識別並刪除包含超過 80% 重複內容的段落，從而產生更乾淨、更有用的數據集。最終壓縮的資料集重達 770GB（未壓縮時為 2TB），這證明了 KyutAI 重複資料刪除工作的有效性。透過確保其訓練數據的品質和可讀性，KyutAI 為 Helium 1 的效能奠定了堅實的基礎。
多語言功能：關鍵差異化因素
Helium 1 最引人注目的功能之一是其卓越的多語言功能。該模型已經過歐洲語言變體的各種基準測試的嚴格測試，包括 ARC、MMLU、HellaSwag、MKQA 和 FLORES。這些基準測試評估了該模型執行一系列任務的能力，例如問答、常識推理和語言理解。 Helium 1 在這些基準測試中的強勁效能證明了其處理各種語言挑戰的熟練程度。
除了標準基準測試之外，KyutAI 還嘗試了「模型湯」，這是一種涉及混合從針對特定數據子集訓練的專業模型的權重的技術。這些子集包括維基百科文章、教科書和一般的「生活」內容。最終的 Helium 1 湯結合了一般模型和重點模型，以增強分布外泛化。這種方法使模型能夠更有效地適應新的和未見過的數據，使其更強大和多功能。
規模較小、專業模型的興起
Helium 1 的開發反映了 AI 研究中更廣泛的趨勢，即構建規模較小、專業的模型，而不是追求大規模系統。這種轉變是由於人們越來越認識到效率和可及性與原始功率同等重要。較小的模型更容易部署在各種裝置上，運行所需的能量更少，並且可以更容易地適應特定任務。
KyutAI 發布 Helium 1 及其配套工具（如 dactory）旨在證明高品質的多語言模型不需要龐大或受雲端限制。透過為研究人員和開發人員提供構建自己的專業模型所需的資源，KyutAI 正在促進創新並使 AI 技術的存取民主化。
開放存取：促進協作與創新
在許多新的 AI 模型要么是封閉原始碼要么規模龐大的時代，Helium 1 以其透明度和緊湊的設計而脫穎而出。研究人員可以透過 GitHub 和 Hugging Face 自由存取模型和訓練代碼。這種開放的實驗邀請對於歐洲從事區域語言應用程式的開發人員尤其有益。透過採用開放存取，KyutAI 正在促進協作並加速 AI 領域的創新步伐。
Helium 1 在 Hugging Face 等平台上的可用性使開發人員可以輕鬆地將該模型整合到自己的專案中。這種簡化的存取降低了進入門檻並鼓勵了實驗，從而導致了更廣泛的應用程式和用例。 Helium 1 的開放原始碼性質也允許研究人員仔細檢查模型的架構和訓練過程，從而更深入地了解其功能和局限性。
Helium 1 的潛在應用
Helium 1 獨特的多語言支援、效率和開放存取相結合，使其非常適合各種應用。一些潛在的用例包括：
- 裝置端翻譯： Helium 1 的緊湊尺寸使其非常適合整合到需要即時翻譯功能的行動應用程式中。
- 多語言聊天機器人： Helium 1 可用於為可以多種語言與用戶溝通的聊天機器人提供動力，從而提供個人化的支援和資訊。
- 教育工具： Helium 1 可用於開發提供語言學習支援和個人化回饋的教育應用程式。
- 輔助工具： Helium 氦 1 可用於建立輔助工具，以協助身心障礙人士存取資訊並更有效地溝通。
- 內容建立： Helium 1 可用於為網站、社交媒體和其他平台產生多語言內容。
- 情感分析： Helium 1 可用於分析多種語言的情感，從而深入了解公眾輿論和客戶回饋。
- 程式碼產生： Helium 1 的語言理解功能可以應用於程式碼產生任務，協助開發人員更有效地編寫程式碼。
- 文件摘要： Helium 1 可用於摘要多種語言的文件，為使用者提供關鍵資訊的快速概觀。
- 命名實體辨識： Helium 1 可用於識別和分類多種語言中的命名實體（例如，人物、組織、地點），從而為資訊提取和分析提供寶貴的見解。
- 問答： Helium 1 可用於回答多種語言的問題，為使用者提供來自各種來源的資訊存取。
多語言 AI 的未來
Helium 1 代表了多語言 AI 模型開發向前邁出的重要一步。透過優先考慮效率、可及性和開放存取，KyutAI 正在為一個未來鋪平道路，在這個未來，AI 技術對於世界各地的人們來說更具包容性和賦權性。隨著 AI 領域的不斷發展，我們可能會看到越來越多的模型（如 Helium 1）旨在解決不同語言社群中的特定需求和挑戰。
多語言 AI 模型的開發不僅對於確保公平地存取技術非常重要，而且對於促進跨文化理解和溝通也非常重要。透過使個人能夠以他們的母語與 AI 系統互動，我們可以打破語言障礙並促進跨文化的更大協作和同理心。
Helium 1 的發布證明了開放協作的力量以及規模較小、專業的 AI 模型的潛力。隨著研究人員和開發人員繼續以 KyutAI 的工作為基礎，我們可以期望在未來幾年看到多語言 AI 更加創新和有影響力的應用。 Helium 1 不僅僅是一個語言模型；它是 AI 更加包容和可及的未來的象徵。