SK Telecom (SKT) 已悄然推出了其大型語言模型 (LLM)，名為 ‘A.X 4.0’。 該模型透過將韓語學習融入開放原始碼框架中精心打造。 SKT 已表示他們打算很快發布推論型模型，名為 AOTX 4.1 的預覽版本預計將於 5 月底發布。
4 月 23 日，來自電信產業的新聞指出，SKT 已於 4 月 30 日在 GitHub 上推出了 AOTX 4.0，使其可以在 GitHub 上使用，GitHub 是一個廣泛用於軟體開發的平台。 關於即將推出的推理模型 AOTX 4.1 預覽的效能的更多詳細資訊也已提前分享。
AOTX 4.0 代表了 SKT 的 CEO Yoo Young-sang 上個月早些時候暗示的努力的最終成果，他表示該開發已接近完成。 之後，該模型在一個月內完成，目前正在整合到企業服務中。
該模型的基礎利用了阿里巴巴的 Qwen 2.5，這是一款來自中國的領先開源 LLM。 AOTX 4.0 有兩個版本：一個具有 720 億個參數的標準模型和一個具有 70 億個參數的較輕版本。
針對韓語的開發和優化
SKT 強調，他們設計了一種在韓國背景下提供最佳效能的模型。 這是透過在第一季將大量的韓語資料加入 Qwen 2.5 中實現的。 為了提高模型有效處理韓語資訊的能力，實作了專門的韓語分詞器。
SKT 發布的效能基準顯示，AOTX 4.0 在 KMMLU 基準中獲得了 78.3 分。 該基準用於評估模型對韓語專業知識的理解。 值得注意的是，AOTX 4.0 的表現優於 OpenAI 的 GPT-4o (72.5 分) 和阿里巴巴的 Qwen 1.3 (70.6 分)。
AOTX 4.1 預覽：推論型模型
AOTX 4.1 預覽模型預計將於 5 月底發布，代表 SKT 正在積極開發的推論模型。 透過發布預覽版本，SKT 旨在產生興趣並在正式發布之前評估模型的效能。
SKT 強調，AOTX 4.1 預覽模型的效能水準與 DeepSeek 的推論模型相當，該模型被稱為 ‘DeepSeek R1’。 該模型在今年早些時候引起了廣泛關注。
將 AOTX 4.1 預覽版與 DeepSeek R1 進行比較的基準結果表明，儘管 AOTX 4.1 的大小約為 DeepSeek R1 的九分之一，但它獲得了相似的分數。
未來的增強功能和能力
展望未來，SKT 概述了其 AOTX 4.1 的計畫，聲稱它將增強數學問題解決和程式碼開發方面的能力。 進一步的增強將側重於編碼能力和特定的產業專業知識。 SKT 打算開發一種代理型模型，該模型可以獨立執行任務並做出合理的決策。
深入研究技術規格和架構
A.X 4.0 不僅僅是另一個語言模型； 它是一個經過精心設計的系統，旨在在韓語環境中實現最佳效能。 為了充分理解其能力，我們需要檢查其技術規格和架構選擇。 該模型以阿里巴巴的 Qwen 2.5 為基礎是一個策略性決策，它利用了一個強大的、全球公認的 LLM 作為起點。 然後，以大量的韓語資料增強此基礎，從而針對韓語的細微差別和複雜性對模型進行微調。
雙變體方法（具有 720 億個參數的標準模型和具有 70 億個參數的輕型模型）使 SKT 可以滿足廣泛的應用。 具有 720 億個參數的模型專為需要高精度和深度理解的任務而設計，而具有 70 億個參數的模型則針對資源受限環境中的效率和部署進行了優化。 這種適應性對於實際應用至關重要，在實際應用中，計算資源可能會發生很大的變化。
韓語分詞器：關鍵的區別因素
A.X 4.0 的關鍵區別因素之一是其專門的韓語分詞器。 Tokenization 是將文本分解為模型可以理解和處理的較小單元（token）的過程。 傳統的分詞器通常在英語或其他基於拉丁字母的語言上進行訓練，由於其獨特的語言特性（例如其黏著性質和複雜的字符結構（韓文）），可能不太適合韓語。
透過實作特定於韓語的分詞器，SKT 可確保 A.X 4.0 可以更有效地處理韓語文本。 這種專用的分詞器旨在：
- 有效處理韓文： 準確處理和表示韓文字符。
- 解決黏著性： 將複雜的單詞分解為其組成語素（有意義的單位）。
- 提高上下文理解： 更好地捕捉韓語句子中單詞之間的關係。
這種經過優化的分詞過程直接轉化為在機器翻譯、文本摘要和問答等任務中提高效能。
基準測試 A.X 4.0：超出預期
SKT 發布的效能基準提供了 A.X 4.0 功能的有力證據。 KMMLU（韓語大規模多任務語言理解）基準是對模型理解和推理廣泛的韓語任務的能力的全面評估。 A.X 4.0 在 KMMLU 基準上獲得 78.3 分，領先於 OpenAI 的 GPT-4o (72.5) 和阿里巴巴的 Qwen 1.3 (70.6)，展示了其對韓語專業知識的卓越理解。
這些結果尤其值得注意，因為它們突顯了 A.X 4.0 不僅能夠處理韓語文本，還能理解潛在的上下文和含義。 這對於需要深入推理和了解韓國文化和社會的任務至關重要。
AOTX 4.1 預覽：推論的承諾
即將發布的 AOTX 4.1 預覽模型在業內引起了相當大的興奮。 作為一種推論型模型，AOTX 4.1 旨在擅長需要推理、演繹以及從不完整或不明確的資訊中得出結論的能力的任務。 這對於諸如以下應用至關重要：
- 決策： 分析資料並提供見解以支援知情的決策。
- 問題解決： 識別和解決複雜問題。
- 預測建模： 根據歷史資料和趨勢預測未來的結果。
SKT 聲稱，儘管 AOTX 4.1 的尺寸明顯較小，但其效能可與 DeepSeek 的 R1 模型相媲美，這證明了其高效的架構和經過優化的訓練過程。 這表明 AOTX 4.1 可以以較低的計算成本提供高效能，使其成為許多實際應用中更實用的解決方案。
SKT 對未來的願景：代理型模型
展望 AOTX 4.1 之後，SKT 對其語言模型的未來開發有宏偉的計畫。 該公司的願景包括創建可以獨立執行任務並做出合理決策的代理型模型。 這代表著朝著人工通用智慧 (AGI) 邁出了重要一步，在人工通用智慧中，機器可以執行人類可以執行的任何智力任務。
為實現此目標，SKT 打算專注於：
- 加強編碼能力： 使模型能夠產生和理解電腦程式碼。
- 增強特定的行業專業知識： 根據與特定領域（如金融、醫療保健和製造業）相關的專業知識來訓練模型。
- 培養推理和決策能力： 使模型能夠分析資訊、評估選項並做出合理的判斷。
代理型模型的開發有可能徹底改變許多行業，實現複雜任務的自動化、提高效率和創造新的創新機會。
競爭形勢：SKT 的地位
SK Telecom 憑藉 A.X 4.0 進入 LLM 領域，使其成為快速發展市場中的重要參與者。 在全球範圍內，OpenAI、Google 和 Meta 等公司正在大力投資開發和部署大型語言模型。 在韓國，Naver 和 Kakao 也是主要的競爭對手。
SKT 專注於韓語優化和開發專用模型的策略可能會提供競爭優勢。 透過針對韓國市場的特定需求客製化其模型，SKT 有可能在需要深入了解韓國語言、文化和社會的任務中優於通用 LLM。
對韓國經濟的影響
A.X 4.0 和其他高級語言模型的開發和部署可能會對韓國經濟產生重大影響。 這些技術有可能：
- 提高生產力： 自動執行任務、提高效率並讓人類員工可以專注於更具創造性和策略性的活動。
- 推動創新： 支援新的產品、服務和商業模式。
- 提高競爭力： 協助韓國公司在全球市場上更有效地競爭。
韓國政府正在積極推廣 AI 技術的開發和採用，認識到它們有潛力推動經濟成長和提高生活品質。 SK Telecom 對 LLM 的投資符合這一國家戰略，可能有助於韓國成為人工智慧領域的領導者。
倫理考量
與任何強大的技術一樣，大型語言模型的開發和部署也引發了重要的倫理考量。 它們包括：
- 偏見和公平性： 確保模型在多樣化且具有代表性的資料集上進行訓練，以避免延續偏見。
- 隱私和安全性： 保護敏感資料並防止濫用模型。
- 工作崗位流失： 解決自動化對就業的潛在影響。
- 不實資訊和操縱： 防止模型被用來產生虛假或誤導性資訊。
對於像 SK Telecom 這樣的公司來說，積極主動地解決這些倫理考量並以負責任且合乎道德的方式開發和部署其語言模型至關重要。 這包括實施安全措施以防止偏見、保護隱私並提高透明度。
結論
SK Telecom 悄然發布 A.X 4.0 標誌著韓國語言優化大型語言模型的開發向前邁出了重要一步。 A.X 4.0 專注於效能、效率和實際應用，有可能為韓國經濟和社會做出有價值的貢獻。 隨著 SKT 繼續開發和改進其語言模型，解決倫理考量並確保這些強大的技術用於造福所有人將非常重要。