上海悟空科技的 SASR 訓練框架解碼
總部位於上海的量化交易基金,在領先的國際會議上展示了一種可能具有突破性的人工智慧 (AI) 訓練技術,在人工智慧社群中掀起了波瀾。這種創新方法,詳述於提交給聲譽卓著的 Conference on Neural Information Processing Systems (NeurIPS) 的研究論文中,可能媲美,甚至超越了 DeepSeek 和 OpenAI 等知名研究組織所使用的既有 AI 訓練方法的有效性。此舉反映了 DeepSeek 自身的發展軌跡,其在 AI 演算法方面的進展受到了相當大的關注。
上海悟空科技成立於 2015 年,推出了一種名為 SASR(step-wise adaptive hybrid training,逐步調適的混合訓練)的新型 AI 訓練框架。 這種方法旨在解決諸如 supervised fine-tuning (SFT) 和 reinforcement learning (RL) 等普遍方法的感知限制。 悟空認為,SASR 的靈感來自於人類發展推理技能的方式,提供了一種更具適應性和效率的途徑來構建先進的 AI 模型。
SFT 和 RL 被認為是 AI 訓練過程的基石,被 OpenAI 和 DeepSeek 等行業巨頭所採用。DeepSeek 明確強調了這些技術在優化其 V3 模型性能方面的重要作用,該模型於去年 12 月發布,並在科技領域引起了極大的興趣。
根據悟空的研究論文,與上海交通大學及其新成立的 AI 子公司上海 AllMind Artificial Intelligence Technology 的研究人員共同撰寫,SASR 展現出優於 SFT、RL 和靜態混合訓練方法的卓越性能。 「實驗結果表明,SASR 優於 SFT、RL 和靜態混合訓練方法」,悟空團隊在其研究論文中斷言。
悟空科技進展的影響
據報導,悟空科技在 AI 訓練方面的突破,彰顯了中國在 AI 領域持續取得的進展。 它可能突顯了美國政府實施現行政策的局限性,這些政策旨在透過硬體限制來阻礙中國的 AI 發展。 Nvidia 執行長黃仁勳 (Jensen Huang) 最近評論了這些限制措施的感知無效性,表示「中國擁有全球 50% 的 AI 開發人員」。
DeepSeek 是一家從 High-Flyer 避險基金中脫穎而出的中國 AI 新創公司,因展示了中國透過先進演算法以及硬體和軟體的整合,在 AI 領導地位方面的潛力而獲得廣泛認可。
AllMind 在悟空科技 AI 戰略中的作用
AllMind 的成立恰逢悟空的研究發表,表明了一項將資源專注於 AI 研究和開發的策略性舉措。 中國企業註冊記錄顯示,AllMind 與悟空發布研究的同一天正式註冊。
悟空的創始人兼 AllMind 的法定代表人王驍表示,創建新實體是為了探索新的 AI 邊界。 這反映了 High-Flyer 採用的方法,該公司於 2023 年將 DeepSeek 設立為一個獨立的實體。
根據其官方網站提供的資訊,截至去年年底,悟空管理著超過 150 億元人民幣(約 21 億美元)的國內外資產,並採用 AI 驅動的策略。
深入探討 SASR:一種逐步調適的混合訓練框架
悟空的 SASR 框架在 AI 模型訓練領域提出了一種有趣的替代方案。 為了真正了解其潛在影響,更詳細地了解其組成部分和工作原理至關重要。
SASR 的「逐步」方面意味著一個多階段的訓練過程,其中 AI 模型經過迭代完善。 每個步驟可能涉及特定的目標,並利用不同的訓練數據來培養模型中的特定能力。 這種分階段的方法可以提供多種好處,例如減輕從頭開始訓練複雜模型的挑戰,並允許在每個階段進行客製化的優化。
「調適」要素表明訓練過程不是靜態的,而是動態地響應模型的性能和特徵。 這種適應性可能涉及調整超參數、修改訓練數據分佈或動態加權不同訓練目標的貢獻。 調適過程使 AI 能夠更有效地學習和改進。
SASR 的「混合」性質揭示了它結合了不同訓練方法的要素。 這是至關重要的一個方面,因為 SFT 和 RL 各有優缺點。 混合方法使模型能夠利用每種方法的優勢,同時解決其局限性。 透過整合這三個特徵,從理論上講,SARS 更能勝任開發邏輯和推理能力。
將 SASR 與傳統方法進行比較
Supervised fine-tuning (SFT) 傳統上依賴於一個大型的帶標籤數據集,其中 AI 模型學習將輸入映射到所需的輸出。 Reinforcement learning (RL) 涉及透過試錯訓練模型,獎勵或懲罰行為以最大限度地提高特定目標。
SASR 試圖整合這兩者,同時克服每種方法的局限性。 例如,SFT 可能在很大程度上取決於標記數據的品質和完整性。 在許多現實場景中,獲取足夠的準確數據既耗時又昂貴。 RL 雖然不需要標記數據,但可能不穩定且容易出現獎勵駭客問題。 當 AI 模型發現意外的方式來最大化其獎勵時,就會發生獎勵駭客行為,這可能會導致不良行為。
悟空的框架有可能改進 SFT 和 RL 的局限性。 但是,需要進一步和持續的測試來驗證公司論文中記錄的初步結果。
演算法創新和硬體限制
在美中科技關係的背景下,悟空科技 SASR 框架的消息尤其具有相關性。 長期以來,美國政府一直試圖透過限制取得先進計算硬體(尤其是 Nvidia 等公司的高端 GPU)來遏制中國在 AI 領域的崛起。 這些限制背後的想法是,限制中國取得強大硬體將減緩其 AI 開發工作。
然而,Nvidia 執行長黃仁勳的評論以及來自中國 AI 實驗室的新進展似乎表明,這些政策可能不如預期的那樣有效。 黃仁勳曾表示,中國擁有全球很大比例的 AI 開發人才,而限制硬體存取可能會激勵他們尋找替代解決方案。
悟空聲稱的 AI 突破表明,演算法創新可能會在一定程度上抵消硬體限制。 如果中國研究人員能夠開發出更有效的訓練演算法,他們或許能夠以較不強大的硬體實現相當的 AI 性能。 這可能會對全球 AI 格局產生重大影響,因為這表明儘管持續存在限制,中國可能仍能夠繼續提高其 AI 能力。
這並不是說硬體無關緊要。 先進的 GPU 對於訓練尖端的 AI 模型仍然至關重要,並且取得最新硬體無疑提供了顯著的競爭優勢。 然而,悟空科技的研究表明了投資硬體和軟體的重要性,以及一個領域的進展可能會彌補另一個領域的限制。
中國 AI 的崛起:超越 DeepSeek
DeepSeek 作為 AI 領域的傑出參與者而崛起,是一個催化劑,展示了中國成為這項變革性技術的全球領導者的決心。 然而,DeepSeek 只是一個例子,悟空科技及其 SASR 訓練框架的崛起,進一步說明了中國 AI 生態系統內不斷增強的實力和創新。
多種因素促成了這一勢頭。 首先,中國擁有龐大的數據池,這對於訓練 AI 模型至關重要。 憑藉龐大的人口和數位技術的廣泛採用,中國公司可以存取可用於開發和完善其 AI 演算法的大量數據集。
其次,中國非常重視 STEM 教育,培養了大量有才華的工程師和科學家。 這創造了一支高技能勞動力,能夠推動 AI 和相關領域的創新。
第三,中國政府已將 AI 列為一項戰略優先事項,為研發提供大量資金和支持。 這為 AI 新創公司創造了一個肥沃的環境,並促進了學術界和產業界之間的合作。
最後,中國公司通常願意採取更務實和冒險的方式進行創新,這使他們能夠快速行動並嘗試新想法。
由於這些因素,中國在 AI 能力方面正在迅速趕上美國。 儘管美國在基礎研究和高端硬體等某些領域仍然保持領先地位,但中國在計算機視覺、自然語言處理和機器人技術等領域正在取得重大進展。
像悟空科技和 DeepSeek 這樣的公司的出現表明,在未來幾年,中國有能力繼續在 AI 領域崛起。
上海悟空科技:創新背後的公司
上海悟空科技是一家成立於2015年的量化交易基金。 它使用 AI 驅動的策略管理著大量資產。 該公司聲稱的使命是「結合技術和基本面分析」,為其客戶帶來更好的回報。 除了其在資產管理方面的核心業務外,悟空還展示了致力於突破 AI 研究界限的決心。 AI 子公司 AllMind Artificial Intelligence Technology 代表了一項戰略舉措,旨在正式化和加速其 AI 研究工作。
關於公司內部結構和運營動態的詳細信息仍然相對稀缺。 然而,其公開聲明和近期活動提供了對其方法的洞察。 該公司的口號翻譯為「邏輯與真相是我們唯一遵守的原則」,反映了一種數據驅動和分析的文化。 對 AI 研發的投資表明其具有長遠的眼光,並意識到 AI 具有變革性的潛力,不僅在金融領域,而且在各個行業。 悟空很可能打算利用 AI 研究的見解來改進其交易策略,並在市場上獲得競爭優勢。