前OpenAI語音主管創立情感AI新創 WaveForms獲A16Z巨額投資
WaveForms AI由前OpenAI語音模型開發者創立，致力於開發情感通用智能（EGI），並獲得A16Z巨額投資。其獨特的端到端音頻模型技術，使AI能更精準理解人類情感，預示人機互動新時代的來臨。
Archives: 1
國產多模態模型追平 OpenAI O1：訓練細節公開
月之暗面發布 Kimi k1.5 多模態模型，在數學、程式碼和多模態推理能力上全面對標 OpenAI 的頂級模型 o1，成為 OpenAI 之外首個達到此高度的多模態模型。該模型在短鏈思維領域達到 SOTA 水平，並大幅領先 GPT-4o 和 Claude 3.5 Sonnet。月之暗面公開了其訓練技術細節，包括強化學習技術和 long2short 技術，展現了其在人工智慧領域的重大突破。
OpenAI 即將發布博士級超級 AI Agent
OpenAI 聯合創始人 Sam Altman 向美國政府高官展示了博士級超級 AI Agent，引發內部員工對技術進步的興奮與對工作被取代的擔憂。Meta 和 Salesforce 等公司也正積極採用 AI Agent 技術，預示著 AI 對就業結構的衝擊正在加速到來。超級 AI Agent 的崛起代表生成式 AI 的新階段，其核心技術包括先進的機器學習算法、自然語言處理和複雜系統建模與優化。早期測試顯示其在數據分析、物流和軟體開發等領域具有巨大潛力。
OpenAI 實時AI Agent 20分鐘開發語音智能體
OpenAI近期分享了一個令人矚目的項目，一個基於實時API開發的多層級高級AI Agent。這個語音智能體應用原型僅用了20分鐘就完成了開發，其原始碼已在GitHub上公開，展示了高效開發語音智能體的可能性。該實時Agent具有實時響應、多層級協作框架、靈活的任務交接和狀態機驅動的任務處理等優勢，並可利用大型模型輔助決策。此外，它還提供了可視化的WebRTC介面和詳細的事件日誌，方便開發者進行監控和優化。
擴散模型推理擴展新範式
本文深入探討了擴散模型在推理階段的擴展性，研究發現增加推理時的計算資源可以顯著提升生成樣本的質量。研究重點在於透過搜尋最佳採樣雜訊來優化推理過程，並提出了驗證器和演算法兩個核心設計軸。此外，研究還探討了不同驗證器與任務的對齊性、演算法的效能以及與微調模型的相容性，揭示了在推理時進行計算投資的有效性，特別是在較小模型上的潛力。
OpenAI o3-Mini 數週內發佈 奧特曼稱 AGI 僅需 872 兆瓦電力
OpenAI 新模型 o3-Mini 即將發佈，奧特曼確認其性能雖不如 o1-pro，但速度更快。此模型將提供 API 和網頁端存取，並有 high、medium 和 low 三個版本。奧特曼同時提及 o3 性能將遠超 o1-pro，並談到 AGI 實現僅需 872 兆瓦計算功率。
階躍發布新型注意力機制：KV 快取消耗銳減 93.7%，效能不減反增
階躍星辰與清華大學等機構的研究人員提出多矩陣分解注意力（MFA）機制，有效降低大型語言模型（LLM）推理成本。MFA及其變體MFA-KR在減少高達93.7%的KV快取使用量的同時，效能與傳統MHA相當，且實現簡單、易於復現，並對超參數不敏感。
ESM3蛋白質研究突破' 模擬5億年進化' 免費API獲Yann LeCun讚賞
Evolutionaryscale的ESM3模型是一個擁有980億參數的生物模型' 透過將蛋白質結構和功能轉換為離散字母' ESM3能夠同時處理蛋白質的序列'結構和功能' 並生成全新的蛋白質' 其進化模擬能力相當於5兆年的自然演化' 近期更開放免費API' 獲圖靈獎得主Yann LeCun讚賞' 這項技術在理解和生成蛋白質方面有重大突破' 對醫學領域有深遠影響。
微軟突破性材料設計 AI 模型 MatterGen 提升 10 倍準確度
微軟推出 MatterGen，一款專為無機材料設計的突破性大型語言模型。此模型基於擴散模型架構，能逐步優化原子類型、座標和週期性晶格，加速生成多樣化的新型無機材料，並在電池技術、人工通用智慧 (AGI) 和全球挑戰等領域展現巨大潛力。
史丹佛研究揭示ChatGPT效能下降
史丹佛大學與加州大學柏克萊分校的研究顯示，GPT-3.5和GPT-4在三個月內效能出現顯著波動。研究發現，GPT-4在數學問題、程式碼生成和指令遵循方面的能力有所下降，而GPT-3.5在某些任務上有所提升。這項研究突顯了大型語言模型在持續發展環境中維持一致性和可靠性的挑戰。