強化學習賦能，32B模型比肩671B’滿血版’
凌晨時分，當大多數人已沉入夢鄉，阿里巴巴卻悄然投下了一枚’技術炸彈’—— 全新推理模型QwQ-32B。這款模型的參數規模僅為320億，卻在性能上直追擁有6710億參數的DeepSeek-R1’滿血版’，這無疑在人工智能領域掀起了一陣波瀾。
千問團隊在官方推文中難掩興奮之情：’我們深入探索了擴展強化學習（RL）的奧秘，並在Qwen2.5-32B的基礎上取得了令人矚目的成果。研究發現，強化學習訓練能夠持續提升模型性能，特別是在數學和編程任務上。更令人振奮的是，我們觀察到，通過持續擴展強化學習，中等規模的模型也能實現與巨型MoE模型相媲美的性能。’
QwQ-32B的發布，不僅彰顯了阿里巴巴在人工智能領域的深厚技術積累，也為業界提供了新的思路：通過強化學習的加持，小模型也能擁有大智慧。
目前，QwQ-32B已在Hugging Face和ModelScope兩大開源平台發布，並採用了Apache 2.0開源協議，這意味著全球的開發者都可以自由地使用、修改和分發這款模型。此外，用戶還可以通過Qwen Chat直接體驗QwQ-32B的強大功能。
本地部署工具Ollama也迅速響應，第一時間提供了對QwQ-32B的支持，用戶只需輸入簡單的命令’ollama run qwq’，即可在本地輕鬆運行這款模型。
為了讓大家更深入地了解QwQ-32B背後的技術細節，千問團隊還發布了題為《QwQ-32B：領略強化學習之力》的官方中文博客，詳細介紹了這款模型的研發歷程和技術特點。
強化學習：超越傳統訓練方法的’秘密武器’
博客中提到，大規模強化學習（RL）具有巨大的潛力，在提升模型性能方面，有望超越傳統的預訓練和後訓練方法。
近年來，越來越多的研究表明，強化學習可以顯著提高模型的推理能力。例如，DeepSeek-R1通過整合冷啟動數據和多階段訓練，實現了業界領先的性能，使其能夠進行深度思考和複雜的推理。
千問團隊則另闢蹊徑，深入探索了大規模強化學習對大語言模型智能的提升作用，QwQ-32B正是這一探索的結晶。
QwQ-32B是一款擁有320億參數的模型，但其性能卻足以媲美擁有6710億參數（其中370億被激活）的DeepSeek-R1。千問團隊表示：’這一成果充分證明了將強化學習應用於經過大規模預訓練的強大基礎模型的有效性。’
更值得一提的是，QwQ-32B還集成了與智能體（Agent）相關的能力，使其能夠在使用工具的同時進行批判性思考，並根據環境反饋調整推理過程。千問團隊表示：’我們希望通過自身的努力，證明強大的基礎模型結合大規模強化學習，或許是通往通用人工智能（AGI）的一條可行之路。’
性能實測：QwQ-32B表現亮眼
為了客觀評估QwQ-32B的性能，千問團隊在一系列基準測試中對其進行了全面測試，包括數學推理、編程和通用能力等多個方面。
測試結果令人振奮：QwQ-32B的表現非常出色，在LiveBench、IFEval和BFCL等基準測試中，甚至略微超過了DeepSeek-R1-671B。
以下是QwQ-32B與其他領先模型的性能對比：
| 模型 | LiveBench | IFEval | BFCL |
|---|---|---|---|
| QwQ-32B | 優於 | 優於 | 優於 |
| DeepSeek-R1-Distilled-Qwen-32B | |||
| DeepSeek-R1-Distilled-Llama-70B | |||
| o1-mini | |||
| DeepSeek-R1 (原始) |
從表格中可以清晰地看到，QwQ-32B在多個關鍵指標上都展現出了卓越的性能，甚至在某些方面超越了參數規模更大的DeepSeek-R1。
深度解析：QwQ-32B的強化學習之路
QwQ-32B的強大性能，離不開其獨特的大規模強化學習策略。
與傳統的強化學習方法不同，QwQ-32B的強化學習是在’冷啟動’的基礎上進行的。
第一階段：數學與編程專項強化
在初始階段，千問團隊首先針對數學和編程任務進行了專項強化學習訓練。
他們並沒有採用傳統的獎勵模型（reward model），而是另闢蹊徑：
- 數學問題： 通過校驗生成答案的正確性來提供反饋。
- 編程問題： 通過代碼執行服務器評估生成的代碼是否成功通過測試用例來提供反饋。
這種直接、高效的反饋機制，使得QwQ-32B能夠快速、準確地學習和改進。
隨著訓練輪次的不断推進，QwQ-32B在數學和編程領域的性能持續提升，展現出了強大的學習能力。
第二階段：通用能力全面提升
在完成了第一階段的專項強化學習後，千問團隊又增加了針對通用能力的強化學習訓練。
在這一階段，他們使用了通用獎勵模型和一些基於規則的驗證器進行訓練。
實驗結果表明，通過少量步驟的通用強化學習，QwQ-32B的其他通用能力得到了顯著提升，同時在數學和編程任務上的性能並沒有出現明顯的下降。
這種’兩步走’的強化學習策略，使得QwQ-32B不僅在特定領域表現出色，在通用能力方面也具備了強大的競爭力。
未來展望：AGI之路，任重道遠
千問團隊在博客中坦言，QwQ-32B只是他們在探索大規模強化學習以增強推理能力方面邁出的第一步。
通過這次嘗試，他們不僅見證了擴展強化學習的巨大潛力，也認識到了預訓練語言模型中尚未開發的無限可能性。
在致力於開發下一代Qwen的過程中，千問團隊堅信，將更強大的基礎模型與依托規模化計算資源的強化學習相結合，將使我們更接近實現通用人工智能（AGI）的目標。
此外，他們還在積極探索將智能體（Agent）與強化學習相結合，以實現更長時間的推理，目標是通過推理時間的擴展來釋放更高的智能。
業界反響：QwQ-32B引發熱議
QwQ-32B的發布，在業界引起了廣泛關注和熱烈討論。
在前段時間的DeepSeek熱潮中，許多人對’滿血版’模型情有獨鍾，因為’蒸餾版’模型的性能往往會受到限制。然而，671B的’滿血版’模型對於普通用戶來說，部署難度極大，一般的終端設備難以承受。
如今，QwQ-32B的出現，讓大家看到了希望：將模型大小’打下來’，讓端側部署成為可能。
有網友表示，雖然手機上運行QwQ-32B可能還不太現實，但運行內存較高的Mac設備或許可以一試。
還有人直接向阿里巴巴通義實驗室科學家Binyuan Hui喊話，希望他能開發出更小、更輕量級的模型。
更有不少用戶曬出了自己的體驗，表示QwQ-32B的運行速度非常快，令人印象深刻。
蘋果機器學習研究者Awni Hannun也表示，他已經在M4 Max上成功運行了QwQ-32B，而且速度非常快。
在Qwen的官方聊天界面（Qwen Chat）上，我們已經可以看到QwQ-32B的預覽版模型。感興趣的讀者可以親自前往測試，體驗這款’小身板，大能量’的全新推理模型。
從更宏觀的視角來看, QwQ-32B的橫空出世, 具有里程碑式的意義. 它不僅是阿里自身技術實力的體現, 更為整個AI領域的發展提供了新的可能性:
模型小型化趨勢: QwQ-32B證明了, 通過精妙的算法和訓練策略, 完全可以在不犧牲性能的前提下, 大幅壓縮模型體積. 這對於推動AI模型在邊緣設備、移動設備上的部署, 具有重要意義. 未來的AI應用, 將不再受限於龐大的算力, 而是可以更靈活地融入各種場景.
強化學習的崛起: QwQ-32B的成功, 凸顯了強化學習在提升模型智能方面的巨大潛力. 相較於傳統的監督學習, 強化學習更接近人類的學習方式, 能夠通過與環境的交互, 自主學習和進化. 這為AI模型突破現有瓶頸, 實現更高級別的智能, 提供了新的思路.
開源共享的價值: 阿里將QwQ-32B開源, 再次體現了其開放共享的技術理念. 這將有助於全球開發者共同參與, 加速AI技術的創新和應用. 開源社區的力量, 將推動AI技術更快地走向成熟, 造福社會.
通往AGI的探索: 雖然QwQ-32B距離真正的通用人工智能(AGI)還有很長的路要走, 但它無疑是朝著這個目標邁出的堅實一步. 通過不斷探索新的模型架構、訓練方法和應用場景, 我們有望在未來實現更接近人類水平的AI.
總的來說, QwQ-32B的發布, 不僅僅是一款新模型的誕生, 更是一個新時代的開端. 它預示著AI技術將朝著更高效、更智能、更普惠的方向發展, 為我們的生活帶來更多可能性。