智譜提出異步強化學習新方案SAO

強化學習（Reinforcement Learning, RL）正逐漸成為大型語言模型（LLM）後訓練階段的關鍵技術。然而，過往針對LLM設計的強化學習流程多半採用同步或批次交錯的處理方式，這在需要長時間跨度推理與互動的智能體（Agentic）任務中顯得效率不彰。近期雖然出現了非同步強化學習（Asynchronous RL）作為替代方案，能透過邊收集軌跡邊更新模型的方式提升吞吐量，但在訓練穩定性與任務有效性上仍存在諸多未解難題。為此，智譜研究團隊提出了一套名為「單軌跡非同步優化」（Single-Rollout Asynchronous Optimization，SAO）的新架構，旨在解決非同步訓練中的穩定性與離策略（Off-Policy）挑戰。 該篇論文於2026年7月8日提交至arXiv預印本平台，由智譜團隊的侯振宇、李玉江、唐傑與董雨曉共同撰寫。研究團隊觀察到，當前廣泛使用的GRPO（Group Relative Policy Optimization）框架採用了「群體抽樣」（Group-Wise Sampling）機制，亦即同一個提示（Prompt）會生成多條軌跡進行比較優化。然而，這種設計在非同步訓練的情境下並不容易完美對接，容易導致訓練過程不穩定以及策略更新與實際數據分布脫節的問題。 SAO的核心突破在於將抽樣策略從「群體」轉向「單一」。具體來說，SAO捨棄了為每個提示收集多組回應的方式，改為每組提示僅進行一次軌跡展開（One Rollout per Prompt）。這種單軌跡採樣的設計，有效減少了非同步訓練中因數據延遲而導致的離策略效應，進而提升模型在面臨新數據時的泛化能力。為了讓這種單軌跡策略能充分發揮作用，團隊還引入了實用的價值模型（Value Model）訓練設計，讓模型在僅有一條軌跡的情況下依然能穩健學習。 在優化穩定性方面，SAO導入了一項嚴格的「雙側詞元層級裁剪策略」（Double-Side Token-Level Clipping）。過往的裁切機制多半僅針對單邊進行限制，而SAO的做法是從上下兩個方向對每個詞元（Token）的更新幅度進行約束，確保模型參數在每次迭代中都不會產生劇烈震盪。這項設計讓SAO能夠在不發生訓練崩潰的前提下，穩定地執行超過一千步的更新，這在以長序列任務為主的智能體訓練中是一項重要的保障。 為了驗證SAO的實際效能，研究團隊將其與GRPO及其多種變體架構進行了對比測試。測試涵蓋了程式碼生成與數學推理等指標性基準，包括SWE-Bench Verified（軟體工程真實場景）、BeyondAIME以及IMOAnswerBench（國際數學奧林匹克等級推理）。實驗結果顯示，SAO在這些高難度的智能體任務上，持續且顯著地超越了GRPO的表現，證明其在複雜推理與工具使用場景下的優勢。 值得一提的是，SAO在模擬在線學習（Simulated Online Learning）的場景中展現了極強的適應能力。在這種設定下，模型面對的環境與任務會隨時間動態變化，傳統的批次訓練方法往往難以快速應對。SAO憑藉其單軌跡即時更新的特性，能夠更靈敏地捕捉環境變動的訊號，持續調整策略以保持高效表現。這對於必須在真實動態環境中運作的AI系統而言，具有重要的實戰意義。 根據論文披露，這項SAO方案已經被成功部署於智譜開源GLM-5.2模型（750B-A40B參數規模）的智能體強化學習訓練流程中。這證明SAO並非僅停留在理論階段，而是能夠支撐起數百億參數等級大規模模型的實際訓練需求，為後續更強大的基座模型提供了可行的技術路徑。 整體而言，SAO透過將抽樣模式簡化、強化穩定性約束，有效填補了非同步強化學習在智能體訓練領域的關鍵空白。這項研究不僅解決了GRPO等現有框架在非同步環境下的適配難題，更為AI模型從靜態問答邁向動態環境中的自主任務執行，提供了兼具效率與穩定度的訓練新典範。隨著GLM-5.2等模型持續演化，SAO所奠定的技術路線將可能在未來的AI自主決策與工具操作上扮演更為核心的角色。