強化學習新突破，清華團隊提出「單rollout異步優化」方法，可穩定訓練1000步

### 強化學習新突破：清華大學提出「單rollout異步優化」SAO，實現千步穩定訓練，效果全面超越GRPO

在大型語言模型（LLM）的應用版圖中，強化學習（RL）被視為通往更高智能的關鍵路徑，尤其在複雜的長程Agent任務和代碼生成領域，其效率與穩定性直接決定了模型的實用價值。然而，現有的LLM RL訓練流水線普遍存在瓶頸：同步、批量式的處理流程要求系統必須等待整批rollout（生成軌跡）完成後才能進行模型更新，導致GPU等算力資源大量閒置，訓練效率低下。雖然異步RL技術能夠在一定程度上緩解同步等待問題，但現有方案多側重於提升系統吞吐量，卻難以兼顧訓練過程的穩定性與最終的任務效果，使其在實際應用中大打折扣。 針對這一行業痛點，來自清華大學知識工程實驗室（KEG）的研究團隊提出了一種名為「單rollout異步優化」（Single-rollout Asynchronous Optimization，簡稱SAO）的全新框架。該方法顛覆了主流GRPO（Group Relative Policy Optimization）依賴組式採樣的模式，通過引入一系列精巧的機制，成功實現了在長達1000步的訓練過程中保持穩定，並在Agent編碼和數學推理等關鍵基準上，性能持續且顯著地優於GRPO及其變體。目前，該技術已被成功部署於GLM-5.2（750B-A40B）的Agent RL訓練流水線中，展現出極為優異的工業應用潛力。 **單rollout機制：顛覆傳統，提升效率與泛化能力**

SAO的核心創新在於其高效的訓練框架設計。不同於GRPO需要為每個輸入任務生成一組（Group）rollout並進行組內比較以計算優勢，SAO採用極簡的單rollout策略：每個輸入任務僅生成一條訓練軌跡。一旦這條軌跡生成完畢，系統便立即將其送入訓練模塊進行策略更新，無需等待其他rollout。這一設計不僅從根本上消除了同步等待的延遲，極大提升了硬體利用率，更重要的是，它有效地降低了離策略（Off-policy）影響，並由於訓練數據的多樣性而增強了模型的泛化能力，為後續的穩定訓練奠定了堅實基礎。 **四大核心設計：鑄就穩定高效的異步訓練體系**

為了讓基於單rollout的異步訓練流程平穩、高效運行，SAO框架設計了四大核心機制，系統性地解決了異步訓練中常見的偏差和方差問題：

1. **直接雙邊重要性採樣（DIS）**：這是應對異步訓練中離策略偏差的關鍵。由於rollout生成時所用的模型參數與訓練更新時的模型參數存在差異（即策略漂移），SAO直接利用rollout階段記錄的token對數概率與當前策略的對數概率計算重要性採樣比。為了防止極端偏離的更新破壞模型，DIS會設定一個動態區間，超出該區間的token將不參與梯度更新，從而有效過濾噪聲，穩定訓練。 2. **強化價值模型更新頻率**：單rollout訓練帶來了更高的梯度估計方差，這對價值模型（Critic）的可靠性提出了更高要求。SAO通過解耦策略模型（Actor）與價值模型的更新頻率，實行「一策略兩價值」的更新策略：每更新一次策略模型，價值模型便更新兩次。這種設計確保價值模型能更頻繁地學習，從而提供更準確的優勢信號（Advantage），有效降低了訓練方差。 3. **固定注意力模塊參數**：在實驗中，研究團隊發現價值模型的訓練波動主要源於全注意力層，而混合專家層（MoE）則相對穩定。基於此洞察，SAO在訓練價值模型時，選擇凍結對波動敏感的注意力模塊參數，僅優化MoE投影層。這一簡單而有效的操作極大地提升了價值模型訓練的穩定性，使其能夠為策略模型提供更為平滑、可靠的梯度指引。 4. **跳過觀察信息的GAE（廣義優勢估計）**：在多輪交互的Agent任務中，模型生成的動作與環境的反饋（如工具調用結果）會交替出現。如果將這些包含大量無關細節的環境觀察信息token直接納入優勢計算，會引入巨大的噪聲。SAO巧妙地設計了跳過觀察信息token的GAE機制，僅在模型自主生成的動作序列之間傳播優勢信號，從而顯著降低了環境噪聲對策略學習的干擾。 **權威評測：全方位壓制GRPO，展現卓越性能與穩定性**

研究團隊在一系列極具挑戰性的基準測試上對SAO進行了嚴格評估，結果全面展示了其領先優勢。 在數學推理領域，SAO的表現尤為突出。在包含Python工具使用的奧賽級數學推理任務AIME2025上，SAO達到了驚人的97.3%準確率，而同期對比的GRPO方法準確率僅為84.2%，相差超過13個百分點。這一結果充分證明了SAO在處理複雜邏輯推理任務上的巨大潛力。 在代碼生成與修復任務中，SAO同樣表現卓越。在業界公認的權威基準SWE-Bench Verified上，SAO的準確率達到29.8%，顯著優於基線模型的23.0%以及採用DIS的GRPO模型的27.0%。這證明了SAO在真實世界軟體工程場景中同樣具有極強的實用性。 除了最終的性能數字，SAO在訓練穩定性上的表現更為關鍵。從訓練曲線來看，普通的GRPO在訓練過程中會較早出現性能崩潰，模型在提升到一定程度後便急轉直下。即便加入了DIS，GRPO雖然能夠穩定訓練，但其性能增長在後期趨於停滯。相比之下，SAO在保持全程穩定的同時，評估性能在訓練的中後期仍在持續攀升，展現出了遠超對手的學習效率和潛力。消融實驗進一步證明，SAO的各項設計（如更快的價值模型更新、固定的注意力參數）均不可或缺，任何一項的移除都會導致性能明顯下降。 **探索未來邊界：適應動態環境的在線學習**

值得一提的是，研究團隊還通過模擬在線寫作任務，對SAO在非平穩（Non-stationary）動態環境中的適應能力進行了探索。實驗中，獎勵偏好會在可愛、中二和古典三種寫作風格之間隨機切換。結果顯示，SAO能夠在獎勵偏好發生變化後，迅速調整模型參數以對齊新的目標風格，其訓練獎勵曲線始終保持在高位。而傳統的滑動平均基線方法則表現出明顯的適應滯後，收斂水平也更低。這表明SAO在需要持續適應變化的真實用戶場景中，具有廣闊的應用前景。 **侷限性與未來展望：邁向更廣泛的通用RL框架**

儘管SAO在眾多Agent任務中取得了突破性成果，研究團隊也客觀地指出了其當前面臨的侷限性與未來需要攻克的方向。首先，SAO的有效性目前主要在基於Qwen3-30B-A3B的大規模模型上得到驗證，其在更小規模的模型、非Agent類型的RLHF（如傳統的文本生成對齊）以及獎勵更為密集的任務中的表現，仍有待探索。其次，SAO對基礎設施提出了更高要求，特別是需要在異步生成過程中可靠地保存和傳遞rollout的對數概率信息。最後也是最為重要的，當前的在線學習模擬仍處於受控環境，若要部署到真實的用戶場景中，必須構建更為完善的安全防護、內容監控和隱私審查機制，以防止模型被用於優化有害目標。 總體而言，清華大學KEG實驗室提出的SAO方法，通過「單rollout異步優化」這一原創思路，並輔以一系列精妙的工程設計，系統性地解決了LLM強化學習訓練中效率、穩定性和性能三者難以兼顧的難題。該方法不僅在標準測試中刷新了紀錄，更重要的是為未來構建能夠在複雜、動態的真實世界中持續學習和進化的通用智能Agent，提供了一條可行且充滿希望的道路。