騰訊混元煉出Agent版RSI！基於Qwen3.8-27B，終端任務成功率翻倍

（公眾號：zhidxcom） 編譯 | 黃菲 編輯 | 江宇 10月19日消息，10月15日，由騰訊首席AI科學家、騰訊基礎模型部負責人姚順雨帶領的騰訊混元前沿團隊（Tencent Hy Frontier）聯合新加坡國立大學、美國馬里蘭大學、佐治亞大學和印第安納大學的研究人員，以阿里巴巴通義千問團隊開源的Qwen3.8-27B為基座，提出一種面向終端智能體（Terminal Agent）的遞歸訓練方法Terminal-RSI。該研究旨在讓終端智能體從過往的成功經驗中學習，持續提升複雜任務的執行能力。

為此，該研究團隊提出Terminal-RSI，讓Agent提煉成功操作的經驗，再通過強化學習優化執行策略，在多輪訓練中持續改進任務執行能力。為檢驗這一方法的效果，該研究團隊以Qwen3.8-27B為基座模型，依次經過Base、RSR-1、RPR-1、RSR-2和RPR-2五個階段的訓練，得到Terminal-RSI-27B，並在六項基準測試中評估其終端任務執行能力。評估結果顯示，Terminal-RSI-27B在Terminal-Bench 2.1上取得86.52%的成績；在四個Terminal-Bench基準套件上的平均得分從初始模型的20.68%提升至50.58%，提高29.90個百分點。

▲六個基準測試集在五個階段上的評估結果，圖源：arXiv 一、遞歸重寫與策略精煉交替進行，讓AI反覆改進操作能力 這項研究的核心是Terminal-RSI框架，訓練過程可拆分為兩種交替進行的機制，包括“遞歸自我重寫”（Recursive Self-Rewrite，RSR）和“遞歸策略精煉”（Recursive Policy-Refine，RPR）。RSR主要負責從成功經驗中提煉可複用的操作步驟。該研究團隊先篩選已經通過驗證的任務執行軌跡，再將其中的操作過程整理為可供模型學習的步驟說明，並在新的執行環境中重新測試。只有通過驗證和相關篩查的軌跡，才會進入後續訓練。RPR則通過強化學習繼續優化模型。

該研究團隊保留上一階段的價值評估網絡參數，並在進入新一輪策略訓練前重新校準該網絡，使其適應更新後的模型行為與獎勵標準。價值評估網絡用於估計當前狀態後續可能獲得的回報，為模型判斷哪些操作更有價值提供參考。整體來看，Terminal-RSI採用兩種機制交替迭代的訓練框架，共形成5個階段：Base、RSR-1、RPR-1、RSR-2和RPR-2。訓練首先進入RSR階段，更新策略網絡（Actor），同時保持價值網絡（Critic）的權重不變；隨後進入遞歸策略精煉RPR階段，通過強化學習進一步優化策略，並更新價值網絡。完成一輪訓練後，改進後的策略進入下一輪迭代，形成持續優化的遞歸訓練流程。

▲遞歸循環通過監督式遷移傳遞價值網絡權重框架圖，圖源：arXiv 為進一步解釋Terminal-RSI如何通過遞歸訓練提升Agent的任務執行能力，該研究團隊展示了單步遞歸的內部迭代流程。該流程圍繞遞歸自我重寫（RSR）與遞歸策略精煉（RPR）展開，分為左右兩條分支，分別對應經驗提煉與策略優化兩個環節。左側分支負責發現成功軌跡，並對操作軌跡進行重寫和驗證，對應遞歸自我重寫（RSR）階段。右側分支則負責調整獎勵機制、處理回合邊界的信用分配，並對價值網絡（Critic）進行校準。

▲重寫與策略精煉更新不同參數，圖源：arXiv 論文特別提出，價值網絡校準並不是在每個近端策略優化（Proximal Policy Optimization，PPO）小批次訓練前重複進行，而是在策略與價值網絡聯合訓練開始前，先進行四輪僅更新價值網絡的訓練，為後續聯合優化做好準備。該研究還對比了兩種訓練路徑。一種為先通過RSR獲得經過驗證的操作軌跡，再進入RPR階段。另一種為跳過RSR，直接採用PPO進行強化學習。在論文展示的訓練步數對比中，RSR-first的表現整體更高。例如，在Terminal-Bench 2.1上，RSR-first的成功率從70.10%升至77.

53%，而直接採用PPO的方案得分為48.31%。▲兩種初始化方式結果對比，圖源：arXiv 該研究認為，RSR能夠為後續強化學習提供經過驗證的示範軌跡，幫助模型更快提升任務執行能力。不過，這項對比並未完全控制額外的軌跡發現與重寫所帶來的監督成本，因此不能據此認定兩種方案在相同計算成本下存在同等幅度的性能差距。此外，該研究團隊還設計了回合邊界跳過觀測的廣義優勢估計方法（Turn-Boundary Skip-Observation Generalized Advantage Estimation，TB-GAE），用於減少冗長環境日誌對訓練信號的干擾。

對於需要多輪命令行操作的任務，模型生成的文本可能很長，但長篇幅的環境反饋並不意味著模型作出了同等數量的新決策。該方法嘗試按照實際交互回合處理獎勵衰減，避免模型因為僅日誌更長，而對最終任務反饋賦予不合理的訓練權重。二、四項終端基準測試成績提升，長時程任務仍未完全攻克 該研究團隊使用了六個基準測試集評估模型，分別為Terminal-Bench 2.1、Terminal-Bench 3.0、Terminal-Bench 4.0、Terminal-Bench Hard、長時程終端任務基準測試（Long-Horizon-Terminal-Bench，LHTB）和SWR100。

這六項測試主要考察Agent能否在可執行環境中檢查代碼倉庫、修復依賴、修改文件並最終通過驗證。其中，前4項主要評估終端任務的完成情況，LHTB側重考察需要多輪操作、涉及複雜依賴鏈的長時程任務，SWR100則用於測試模型根據公開輸入輸出示例重建可執行工作流的能力。四項Terminal-Bench基準的平均成功率曲線：從基座模型的20.68%起步，經RSR-1的34.25%、RPR-1的44.50%、RSR-2的 48.75%，最終在RPR-2階段達到50.58%，翻了一倍多。▲四個基準測試集在五個階段上的評估結果，圖源：arXiv 在四項測試中，Terminal-RSI-27B的成績分別為19.

84%、86.52%、16.95%和79.00%。其中，Terminal-Bench 4.0的成績從基礎模型階段的0%提升至19.84%，Terminal-Bench Hard則從31.00%提升至79.00%。四項基準測試的等權平均成功率則從基礎模型階段的20.68%升至最終階段的50.58%，較基礎模型提高29.90個百分點，較第一輪自我重寫後的34.25%提高到16.33個百分點。但遞歸訓練帶來的收益會隨任務類型而變化，不同測試的表現並不完全一致。Terminal-Bench 2.1的成功率在RSR-2階段已經達到86.52%，最終階段維持這一水平；Terminal-Bench 3.

0則從RSR-2階段的15.00%升至16.95%。在共有46項任務的長時程執行LHTB測試集中，嚴格完成任務的平均數量僅從0項增至5項，模型的過程獎勵從基礎階段的0.21升至0.37。按照該研究採用的嚴格標準，只有完整通過最終驗證的任務才算成功。這一結果說明，模型即使能夠有一個階段性的通過率，但不一定能夠將這些進展轉化為完整的任務解決方案。▲長時程終端基準（LHTB）指標持續提升，科學工作流重構基準（SWR100）進入平臺期，圖源：arXiv 在訓練數據之外的科學工作流重建測試SWR100任務中，模型成功率從基礎階段的3.00%升至6.00%。

在這項任務中，模型需要根據公開的輸入輸出示例重建可執行程序，並通過隱藏的語義、結構及防投機檢查。不過，該項成績在RPR-1階段達到6.00%後便未繼續增長，即後續訓練並未在這一測試中帶來額外提升。為探究這種不一致的表現是否也體現在不同難度的任務中，該研究團隊進一步根據結構性指標，將468個基準測試任務劃分為簡單、中等、困難和極難四檔。模型在不同難度任務上的提升並不同步，極難任務的表現也未隨訓練階段推進而持續改善。訓練後，簡單任務的成功率從31.78%升至72.88%，中等任務從23.58%升至58.96%，困難任務從14.91%升至49.12%。

相比之下，極難任務的成功率呈波動變化，曾在遞歸策略精煉第一階段達到10.98%，隨後在遞歸自我重寫第二階段降至6.10%，最終回升至10.98%。▲分層評估結果體現模型能力提升並不均衡，圖源：arXiv 三、獎勵機制調整可減少失敗軌跡得分，研究仍有驗證邊界 除了訓練流程，該研究團隊還調整了獎勵機制，以區分局部進展和真正完成任務之間的差異。第一種機制是家族密集獎勵（Family Dense Reward，FDR），通過校準不同任務類別的檢查規模，衡量模型完成了多少有效檢查項。

第二種機制是成功優先獎勵（Success-Prioritized Reward，SPR），在保留部分進展獎勵的同時，提高完整通過最終驗證的任務在獎勵體系中的優先級。該研究團隊比較了兩種獎勵方案在46個任務家族中的分佈情況。結果顯示，採用SPR後，家族層面的平均獎勵標準差從0.34升至0.47，軌跡層面則從0.50升至0.59，儘管SPR減少了失敗軌跡獲得獎勵的情況，但整體獎勵分佈並未因此變得更加集中。在結果標籤不變的同一批4352條軌跡上，原有FDR機制下失敗軌跡獲得的獎勵佔總獎勵的50.09%。採用SPR後，這一比例降至28.72%，獲得至少1分獎勵的失敗軌跡數量從158條降至0條。

▲獎勵分配在不同任務家族與訓練階段存在差異，圖源：arXiv 4352條接受審計的軌跡中，在原有FDR機制下，失敗軌跡獲得的獎勵佔總獎勵的50.09%；採用SPR後，這一比例降至28.72%。原獲得至少1分獎勵的失敗軌跡數量則從158條降至0條。該研究團隊明確提出，離線重新評分能夠檢驗獎勵機制如何分配分數，卻無法單獨證明這一調整對實際訓練結果的影響。除基準測試分數外，該研究團隊還通過兩個具體任務檢驗模型的執行效果，分別是嵌入漂移監測案例和Rust-C求值器案例。在嵌入漂移監測任務中，基座模型通過81.82%的檢查項，RSR-1階段升至96.97%，從RPR-1階段起，模型通過率達到100%。

最終模型修復了6個模塊，並在兩次獨立評測中均通過全部11項斷言。嵌入漂移監測案例要求模型修復一個統計漂移監測程序，並通過11項斷言，涉及距離語義、參考數據隔離、無偏最大均值差異（MMD）計算和告警遲滯等要求。▲展開嵌入漂移案例，圖源：arXiv 在Rust-C求值器任務中，基座模型和RSR-1階段的通過率均為50%，RPR-1階段升至75%，RSR-2階段及最終模型則達到100%。Rust-C求值器案例要求模型構建可執行封裝器，並在模糊測試中確保其輸出與隱藏參考實現逐字符一致。基座模型和RSR-1階段均因整數除法結果的輸出格式不一致而失敗，例如輸出“23”而非“23.

0” 最終模型在兩次評測中均通過了封裝器測試和隱藏模糊測試兩道關卡。▲展開Rust-C求值器案例，圖源：arXiv 最後，該研究團隊也在論文中提出了這項研究的侷限性。首先，遞歸訓練過程中，模型初始化方式、獎勵機制和學習率等設置同時發生變化，尚不能明確判斷最終成績提升分別來自哪一項機制。其次，每個階段的基準測試進行了3次獨立評估，但該研究團隊承認，這不能替代使用多個獨立訓練隨機種子開展實驗，也不足以證明模型在統計意義上顯著優於其他方法。此外，基準測試只能驗證其檢查規則所覆蓋的要求。即使模型通過了現有測試，也不能據此認定其在所有真實軟件開發環境中都能可靠完成任務。

結語：提升終端Agent表現，遞歸訓練能走多遠？Terminal-RSI展示了一條結合成功軌跡重寫、強化學習和獎勵校準的訓練路徑。實驗結果顯示，該方法能夠提升模型在多項終端任務基準測試中的表現，並在長流程任務中取得一定進展。但論文稱，目前結果只在單個27B參數規模的模型上驗證，沒有更大規模的對照實驗，三次獨立評測取平均值也不足以斷言統計意義上的領先。