不換模型，效果提升104%！上海AI Lab讓Harness也能自進化了

不換模型，效果提升104%！上海AI實驗室讓Agent外層Harness也能自我進化

大型語言模型（LLM）正從單純的對話問答，走向需要自主操作工具、執行多步驟任務的智能體（Agent）。過去人們多半把焦點放在更換更強的底層模型，但上海人工智能實驗室團隊近期提出的「Self-Harness」技術，卻提供了一個截然不同的思路：不動模型，只改包在模型外層的那套Harness（外掛控制裝置），就能讓Agent表現大幅躍進。這項工作不僅被LangChain執行長暨共同創辦人Harrison Chase在社群上轉發，也被前OpenAI副總裁Lilian Weng收錄進自進化Agent的相關部落格，顯示頂級Agent社區已經注意到這個方向。

所謂Agent Harness，可以理解為圍繞模型建構的一套執行框架，內容涵蓋系統提示詞、工具使用規則、驗證器、運行時控制策略以及輕量的中介軟體。在多輪工具任務中，Harness決定Agent何時呼叫工具、何時停止、失敗後如何恢復、產出該如何驗證。過去這套規則大多由工程師手動調整：先大量閱讀執行軌跡，從失敗中找出原因，再修改提示詞或工具規則，最後反覆跑測試。但當模型數量增多、任務複雜度上升，這種「一模型一套人工調參」的做法就很難規模化擴展。Self-Harness的核心概念是讓模型本身參與Harness的改進，但整個過程被嚴格結構化成三個步驟：弱點挖掘、修改提案、回歸驗證。

第一步「弱點挖掘」中，系統讓當前的Harness驅動固定模型完成一批任務，記錄完整的執行軌跡、工具呼叫與評測結果。失敗樣本不會被當作單一孤例，而是結合驗證器反饋、Agent行為與失敗間的因果關係，將可複用的失敗模式分類聚合。例如「缺少最終產物」「重複執行無效命令」「工具報錯後無法恢復」「探索過久卻遲遲不進入實現」等，這些都可能是Harness的潛在缺陷。第二步「修改提案」，同一個模型會切換成提案者角色，針對已發掘的失敗機制，提出有邊界的Harness編輯建議。這些編輯只能落在預先宣告的可改動表面上，不能推翻整個Agent控制架構。

每個提案必須說明想改變哪種行為、可能帶來哪些回歸風險，以及為什麼有機會修復當前的失敗模式。第三步「回歸驗證」是決定是否採納的關鍵。候選的Harness會在同一評測協定下重新運行，並與當前Harness的表現進行比較。接受規則相當保守：至少要在held-in或held-out其中一個資料分群上表現提升，而另一個分群不能退化，才會進入下一代Harness。這種設計讓Self-Harness與一般「自動改prompt」的做法不同——它不讓模型憑感覺決定，而是把每一次改動都放進可記錄、可復現、可回退的評測閉環裡。論文在Terminal-Bench-2.0上進行了系統性評測。

Terminal-Bench-2.0是一個多輪智能體測試平台，任務運行在容器化終端環境中，涵蓋檔案管理、命令執行、錯誤恢復、產物驗證等真實工具使用能力。實驗中，底層模型、工具集合、任務環境與評測配置全部固定，只有Harness可以被Self-Harness修改。結果顯示三個模型都獲得顯著提升：MiniMax M2.5總提升28%，Qwen3.5-35B-A3B總提升高達104%，GLM-5總提升24%。這組數據的關鍵意義在於，同一顆模型引擎不變，光是改寫外層的Harness就能讓效能翻倍。更重要的是，每一次候選修改都經過held-in與held-out的雙重回歸測試把關。

Self-Harness不是單純疊加更長的提示詞，而是在一次次驗證門控後，只保留那些真正帶來效益、又沒有明顯回退的編輯項目。以Qwen3.5為例，其Self-Harness進化路線中可以看到多輪驗證門控篩選出的有效編輯，集中在依賴預檢查、產物恢復與重試約束等程式碼層級改動。Self-Harness的另一個觀察點，是不同模型其實暴露出截然不同的弱點。MiniMax M2.5在初始Harness下有時會持續探索數據集，即使已經找到關鍵元資訊，也遲遲不建立評測所需的答案檔案，最終因缺少產物或超時而失敗。

Self-Harness保留下來的修改會鼓勵Agent更早識別必需輸出，先建立初始產物，並在工具呼叫過長時轉向具體實現與驗證。Qwen3.5-35B-A3B的常見問題則是工具失敗後陷入重複編輯、重複覆蓋或重複命令的循環，甚至在某個停止點前刪除評測必需的檔案。Self-Harness為它引進了依賴預檢查、失敗後產物恢復、避免完全相同命令重試，以及由工具錯誤觸發的產物專注提醒。GLM-5暴露出的弱點更集中在shell會話狀態的管理，以及從探索階段切換到實現階段的時機。

改進後的Harness會提醒Agent在修改環境變數、安裝工具或調整路徑後，確認這些變化能跨命令持續生效；當長時間探索卻尚未形成產物時，系統也會推動它轉向實現與測試。這些結果說明Self-Harness並非對所有模型套用同一條通用提示詞，而是會根據每個模型在真實執行軌跡中暴露出的弱點，生成並篩選出專屬適合它的Harness改動。這種「因材施教」的特性，讓它更具實用價值。為什麼這項工作會引起頂尖Agent社區的關注？因為Agent的運作越來越像跑在工具環境中的系統，而非只回答單輪問題的模型。

在這種設定下，模型能力只是其中一塊拼圖，外層的Harness決定它知不知道何時呼叫工具、如何從錯誤中恢復、是否保留正確產物、退出前有沒有做驗證。過去Harness工程比較偏向經驗活，Self-Harness則提供了一個方向：讓模型自己參與這套經驗的挖掘與改寫，但最終仍由評測而非模型自評來決定是否採納。它沒有證明「Agent可以完全自己進化」，也沒有繞過基準測試的範圍——論文的結果主要來自Terminal-Bench-2.0與固定模型後端——但作為一個自進化Agent的組件，它給出了相當清楚的邊界：改什麼、怎麼改、怎麼驗證、什麼時候拒絕。

該研究由上海人工智能實驗室團隊完成，論文題為〈Self-Harness: Harnesses That Improve Themselves〉，相關論文與專案程式碼已對外公開，讀者可以進一步查看詳細的實驗設定、Harness編輯內容以及原始碼實現。