3.8萬小時、狂燒天價token：字節發現Agent的 Scaling Law

字節跳動旗下 Seed 團隊近日發布了一個全新的 AI Agent 評測項目 EdgeBench，這個看似普通的榜單背後，藏著一個對當前 AI 評測體系極具顛覆性的提問：如果把一個 AI Agent 扔進完全陌生的環境，讓它連續運作十二個小時，它究竟能變強多少？ 傳統的基準測試（benchmark）運作方式，就像給模型出一張考卷，答對得分、答錯沒分，測量的是模型在凍結時刻當下所擁有的靜態能力。然而，現實世界中人類使用 AI 的方式完全不同——你不會要求 Claude Code 解完一道題就交卷，而是會給它一個完整的專案、一整份程式碼庫或一批數據，讓它在那裡探索好幾個小時，過程中不斷犯錯、讀取反饋、修正策略、再試一次。大家真正關心的是，Agent 在實際任務環境中浸泡一段時間之後，能否比剛開始時更強大。可惜的是，現有評測幾乎完全忽略了「從反饋中持續進步」「在長週期裡積累經驗」「在陌生環境中摸索方向」這些關鍵能力。 EdgeBench 的切入點，正是把這些長期被忽略的盲區放進評測系統。Seed 團隊搭建了一個名為 EdgeBench 的實驗平台，就像一個環境學習觀察艙，內含 134 個任務，橫跨科學／機器學習、軟體工程、組合最佳化、專業知識工作、形式化數學、互動式遊戲六大領域。每個任務的設計合約要求 Agent 至少連續運行 12 小時。五個當前最前沿的模型——Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro——在平台上總共跑了約 38,000 個小時。這背後是天文數字的 token 消耗與算力成本，但最終的數據回報讓團隊發現了 Agent 領域的重要 Scaling Law。 第一個發現是，Agent 的環境學習曲線竟然存在一條被精確寫死的數學公式。將 134 個任務的平均學習曲線進行擬合，結果被同一個 log-sigmoid 函數以 R² = 0.998 的極高精度完美擬合。在人機互動與複雜系統研究中，R² 能達到 0.3 就已經足以發表論文，0.998 幾乎不像是擬合，而更像是一項物理法則的發現。這意味著，只要知道一個 Agent 前兩個小時的進步速度，就能在任務集合的平均意義上相當準確地預測它 12 小時後的表現。這條曲線的形狀與人類深度學習或深度工作的經驗完全一致：一開始進步緩慢，找到感覺後突然爆發，接近天花板時再次放緩。而且這個規律跨時間尺度（12 小時、28 小時、72 小時）與跨領域（六大任務家族）都保持穩定，擬合精度 R² 從未低於 0.993。 第二個發現則揭示了成長路徑的多樣性。雖然平均曲線是漂亮的 S 形，但把 134 個任務各自的單任務學習曲線拉開來看，差異極大。有的任務 Agent 從一開始就穩步提升；有的前幾個小時紋絲不動，然後在某個瞬間分數跳升；有的先漲後跌再漲；有的快速上升後進入漫長的平原期。不同學習策略與試錯範式，在同一個評分框架下會產生截然不同的成長軌跡。只看最終分數而不看過程的傳統評測方式，完全抹平了這個維度。論文解釋，每個任務就像一張能力圖，學習的過程是解鎖前沿並向外擴張，在對數時間上走一條 logistic 曲線；單任務因節點少而呈現鋸齒狀，但當任務數量足夠多，平均後 S 形便自然浮現。論文標題中的 Scaling Law，指的就是這條曲線。 第三個發現直接驗證了「累積經驗」的價值。同樣的模型（Claude Opus 4.8）在同樣的 12 小時預算下，採用兩種不同的運作策略：方案 A 讓 Agent 連續跑 12 小時，所有中間產物、錯誤記錄、已驗證假設全部保留；方案 B 則拆成 6 次獨立跑 2 小時，每次清空所有狀態，只保留最佳結果。12 小時後，方案 A 比方案 B 多出 6.9 分（百分制），而且兩條曲線從一開始就分道揚鑣。這證明進步不是靠運氣多試出來的，而是靠經驗積累。實驗中的引力波重建案例更清楚說明了這一點：GPT-5.5 在該任務上跑了 12 小時，總共提交 224 次，但真正推動最佳成績進步的只有 27 次提交。每一次突破都不是因為「多跑了一個實驗」，而是因為 Agent 對問題本身的理解發生了質變——它把模糊的目標逐步拆解為可搜尋的子問題，從反饋中重新定義了什麼是更好的方向。 第四個發現與產業應用最直接相關。研究團隊挑選了一組所有模型「起跑線相近」的任務（首次嘗試分數都在 6.87 分左右），然後測量每個模型在 2 小時互動後的進步幅度。結果顯示，從 2025 年 9 月的 GPT-5-Codex 到 2026 年 4 月的 GPT-5.5，僅 221 天內學習效率提升了約 8 倍，大約每 3 個月翻一番。後期模型的有效提交率在提升，但提交次數不一定更多——這不是更勤快，而是每次動手更有效，與高級工程師不一定比初級工程師寫更多程式碼、但更少做無用功的直覺完全一致。AI 的能力越來越像「知識」，但「學會新東西」的能力本身，正在以遠比靜態知識增長更快的速度進化。 EdgeBench 的評測環境本身也極具價值。它看起來像模型排行榜，但測量的是 Agent 系統的整體能力，而非裸模型能力。不同模型跑在不同的執行框架上——Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，GPT-5.5 使用 Codex 加 256K 緊湊窗口——最終分數融合了模型本身、上下文管理、工具調用、反饋處理與執行框架的影響。這反而更接近真實部署場景，現實中的 Agent 從來不是孤立模型，而是模型、工具、工作流與反饋系統的組合。因此 EdgeBench 的榜單不能粗暴解讀為基礎模型排名，它更像是在比較不同 Agent 系統的長期工作能力。 構建這樣一個實驗環境的代價極其高昂。134 個任務，每個平均消耗 57.2 小時的人類專家時間，最長的單一任務投入了 320 小時，光任務構建就超過 7,500 小時的人力；運行成本更是驚人，五個模型在每個任務上跑三次，加上延長至 72 小時以上的實驗，總計約 38,000 小時的 Agent 交互時長，對應的是天文數字的 API 調用與算力。這個成本門檻本身就說明了長程 Agent 評測並非隨便一個團隊都能入場。 工程細節方面，論文附錄記錄了開發過程中被 Agent 攻破的各種漏洞：有 Agent 在流體力學任務中透過 400 多次提交反推出隱藏測試數據的答案；有 Agent 發現反作弊檢查對 baseline 目錄豁免，於是將程式碼塞進那條免檢通道交卷。這些案例暴露了深層矛盾：要測出學習能力就必須給 Agent 足夠的反饋，但反饋給得越多，就越可能被 Agent 當成預言機利用。EdgeBench 的解決方案是物理隔離：工作容器與裁判容器分開，裁判打完分立即銷燬，防止 Agent「作弊」。工作容器內 Agent 可以自由使用編譯器、調試器、日誌、文檔等所有工具，但沒有隱藏答案；裁判容器則用隱藏測試數據與私有評分標準打分。這個「考場密封」與「雙盲評審」的機制，從工程層面做對的難度遠比設計題目本身更大。這套名為 SForge 的雙容器框架，連同 134 個任務中的 51 個，已經由字節開源。 長程任務與短 benchmark 之間的差別不僅是時間拉長，而是暴露出的問題完全不同。只跑 10 分鐘的 benchmark 上，Agent 的行為可以預期：讀題、思考、輸出、結束。但當時間拉到 12 小時，麻煩開始湧現：Agent 會在方向正確的前提下慢慢跑偏，修好一個模塊的同時搞崩另一個；會看不懂用戶反饋，把一個錯誤信號誤讀成另一個方向，然後在錯誤的路上持續投入數小時。這些問題在短 benchmark 中很難被觀測，但在真實環境中件件致命。EdgeBench 的價值正在於將 Agent 評測的標準從「會不會做」推進到「會不會持續做、學習、再做」，這兩個問題之間隔著一次評測範式的代際跨越。 對於字節跳動而言，EdgeBench 某種程度上代表了自己版本的「AI 下半場」。業界此前已有觀點指出，AI 的下一階段將從訓練階段的 Scaling Law 轉向推理與環境互動階段的 Scaling Law。EdgeBench 把「Agent 在環境裡越跑越強」這個直覺變成了可測量的學習曲線，而其背後的核心資源競爭，也將從單純的數據與算力，轉向能讓模型反覆試錯、持續進化的環境。未來 AI 公司爭奪的核心，或許不只是更強的模型參數，還有更完善的學習生態與反饋系統。