大模型的進步，為什麼越來越難衡量了？

深流研究所2026.09.17 08:28 · 來自北京全文4865字00:00 / 14:21模型評測正在成為一種競爭力。文 | 深流研究所，作者 | 吳絳楓近期，數學家陶哲軒在個人博客上發佈了一封罕見的公開信。共同簽署的還有彼得·舒爾策、鄧煜、許埈珥等另外 24 位菲爾茲獎得主。數學家們承認，大模型在最近幾個月取得明顯進步，已經解決多個數學領域的重要問題。緊接著，他們卻發出警告：AI 公司把數學難題當成衡量模型能力的基準，正在傷害數學研究本身。陶哲軒說，這份聲明來自 25 位數學家在一週內的密集討論。通常，這類學術倡議需要幾個月協調。此次倉促發表，恰恰說明情況已經足夠緊迫。

這封公開信從數學研究出發，指向的卻是大模型發展的一個關鍵問題：當榜單分數無法體現模型能力，智能究竟該如何被衡量？傳統評測為什麼失效了？2026 年初，OpenAI 的評測人員把 GPT-5.2 放進一箇舊版本的開源代碼倉庫，讓它修復其中的程序錯誤。這道測試來自 SWE-bench Verified。OpenAI 遇到的這道題有些特殊。要通過測試，模型必須在代碼中加入一個特定名稱的參數。問題描述沒有寫出參數名，當時的代碼也沒有提供足夠線索。按照題目設計，模型幾乎不可能猜中。GPT-5.2 卻在推理過程中提到：題目雖然沒有要求使用這個參數名，但它“記得”倉庫後來的版本加入過類似參數，可以嘗試補上。

就這樣，模型通過了測試。評測人員很快意識到問題：在題目設定的時間點，那段代碼尚未出現。GPT-5.2 看起來在修復程序錯誤，可能只是從訓練數據中回想起後來公開的修復代碼。為了確認這種懷疑，OpenAI 使用專門負責審查的 AI，追問被測模型是否見過這道題、能否復現原始修復代碼，以及是否知道題目出處。最終，研究人員在 OpenAI 自家模型以及 Claude、Gemini Flash 等前沿模型中，都發現了不同程度的記憶痕跡。個別模型甚至能說出題目在評測集中的編號。這種情況通常被稱為“基準汙染”：考題、答案或高度相似的材料進入了模型的訓練數據。

最終分數衡量的，就不只是解題能力，還有模型對已有答案的記憶。汙染之外，部分題目本身也有問題。OpenAI 曾審計 SWE-bench Verified 中 138 道模型反覆失敗的難題，發現其中 59.4% 存在實質性紕漏。一部分用於判分、但不向模型公開的測試，檢查了題目從未要求的功能；另一部分則只認原始修復代碼的具體寫法，其他合理的實現也可能被判錯。2 月 23 日，OpenAI 宣佈停止報告 SWE-bench Verified 成績。這是一個頗具象徵性的決定。SWE-bench Verified 曾由 OpenAI 參與篩選和驗證，一度被視為衡量 AI 編程能力的黃金標準。

如今，它提供的分數已很難對應模型真實的編程水平。智能體的出現，讓評測進一步變難。過去，大模型主要在靜態界面中回答問題。現在，智能體可以瀏覽網頁、調用工具、執行代碼、檢查環境，甚至分析自己為什麼會收到這道題。Anthropic 評估 Claude Opus 4.6 時，曾讓它參加 BrowseComp。這個評測要求智能體使用瀏覽器，尋找極難檢索的信息。在一道題上，Claude 跨越 12 種語言進行了數百次搜索，始終找不到可靠答案。隨後，它改變了調查方向，開始判斷自己是否正在參加某項 AI 基準。模型先後排查了多套 AI 評測題庫，最終鎖定 BrowseComp。

接著，它找到公開的評測代碼，弄清答案文件的加密方式，並自行編寫了解密程序。瀏覽工具無法讀取原始文件，它又在開發者社區 Hugging Face 找到一份可以讀取的副本，最終解密了全部 1266 道題的答案。評測設計者希望測量網絡調查能力，模型展示的卻是識別並繞過評測機制的能力。這正是智能體評測最棘手的地方。模型越強、工具越多、運行時間越長，越可能找到出題人未曾預料的成功路徑。與此同時，維護優質評測的成本也在迅速上升。Surge AI 工程師 Nick Heiner 在 8 月的一次演講中估算，一套編程智能體評測集大約需要 1000 個任務，每個任務平均投入 60 個工程師小時。

按照軟件工程師每年 50 萬美元的綜合成本計算，初始製作費用接近 1500 萬美元。這 1000 道題也無法成為一次性資產。Heiner 估計，每年約有三分之一需要淘汰和替換，維護費用約為 500 萬美元。優質評測正變成一種昂貴、稀缺、持續折舊的消耗品。數學難題為何面臨“刷榜”危機？公開評測逐漸飽和以後，數學看起來像是一個理想的新賽場。2024 年，Google DeepMind 宣佈，AlphaProof 和 AlphaGeometry 2 解出當年國際奧數的四道題，得到 28 分，達到銀牌水平。“國際奧數銀牌”是一個極具傳播力的指標。

公眾無須理解證明搜索、強化學習和形式化系統，也能迅速判斷模型有多強。一年後，Google 宣佈 Gemini Deep Think 達到國際奧數金牌水平。模型可以直接讀取自然語言題目，並在正式比賽的 4.5 小時時限內解出五題。同期，OpenAI 也公佈了模型在同屆 IMO 試題上的金牌級表現。AI 的數學能力由此形成一條清楚的上升曲線：小學題、AIME、國際奧數銀牌、金牌。沿著這條曲線繼續向上，只剩研究數學科學本身。陶哲軒今年 5 月接受《Nature》採訪時說，AI 公司已經意識到，它們“最不含糊的成功將來自數學”。數學天然適合量化。

解題結果可以由程序核對，形式化證明可交給 Lean 等證明助手逐步驗證。模型能夠並行嘗試大量路線，評分系統也無須理解全部思考過程，只需確認最終證明能否成立。當評測從競賽題進入開放問題，事情的性質隨之改變。開放問題未必都是黎曼猜想這樣的世紀難題。它也可能是一條尚未得到證明的設想：某個對象是否存在，一個界限能否繼續收緊，某類結構能否被完整分類。這類問題有一個共同點：人類還沒有掌握公認答案，也沒有現成標準可供對照。AI 的解題過程已經進入新知識的生產環節。一個結果是否成立，需要領域專家檢查；方法是否新穎，需要梳理大量文獻；成果如何歸屬，還可能牽涉多名研究者多年未公開的積累。

9 月的聯名信中，25 位菲爾茲獎得主把矛頭對準一種正在形成的競賽機制：AI 公司開始用“解決了多少未解問題”衡量模型能力，並按照產品發佈的節奏公佈成果。AI 公司獲得了模型能力的佐證，數學家則要承擔後續的驗證、整理和解釋工作。歸屬問題更加尖銳。大模型訓練過論文、教材、講義、代碼和論壇討論。它給出的“新思路”，可能來自多個既有方法的重新組合，也可能只是重新發現了一篇冷門論文中的結果。形式化工具可以檢查證明是否成立，卻無法判斷想法來自哪裡，也無法自動決定誰應該獲得署名。因此，25 位數學家在聲明中專門提到，匆忙發佈會壓縮嚴謹寫作、方法提煉和文獻核查的時間，由此帶來嚴重的歸屬與剽竊風險。

在數學家看來，一個問題的價值也不止於最終答案。重要問題往往會引導研究者發展新的概念和工具。這些方法經過討論、簡化和教學，最終進入教科書，成為下一代研究的基礎。陶哲軒把高質量數學問題稱為一種“不可再生資源”。真正稀缺的是“好問題”：它足夠困難，又留有可以進入的路徑。一個領域往往要經過多年探索，才會逐漸意識到什麼問題值得提出。普通基準被刷壞，損失的是分數的可信度。數學問題被當成基準消耗，代價可能落在“開放問題”本身，以及圍繞它原本可以生長出來的更多研究上。AI公司該如何衡量模型能力？一個更實際的問題隨之擺在 AI 公司面前：如果沒有一張可以長期使用的統一試卷，模型能力應該如何衡量？

從 OpenAI、Anthropic 和騰訊近期的動作看，一套新的評測體系正在成形——評價貼近真實工作，評測貫穿模型與產品的整個生命週期。第一種變化，是讓評測題目從公開、靜態的清單，轉向部分公開、動態變化的題庫。例如，LiveBench 定期加入來自近期論文、新聞、競賽和數據集的新問題。編程評測也開始採用模型訓練截止日期之後出現的代碼任務，或保留未公開的測試集。OpenAI 推出的 GDPval，則選擇將大部分評測任務保密。這項評測覆蓋軟件開發、法律、金融、醫療等 44 種職業，共有 1320 項任務。模型需要製作訴訟摘要、工程圖紙、護理方案、電子表格和演示文稿等真實工作成果。

1320 項任務中，只有 220 項經過專家審核的標準任務對外公開，其餘繼續保密，以降低模型提前接觸題目、接受針對性訓練的可能。第二種變化，是把評價重心從答題數量移向工作結果。GDPval 不只看模型回答得是否正確，更看它最終交出的文件質量。專業人士會在不知道哪些文件來自 AI、哪些來自人類專家的情況下，對兩者進行比較。Anthropic 對智能體評測的總結也遵循類似邏輯。智能體可能調用數十次工具，修改文件、數據庫和網頁狀態。只檢查最後一段回覆，很容易把失敗誤判為成功。

因此，Anthropic 建議優先檢查 AI 實際完成了什麼：代碼能否通過測試，記錄是否改對，文件是否生成在指定位置，調用工具後是否達到了預期效果。必要時，再結合程序自動檢查、其他模型打分和人工審查。在騰訊，調整評測體系也是姚順雨重建混元的早期重點之一。混元團隊在重建訓練基礎設施的同時，也通過自建題目、人工評測和產品眾測，將評價重心從榜單分數轉向實際能力。8 月 28 日，騰訊發佈並開源 Hy4 preview。除 Terminal-Bench、DeepSWE 等公開基準外，騰訊還組織 163 名內部專家，對 203 項工程任務進行盲測。這些任務來自軟件工程、遊戲、金融和安全等實際場景。

模型需要理解需求，完成規劃、調試和驗證，最終交付代碼、文檔、表格或演示文稿。第三種變化，是把評測嵌入模型與產品的迭代閉環。Anthropic 將評測分為兩類。一類尋找模型還做不好的任務，測試它的能力邊界，稱為“能力評測”；另一類反覆檢查它已經會做的任務，看升級後有沒有退步，稱為“迴歸評測”。Claude Code 的評測也經歷了類似過程。早期，團隊主要依靠內部試用和用戶反饋快速迭代。隨著產品規模擴大，Anthropic 逐步為文件編輯準確性、回答簡潔度等具體行為建立自動測試，並把線上出現的失敗方式重新加入評測集。模型上線後暴露的問題，由此迴流到評測體系，繼續推動下一輪優化。

騰訊把模型訓練與產品共同開發的思路稱為“Co-design”，即協同設計。Hy4 preview 接入 WorkBuddy 後，用戶發現它在複雜任務中存在思考時間過長、反覆自我驗證等問題。9 月 7 日，騰訊混元與 WorkBuddy 團隊完成針對 Hy4 preview 的專項優化，同時使用基準指標和人工評測檢查效果。騰訊稱，在任務質量保持穩定的情況下，新版本減少了執行輪次，以及輸入、輸出 token 的消耗。由此，行業正在形成三條共同路線：用新題和非公開題降低汙染，用真實工作成果替代抽象問答，把產品中的失敗持續轉化為評測任務。評測正在成為 AI 公司的一項基礎設施。

高質量任務需要長期積累，專業人員需要持續參與，線上出現的新問題還要不斷迴流。一套能夠準確發現問題的評測體系，依賴組織內部對用戶、產品和模型的共同理解。模型能力持續提升，對模型能力的評測也將成為競爭力的一部分。