OpenAI炮轟AI評測"標杆"： 731 道題近三成有缺陷， 8 個月通過率從23%飆到80%已失靈

OpenAI 近日發布一篇長文，公開槓上目前業界備受推崇的 AI 程式碼評測基準 SWE-Bench Pro，直指該評測系統中近三成的測試任務存在缺陷，導致模型通過率在短短 8 個月內從 23% 暴衝至 80%，這樣的「進步速度」明顯異常，已無法真實反映模型的軟體開發能力。SWE-Bench Pro 是由 Scale AI 所推出的評測工具，專門用來評估大型語言模型與 AI 智能體在軟體工程領域的實戰表現。由於其測試題目高度貼近企業級開發場景，加上設計了嚴格的防作弊機制，這套基準很快就被業界視為衡量 AI 程式能力的「標杆」，許多公司與研究團隊都以此為依據來宣傳自家模型的進步幅度。

然而，OpenAI 此次的質疑，無異於對這項權威標準投下一枚震撼彈。OpenAI 在博文中指出，他們觀察到一個極不尋常的趨勢：前沿模型在 SWE-Bench Pro 上的通過率，從去年某個時間點到今年，只花了 8 個月就從 23% 躍升至 80%。這樣的跳躍幅度遠超過模型本身技術演進的合理速度，因此他們懷疑問題並非出自模型能力的飛躍，而是評測基準本身出現了系統性的缺陷。為了驗證這個判斷，OpenAI 啟動了兩條並行的審查路徑。第一條是數據點分析流程，透過自動化的方式標記出 200 個失效任務，佔全部 731 個公開任務的 27.4%。

第二條則是人工標註活動，由審查人員逐一檢視後，識別出 249 個失效任務，佔比約 34%。兩條路徑的結果雖然略有差異，但交叉比對後，OpenAI 推估 SWE-Bench Pro 約有 30% 的任務存在不同程度的缺陷。這些缺陷主要被歸納為四大類：測試標準過於嚴苛、提示資訊不充分、測試範圍過窄，以及提示內容具有誤導性。OpenAI 進一步透露了一個具體案例來說明問題的嚴重性。在某個測試題目中，任務要求是將內容轉換為 Markdown 格式，並需要在行首加入 1 個空格；但隱藏的測試腳本卻要求 2 個空格。這種前後不一致的設計，導致模型即使正確理解了任務，也會因為測試規則的內部矛盾而被判為失敗。

這樣的問題如果只是零星出現，或許還能被當作個案處理，但 OpenAI 的調查顯示，這類缺陷在全部 731 道題目中佔比高達三成，已經嚴重影響了評測結果的可信度。OpenAI 認為，當一個評測基準有如此高比例的題目存在錯誤，那麼用它來比較不同模型的能力，根本就是在比誰更會「通靈」測試者的隱藏規則，而不是誰真正具備軟體開發實力。值得留意的是，Scale AI 的 SWE-Bench Pro 之所以被業界視為「權威」，正是因為它號稱擁有極高的防作弊標準與真實的企業級場景。

如今 OpenAI 的公開挑戰，無疑會讓許多依賴這項基準發表論文或宣傳產品的團隊感到尷尬，也將引發外界對 AI 評測體系整體可靠性的討論。事實上，這並非第一次有大型 AI 公司對現有評測基準提出質疑。先前已有研究指出，許多廣泛使用的基準測試題目會隨著時間被模型「記住」，導致通過率虛胖。而 OpenAI 此次的論點更為尖銳：他們認為 SWE-Bench Pro 的問題不僅是題目被記憶，更在於測試本身的設計漏洞，使得模型即使沒有真正學會解決問題，也能透過取巧方式獲得高分。

OpenAI 在博文中並未直接點名任何競爭對手，但業界普遍認為，這份批評可能與近期多家 AI 公司頻繁宣稱自家模型在 SWE-Bench Pro 上創下新高紀錄有關。例如，有初創公司曾公布其模型在該基準上達到超過 70% 的通過率，並以此作為募資與行銷的利器。如今這些數字被質疑可能來自評測漏洞，而非真實能力提升。截至發稿為止，Scale AI 尚未對 OpenAI 的公開指責做出正式回應。但可以預見的是，這場圍繞 AI 評測基準的爭論才剛剛開始，未來可能會有更多第三方機構介入，重新審視 SWE-Bench Pro 的題目設計與評分規則。

對於整個 AI 軟體工程領域而言，這起事件也提醒業界：任何評測工具都可能有其盲點，過度依賴單一基準來判斷模型優劣，反而可能誤導研發方向。