OpenAI 挑戰 AI 評測基準 SWE-Bench Pro:約 30% 存在評測缺陷

重點摘要
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro:約 30% 存在評測缺陷 2026/7/9 15:44:27 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 9 日消息,OpenAI 昨日(7 月 8 日)發佈博文,挑戰行業權威評測基準 SWE-Bench Pro,認為在 731 個公開測試任務中,約 30% 存在評測缺陷。
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro:約 30% 存在評測缺陷 2026/7/9 15:44:27 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 9 日消息,OpenAI 昨日(7 月 8 日)發佈博文,挑戰行業權威評測基準 SWE-Bench Pro,認為在 731 個公開測試任務中,約 30% 存在評測缺陷。IT之家注:SWE-Bench Pro 是由 Scale AI 推出的大語言模型與 AI 智能體編程能力評測基準,因高度貼近實際企業級開發且具備極高的防作弊標準,現已成為 AI 軟件工程領域的行業權威基準。
OpenAI 在博文中指出,在 731 個公開測試任務中,前沿模型在 8 個月內通過率從 23.3%,認為該基準已無法有效評估模型的軟件開發能力。OpenAI 介紹稱,其數據點分析流程標記出 200 個失效任務,佔全部 731 個公開任務的 27.4%;並行開展的人工標註活動識別出 249 個失效任務,佔 34.基於上述兩條審查路徑,OpenAI 預估 WE-Bench Pro 約 30% 的任務存在缺陷。在問題類型方面,OpenAI 將其劃分為 4 類:測試過嚴,把題面未寫明的實現方式也列為硬性要求提示不充分,隱藏測試執行未寫明、且無法合理推斷的要求測試範圍過窄,不完整修復也可能通過。
提示具有誤導性,指向與測試要求不一致的行為OpenAI 還披露一個典型問題,題面要求把內容轉為 Markdown 時,行首加入 1 個空格,但隱藏測試卻要求 2 個空格,導致模型按說明編寫代碼仍被判錯。
Related
相關文章

曝字節訓10億參數大模型,或超Mythos 5,張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型,規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位,並反對模型蒸餾,認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入,同時在產品端與訓練端採取雙線進攻策略。

AI 需求擠爆雲計算,消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺,亞馬遜AWS要求工程師關閉閒置的EC2實例,以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%,AWS因此升級計算優化器自動標記低使用率虛擬機。此外,AWS過去一年新增3.8吉瓦電力容量,仍難以應對GPU雲端實例的龐大需求。
使用 NVIDIA NeMo Retriever、託管 NIM、LanceDB、重新排序與基於事實生成建立多模態 RAG 管線
在本教學中,我們將使用 NVIDIA NeMo Retriever 建立一個先進的多模態檢索增強生成管線。首先設定 Python 3.12 環境、安裝必要套件,並在無需 GPU 或外部 API 金鑰的情況下進行離線 PDF 文字提取。接著,我們透過託管的 NVIDIA NIM 端點來偵測頁面元素、提取表格、圖表與資訊圖形、產生稠密向量嵌入,並將處理後的內容儲存至 LanceDB。最後,我們實作了稠密檢索、視覺語言重新排序、後設資料過濾搜尋、附行內引用的基於事實回應生成,以及輕量級的 recall-at-k 評估,以驗證跨多模態文件內容的檢索品質。
NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架
NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌
六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

DeepSeek重啟融資,三年市值對齊騰訊?
DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。