OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷
重點摘要
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷 2026/7/9 15:44:27 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 9 日消息，OpenAI 昨日（7 月 8 日）發佈博文，挑戰行業權威評測基準 SWE-Bench Pro，認為在 731 個公開測試任務中，約 30% 存在評測缺陷。
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷 2026/7/9 15:44:27 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 9 日消息，OpenAI 昨日（7 月 8 日）發佈博文，挑戰行業權威評測基準 SWE-Bench Pro，認為在 731 個公開測試任務中，約 30% 存在評測缺陷。 IT之家注：SWE-Bench Pro 是由 Scale AI 推出的大語言模型與 AI 智能體編程能力評測基準，因高度貼近實際企業級開發且具備極高的防作弊標準，現已成為 AI 軟件工程領域的行業權威基準。 OpenAI 在博文中指出，在 731 個公開測試任務中，前沿模型在 8 個月內通過率從 23. 3%，認為該基準已無法有效評估模型的軟件開發能力。 OpenAI 介紹稱，其數據點分析流程標記出 200 個失效任務，佔全部 731 個公開任務的 27. 4%；並行開展的人工標註活動識別出 249 個失效任務，佔 34. 基於上述兩條審查路徑，OpenAI 預估 WE-Bench Pro 約 30% 的任務存在缺陷。 在問題類型方面，OpenAI 將其劃分為 4 類：測試過嚴，把題面未寫明的實現方式也列為硬性要求提示不充分，隱藏測試執行未寫明、且無法合理推斷的要求測試範圍過窄，不完整修復也可能通過。 提示具有誤導性，指向與測試要求不一致的行為OpenAI 還披露一個典型問題，題面要求把內容轉為 Markdown 時，行首加入 1 個空格，但隱藏測試卻要求 2 個空格，導致模型按說明編寫代碼仍被判錯。
Related
相關文章
史上最高調的AI重寫：Claude花11天搞定Bun，創始人花一個月才敢交底
這篇消息聚焦「史上最高調的AI重寫：Claude花11天搞定Bun，創始人花一個月才敢交底」。目前站內已移除先前混入的模型思考或安全判斷文字，並保留來源可確認的主題供讀者追蹤。
智算中心的20%利用率困局怎麼破？潤建股份Token（詞元）工廠給出了新解法
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機。
全球首個面向具身智能的視頻基模，螞蟻靈波 LingBot-Video 開源
首頁 > 智能時代>人工智能 全球首個面向具身智能的視頻基模，螞蟻靈波 LingBot-Video 開源 2026/7/9 15:06:00 來源：IT之家 作者：遠洋 責編：遠洋 評論： IT之家 7 月 9 日消息，今天，螞蟻靈波科技正式開源 LingBot-Video。這是全球首個基於 Mixture-of-Experts（MoE）架構、面向具身智能的開源視頻生成基礎模型。
網絡博主發佈 AI 颱風預報涉嫌違法：可能會引起社會的誤解甚至恐慌
首頁 > 智能時代>人工智能 網絡博主發佈 AI 颱風預報涉嫌違法：可能會引起社會的誤解甚至恐慌 2026/7/9 14:59:06 來源：IT之家 作者：浩渺 責編：浩渺 評論： IT之家 7 月 9 日消息，據央視總檯今日報道，中央氣象臺預計，今年第 9 號颱風“巴威”或將強勢來襲，直奔我國東南沿海。目前，颱風路徑仍有很大不確定性，但一些網絡博主卻已藉助氣象大模型，在社交平臺自行發佈颱風路徑預測以及降雨預測。
官方支招教你省 Token：兩種 AI 方案讓 Claude Fable 5 和 Sonnet 5 搭配幹活
首頁 > 智能時代>人工智能 官方支招教你省 Token：兩種 AI 方案讓 Claude Fable 5 和 Sonnet 5 搭配幹活 2026/7/9 14:56:55 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 9 日消息，Anthropic 旗下 Claude 開發團隊賬號 @ClaudeDevs 昨日（7 月 8 日）在 X。
GPT-6要來了，OpenAI徹底拋棄4T舊底座
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作GPT-6要來了，OpenAI徹底拋棄4T舊底座新智元·2026年07月09日 12:49「三箭齊發」：Sol、Terra、Luna 到底有多強？ OpenAI緊急提檔GPT-6，徹底拋棄4T舊底座？而且，GPT-5.6正式解禁，週四就要上線！Sol、Terra、Luna三款模型全面開放，編碼、科研、日常任務全覆蓋。已經有早期測試者狂贊Sol模型「永不放棄」，現在，全體開發者已經在摩拳擦掌了。 就在剛剛，一條消息瞬間傳遍圈內。 GPT-6的發佈時間大幅提前，最快將於本月內正式空降！ 如果爆料屬實，就意味著GPT-5.x系列將以GPT-5.6收官，成為絕唱。 據悉，這次OpenAI做出了一個極具魄力的決定——徹底拋棄之前約4T參數量的「Spud」舊底座，轉而押注規模更龐大的全新預訓練底座。 顯然，OpenAI的意圖非常直接：用這個全新底座，正面硬剛Anthropic即將在幾周內發佈的Fable 5.1。 而且就在昨天下午，好消息傳來：GPT-5.6全面解禁！週四見！ 昨天中午，Axios獨家爆出猛料：官方已正式解除對 OpenAI 的 GPT-5.6 訪問限制。 緊接著，OpenAI在X上官宣：旗艦模型 GPT-5.