OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷
重點摘要
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷 2026/7/9 15:44:27 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 9 日消息，OpenAI 昨日（7 月 8 日）發佈博文，挑戰行業權威評測基準 SWE-Bench Pro，認為在 731 個公開測試任務中，約 30% 存在評測缺陷。
首頁 > 智能時代>人工智能 OpenAI 挑戰 AI 評測基準 SWE-Bench Pro：約 30% 存在評測缺陷 2026/7/9 15:44:27 來源：IT之家 作者：故淵 責編：故淵 評論： IT之家 7 月 9 日消息，OpenAI 昨日（7 月 8 日）發佈博文，挑戰行業權威評測基準 SWE-Bench Pro，認為在 731 個公開測試任務中，約 30% 存在評測缺陷。IT之家注：SWE-Bench Pro 是由 Scale AI 推出的大語言模型與 AI 智能體編程能力評測基準，因高度貼近實際企業級開發且具備極高的防作弊標準，現已成為 AI 軟件工程領域的行業權威基準。
OpenAI 在博文中指出，在 731 個公開測試任務中，前沿模型在 8 個月內通過率從 23.3%，認為該基準已無法有效評估模型的軟件開發能力。OpenAI 介紹稱，其數據點分析流程標記出 200 個失效任務，佔全部 731 個公開任務的 27.4%；並行開展的人工標註活動識別出 249 個失效任務，佔 34.基於上述兩條審查路徑，OpenAI 預估 WE-Bench Pro 約 30% 的任務存在缺陷。在問題類型方面，OpenAI 將其劃分為 4 類：測試過嚴，把題面未寫明的實現方式也列為硬性要求提示不充分，隱藏測試執行未寫明、且無法合理推斷的要求測試範圍過窄，不完整修復也可能通過。
提示具有誤導性，指向與測試要求不一致的行為OpenAI 還披露一個典型問題，題面要求把內容轉為 Markdown 時，行首加入 1 個空格，但隱藏測試卻要求 2 個空格，導致模型按說明編寫代碼仍被判錯。
Related
相關文章
曝字節訓10億參數大模型，或超Mythos 5，張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型，規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位，並反對模型蒸餾，認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入，同時在產品端與訓練端採取雙線進攻策略。
AI 需求擠爆雲計算，消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺，亞馬遜AWS要求工程師關閉閒置的EC2實例，以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%，AWS因此升級計算優化器自動標記低使用率虛擬機。此外，AWS過去一年新增3.8吉瓦電力容量，仍難以應對GPU雲端實例的龐大需求。
六巨頭定AI插件新標準，撞臉Claude，Anthropic沒上桌
六大科技巨頭（AWS、Anysphere、GitHub、微軟、OpenAI、Vercel）聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0，旨在統一插件打包格式，減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似，但Anthropic並未參與制定，而是繼續經營自己的封閉生態。
DeepSeek重啟融資，三年市值對齊騰訊？
DeepSeek重啟第二輪融資，以5000億元人民幣估值尋求籌集80億美元，但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑，後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價，可能打破其以低價換規模的估值邏輯，面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商，以及三年內市值能否對齊騰訊等巨頭。
可靈AI核心技術骨幹王鑫濤被曝離職
快手可靈AI核心技術骨幹王鑫濤被曝離職，去向未知，快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者，被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段，可能影響研發進度與競爭優勢。
AI短劇、漫劇、戀綜、電影、藝人都有了，AI觀眾也不遠了
2026年AI影視內容全面爆發，從短劇、長劇到電影、綜藝，AI製作的作品大量湧現，衛視也開始播出AI短劇。AI演員如方桃子迅速走紅，商業變現能力驚人，廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元，用戶超過6億，但同時也引發了對真人演員就業和內容品質的擔憂。