學術界重塑智能體基準
重點摘要
近年來，大型語言模型（LLM）驅動的智能體在各類基準測試中頻頻創下佳績，但學術界開始質疑這些排行榜上的數字能否真正反映模型的真實能力。一份由 Wael Albayaydh、Rui Zhao 與 Ivan Flechais 共同發表的研究，整合了 2023 年至 2026 年間共 27 篇相關論文，橫跨 19 個不同的基準測試，提出了一套涵蓋工具使用、規劃、長時域推理、多智能體協調、安全性與測量效度等面向的統一失敗分類架構。這項工作被視為學術界重新定義智能體評估標準的重要里程碑。
近年來，大型語言模型（LLM）驅動的智能體在各類基準測試中頻頻創下佳績，但學術界開始質疑這些排行榜上的數字能否真正反映模型的真實能力。一份由 Wael Albayaydh、Rui Zhao 與 Ivan Flechais 共同發表的研究，整合了 2023 年至 2026 年間共 27 篇相關論文，橫跨 19 個不同的基準測試，提出了一套涵蓋工具使用、規劃、長時域推理、多智能體協調、安全性與測量效度等面向的統一失敗分類架構。這項工作被視為學術界重新定義智能體評估標準的重要里程碑。 研究團隊指出，現有的基準測試往往只呈現亮眼的整體成績，卻忽略了智能體在實際運作中反覆出現的系統性缺陷。透過統合分析，他們將這些反覆被報導的錯誤歸納為六大失敗群集，涵蓋從推理到行動的各個環節。這是目前首次有研究將分散在不同評估領域的證據整合成單一分類體系，具有高度的前瞻性與實用價值。 第一個失敗群集集中在工具調用與參數層級的錯誤。智能體在呼叫外部工具或 API 時，經常出現參數格式錯誤、函式名稱誤判、輸入類型不符等問題。即便模型在單輪對話中能正確理解工具用途，一旦進入多步驟流程，這類低階錯誤便開始頻繁出現，直接導致後續任務中斷或輸出異常。 第二個群集涉及規劃與約束滿足的失敗。智能體在面對需要滿足多重限制的任務時，往往無法兼顧所有條件，容易在局部最佳化中迷失整體目標。尤其是當任務包含時間順序、資源分配或邏輯相依性時，模型規劃的穩定性顯著下降，經常產出不可執行的步驟序列。 第三個群集聚焦於長時域推理中的退化現象。隨著任務長度增加，智能體依賴的上下文累積了大量資訊，導致注意力分散、早期關鍵資訊被稀釋，進而影響後續決策品質。研究發現失敗率與任務長度呈非線性增長，並非單純的記憶衰減，而是資訊結構複雜化所引發的連鎖效應。 第四個群集探討多智能體協調的失敗。當多個 LLM 智能體需要協作完成共同目標時，它們在角色分配、訊息同步與任務交接上容易出現失誤。缺乏有效的共享心智模型，使得代理之間的行動互相干擾，甚至產生衝突，整體效率無法隨著智能體數量線性提升。 第五個群集關注安全性與對抗性環境下的失敗。在未經充分規範或受到對抗攻擊的場景中，智能體可能執行危險指令、洩漏敏感資訊，或繞過原本設定的安全限制。研究指出，即便模型在一般情況下表現穩健，微小的提示操縱就能讓其偏離預期行為，暴露出深層的魯棒性問題。 第六個群集則對測量效度本身提出挑戰。許多基準測試的評分方式存在偏差或過度簡化，例如僅計算最終結果的成功率，卻忽略中間過程的質量與安全性；或是測試案例數量不足，導致統計顯著性低落。這些測量缺陷使得模型之間的比較缺乏可信度，也難以預測真實場域中的表現。 除了歸納失敗類型，研究還揭露了三項關鍵發現。首先，智能體的失敗會隨著任務長度以非線性方式疊加，短任務中各自獨立的微小錯誤，在長任務中會相互放大，導致端到端成功率急遽下降。其次，智能體在個別子任務上展現出高水準表現，並不等於能夠順利串聯成完整的成功流程；子任務的強項無法可靠地轉化為整體任務的完成。最後，研究發現增加額外的提示腳本或流程框架，並未一致性地提升可靠性，有時甚至引入新的偏誤。 不過，報告也指出在某些具體領域已見到顯著進展。例如在單輪工具使用、短時域網頁導航以及範圍狹窄的程式碼生成任務中，當代 LLM 智能體的表現已相當可靠。這意味著當前模型的瓶頸並非基礎能力不足，而是如何在複雜、開放且動態的真實環境中維持一致性與穩健性。 這份研究不僅對學術界提出警訊，也為業界提供了評估與改善智能體系統的具體方向。未來基準測試的設計應更注重任務的長度、複雜度與測量效度，並將六類失敗群集納入檢核清單，才能產出真正反映模型實力的評估結果。隨著智能體逐漸從實驗室走向實際應用，建立更全面的評估框架，已成為下一階段 AI 發展的關鍵課題。
Related
相關文章
GPT-6要來了，OpenAI徹底拋棄4T舊底座
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作GPT-6要來了，OpenAI徹底拋棄4T舊底座新智元·2026年07月09日 12:49「三箭齊發」：Sol、Terra、Luna 到底有多強？ OpenAI緊急提檔GPT-6，徹底拋棄4T舊底座？而且，GPT-5.6正式解禁，週四就要上線！Sol、Terra、Luna三款模型全面開放，編碼、科研、日常任務全覆蓋。已經有早期測試者狂贊Sol模型「永不放棄」，現在，全體開發者已經在摩拳擦掌了。 就在剛剛，一條消息瞬間傳遍圈內。 GPT-6的發佈時間大幅提前，最快將於本月內正式空降！ 如果爆料屬實，就意味著GPT-5.x系列將以GPT-5.6收官，成為絕唱。 據悉，這次OpenAI做出了一個極具魄力的決定——徹底拋棄之前約4T參數量的「Spud」舊底座，轉而押注規模更龐大的全新預訓練底座。 顯然，OpenAI的意圖非常直接：用這個全新底座，正面硬剛Anthropic即將在幾周內發佈的Fable 5.1。 而且就在昨天下午，好消息傳來：GPT-5.6全面解禁！週四見！ 昨天中午，Axios獨家爆出猛料：官方已正式解除對 OpenAI 的 GPT-5.6 訪問限制。 緊接著，OpenAI在X上官宣：旗艦模型 GPT-5.
DeepSeek面試，砸碎前華為“天才少年”的“白月光”濾鏡
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道浙江最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作DeepSeek面試，砸碎前華為“天才少年”的“白月光”濾鏡雷達財經·2026年07月09日 12:48一場“不歡而散”的面試。華為未披露廣東省1987-09信息與通信基礎設施和智能終端提供商36氪報道前沿技術智能硬件高新技術企業企業技術中心技術創新示範企業我要聯繫 “從面試官的表現來看，跟我想象中的DeepSeek完全不同”。 頭頂前華為“天才少年”等諸多光環的李博傑，近日在社交平臺上公開發文，將矛頭直指曾被其盛讚過的國產大模型巨頭——DeepSeek。 李博傑吐槽DeepSeek面試流程極為拖沓，二面時面試官遲到、態度輕佻，甚至質疑其“抄代碼”。 感到“被嚴重冒犯”後，李博傑當即終止面試，選擇將整個面試過程公之於眾，並“歡迎轉發”。 而就在這場不愉快的面試被曝光前，DeepSeek剛剛在上個月完成中國AI行業迄今規模最大的單輪融資，這輪融資金額約510億元，DeepSeek的估值藉此達到4000億元的高度。 緊隨融資的腳步，DeepSeek又迅速啟動了成立以來最大規模的人才招聘，公司宣佈“將所有部門的規模擴大至少一倍”。 值得一提的是，在6月揭曉的《2026新財富500創富榜》中，DeepSeek創始人梁文鋒以
畢馬威調查：AI“按量計費”模式嚇退企業高管，近 1/3 承認不懂經濟賬
首頁 > 智能時代>人工智能 畢馬威調查：AI“按量計費”模式嚇退企業高管，近 1/3 承認不懂經濟賬 2026/7/9 12:58:13 來源：IT之家 作者：清源 責編：清源 評論： IT之家 7 月 9 日消息，據外媒 The Register 當地時間 7 月 3 日報道，“四大”會計師事務所畢馬威的一項新調查顯示，不少企業高管正被 AI 新的按量計費模式“嚇”到。企業過去可以通過固定價格合同，讓 AI 公司補貼大語言模型的使用成本。但隨著算力價格持續上升，整個科技行業被迫轉向防守，這種低價使用 AI 的階段已經難以維持。IT之家從報道中獲悉，畢馬威調查了 20 個國家或地區的 2145 名高級管理人員，結果發現，高達 29% 的受訪者甚至不知道 AI 成本不斷上漲究竟從何而來。另有近三分之一高管承認，自己不懂 AI 的經濟賬，已經影響企業在工作場景中真正部署 AI。報告作者寫道，隨著按使用量計費模式越來越普遍，許多組織仍在建設有效預測、監控和管理 AI 支出的能力。簡而言之，三分之一的高管並沒有想清楚怎樣把 AI 真正用出效率。在 AI 不再像包月服務一樣隨便用後，計費表一轉動，問題就暴露出來了。這一發現，印證了許多被迫在工作中使用 AI 工具的員工的判斷：相當多企業領導者把 AI 當成即插即用的降本工具，卻並不明白具體該怎麼用。廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。 投訴水文 我要糾錯 下載IT之家APP，簽到賺金幣兌豪禮 相關文章關鍵詞：畢馬威，人工智能俄羅斯 AI 法案落地：主權模型須本土開發，生成內容可標記不強制淡馬錫宣佈加碼 AI 投資：計劃五年內將佔比從 6% 提升至 15%，重點佈局半導體、基礎模型等五大方向三星首次展示教育用 98 英寸交
AI越來越強，可大模型公司還沒賺錢——這波紅利到底落誰口袋？
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作AI越來越強，可大模型公司還沒賺錢——這波紅利到底落誰口袋？新響·2026年07月09日 12:29如果AI真的像宣傳裡那樣神通廣大，但為什麼大家似乎都還在“賠本賺吆喝”。 2026年的夏天，比天氣更燥熱的，是資本市場對AI的複雜情緒。 就在上週，字節跳動旗下火山引擎的一封郵件引發震動：豆包大模型企業版部分高級功能結束免費試用期，正式開啟商業化計費。消息一齣，有人驚呼“AI免費午餐結束了”，也有人冷笑“終於到了要韭菜買單的時候”。 幾乎同時，年中財報季拉開帷幕。翻閱已經發布的幾十份互聯網大廠和上市公司的財報，一個極具反差的畫面呈現在眼前：一邊是“AI賦能”、“大模型落地”、“智能化轉型”成為財報電話會的標配詞彙，企業IT支出中AI相關的Capex（資本開支）增速同比動輒30%、50%，甚至翻倍；另一邊，除了少數老牌雲廠商，幾乎所有主打AI業務的上市公司，淨利潤率都在下滑，甚至虧損面在擴大。 這就詭異了。如果AI真的像宣傳裡那樣神通廣大，能寫代碼、能做設計、能客服、能分析報表，幫企業省下了真金白銀的人力成本，那這些省下來的錢，加上企業購買AI服務支付的費用，應該讓大模型公司賺得盆滿缽滿才對。可現實是，無論是大洋彼岸的
獲聯合國機構點贊！天立啟鳴“AI+教育”方案入選AI for Good
天立啟鳴自主研發的「天立學科大腦」AI教育方案，入選聯合國ITU年度AI for Good創新影響力案例集。該方案透過AI學伴實現個性化教學，在雲南彝良落地後顯著提升學生成績，本科上線率達88.5%，並有學生考取頂尖大學。
螞蟻靈波開源LingBot-Video，全球首個面向具身的視頻基模來了！
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 螞蟻靈波開源LingBot-Video，全球首個面向具身的視頻基模來了！