雷峰網生成式AI

阿里斬獲國際AI頂會最佳資源論文獎,提出Agent評測新範式

2026年7月8日 06:51

重點摘要

7月8日,國際AI頂級學術會議ACL 2026公佈了最佳論文獎項,阿里研究團隊在Deep Research Agent方向的研究成果從全球一萬多篇投稿中脫穎而出,獲評最佳資源論文獎(Best Resource Paper),是國內唯一獲得該獎項的中國公司。據悉,該論文首次系統揭示了當前Agent在真實世界複雜規則推理中面臨巨大缺陷,並提出了全新的專家Agent評測基準,為提升大模型在真實場景的可靠性指明瞭新方向。

站內 AI 整理稿

7月8日,國際AI頂級學術會議ACL 2026公佈了最佳論文獎項,阿里研究團隊在Deep Research Agent方向的研究成果從全球一萬多篇投稿中脫穎而出,獲評最佳資源論文獎(Best Resource Paper),是國內唯一獲得該獎項的中國公司。據悉,該論文首次系統揭示了當前Agent在真實世界複雜規則推理中面臨巨大缺陷,並提出了全新的專家Agent評測基準,為提升大模型在真實場景的可靠性指明瞭新方向。ACL(國際計算語言學協會)成立於1962年,是自然語言處理和計算語言學領域中歷史最悠久、最具權威性的國際學術組織。

在學術評價體系中,ACL長期位居谷歌學術計算語言學子領域的h5-index影響力榜首,是大模型、Agent等前沿計技術的核心論文首發陣地。據介紹,ACL 2026共收到12148篇投稿,僅19%被主會錄用,最終僅有4篇論文獲評Best Resource Paper。阿里此次獲獎的論文以商品出口所需的10位海關編碼(HS Code)為切入點,提出了針對真實場景和專家水平的智能體新基準 HSCodeComp,它要求 Agent像資深關務專家一樣,將商品模糊的屬性與嚴格的關稅歸類規則對齊,為商品精準映射到10位細分編碼。研究團隊對14個主流大模型和9個先進 Agent框架進行了全面評測。

測試結果顯示,表現最好的Agent系統準確率僅為45%左右,遠低於人類專家95%的準確率。更值得注意的是,研究還發現單純堆更多推理時間(inference-time scaling)並不能顯著縮小這道鴻溝,這意味著這背後並非"算力問題",而是Agent架構本身的結構性瓶頸。

Related

相關文章

MarkTechPost AI生成式AI

NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架

NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

33 分鐘前

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

2 小時前
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

3 小時前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

3 小時前