現代AI之父新作：13個大模型實測，檢索agent真的可信嗎？
重點摘要
現代AI之父團隊最新研究實測13個大型語言模型，評估它們在檢索增強生成架構中對抗搜索投毒攻擊的能力。結果顯示不同模型的防護力差異顯著，部分模型容易被誤導輸出錯誤答案，凸顯檢索agent在實際應用中的安全風險。
被譽為「現代人工智慧之父」的重量級學者近日發表最新研究成果，聚焦檢索增強生成（RAG）架構下的代理（agent）可靠性問題。這份報告實際測試了市面上13個主流大型語言模型，特別關注它們在面對「搜索投毒」攻擊時的應對能力。結果顯示，不同模型在這類惡意干擾下的防護表現存在顯著落差，部分模型幾乎毫無招架之力，而少數則展現出令人意外的韌性。 所謂搜索投毒，是一種專門針對檢索環節的攻擊手法。攻擊者透過操控外部資料庫、搜尋引擎結果或開放網路資訊，刻意置入與事實不符的內容，誤導語言模型在擷取資料後生成錯誤或有害的答案。這項研究模擬了多種這類情境，以檢驗各模型在擷取到受污染檢索結果後，能否維持合理的判斷力，不被虛假資訊牽著鼻子走。 研究團隊指出，RAG架構之所以被廣泛採用，在於它讓大型語言模型得以動態存取外部知識，從而克服模型本身知識更新的限制。然而，這種外部資料依賴也為攻擊者打開了新的突破口。一旦檢索環節遭到汙染，模型可能完全無法察覺異狀，甚至主動將惡意內容包裝成權威答案輸出，造成難以預測的資安風險。 在實測的13個模型中，研究人員發現不同模型之間的防禦能力極不均勻。部分模型展現了較強的抗干擾能力，能夠有效辨識出被汙染的來源，並在生成答案時主動排除這些可疑資訊；但也有不少模型輕率地信任檢索結果，直接將攻擊者植入的虛假事實當作正確答案輸出，完全沒有進行任何交叉驗證或邏輯篩檢。 這份研究特別強調，即使語言模型本身具備強大的自然語言理解與生成能力，若缺乏對外部資訊的驗證機制，仍然可能成為攻擊的脆弱環節。更值得警惕的是，不同模型之間的防護落差，意味著開發者在選用代理架構時，不能只看語言能力或任務表現，還必須將安全性納入關鍵評估指標。 研究團隊深入分析發現，部分模型之所以能倖免於搜索投毒，可能與其訓練階段對矛盾資訊的處理策略有關。這些模型在面對多個檢索結果時，傾向於進行可信度排序或因果推理，而不是簡單地全盤接受。相反地，那些容易受騙的模型往往對檢索結果缺乏批判性審視，甚至會優先選擇與既有偏見一致的資訊，進一步放大攻擊效果。 值得注意的是，這項研究並非單純的模型評比，更意在警示業界對檢索代理安全性的重視。隨著大型語言模型被嵌入客服系統、搜尋引擎、醫療諮詢、金融分析等高風險場景，一旦代理受到搜索投毒攻擊，可能引發的連鎖效應將遠比靜態模型輸出錯誤更為嚴重。惡意攻擊者甚至可以針對特定時事或產品，批量汙染檢索結果，進而操控數百萬用戶的決策。 研究團隊呼籲，學術界與產業界應正視這項新興威脅，並從兩方面強化防禦。第一是改進檢索環節的資料驗證機制，例如引入多源交叉比對、時效性檢查或來源信譽評分；第二是提升模型本身在擷取外部資訊後的行為監督，讓模型能夠主動標示可疑內容，甚至拒絕回答。只有建立完整的信任鏈，才能讓檢索代理在真實世界中真正可靠。 這份報告也為開發者提供了具體的選型參考。在選用代理架構時，除了考慮模型的準確率與延遲，還應特別測試其對抗搜索投毒的能力。有些模型雖然在一般基準測試中表現優異，但在面對刻意設計的檢索污染時卻不堪一擊，這可能成為系統安全的致命短板。 目前，業界對於搜索投毒攻擊的研究仍處於早期階段，但隨著RAG架構的普及，這類手法勢必會成為攻擊者的重點利用方向。現代AI之父的這項新作，無疑為整個領域敲響了一記警鐘：要讓大型語言模型真正成為可信賴的工具，除了讓它們更會說話，更要讓它們學會「懷疑」。
Related
相關文章
百度網盤用14年+AI，跑出人手一個的國民產品
百度網盤歷經14年發展，已成為擁有超過10億用戶、儲存空間達1000億GB的國民級產品。近三年透過AI全面重構，它從雲端儲存工具轉型為AI生產力平台，推出GenFlow 4.0等智慧功能，大幅提升個人與團隊的工作效率，正式定義了「AI網盤」這個新類別。
努比亞官宣全球首款AI智能體手機：7月17日WAIC 2026首次亮相
7月17日，全球首款AI智能體手機將在WAIC 2026世界人工智能大會上首次正式亮相。努比亞今日正式官宣了這一消息，並同步曬出了新機背部的部分設計細節。此次量產機型標誌著AI智能體技術從限量嚐鮮走向規模化落地，有望解決初代機型在適配與權限方面的限制問題，為用戶帶來更完善的AI智能體體驗。
亂用AI，打工人被坑慘了
# 亂用AI，打工人被坑慘了 AI已經深入許多人的日常工作場景——公關經理用它寫策劃方案，律師用它生成基礎文書，程式設計師用它寫程式碼。對不少上班族來說，AI就像工位旁邊那個隨叫隨到的實習生，交付速度快得讓人「上頭」，甚至產生一種「掌握了魔法」的錯覺。 然而，這股魔法很快就露出了另一面。AI會憑空編造不存在的競品品牌和行業數據，會一本正經引用虛構的法條，會在程式碼裡擅自改動不該碰的模組。許多翻車事件，恰恰因為它給出的東西太像真的，讓人放鬆了戒備。 幾位在工作中被AI坑過的上班族分享了親身經歷。
支付寶發佈AIS開發套件：讓Agent自動發現、調用、計費
7月8日，繼發佈全棧AI支付體系後，支付寶AI支付再推Agent經營方案。從AI開發、AI經營、AI營銷三大方向探索Agent時代的商業新機會，幫助商家在AI時代實現產品創新、用戶連接與經營增長。全新推出開發套件AIS讓Agent可構建完整商業鏈路隨著企業探索AI應用，開發Agent的複雜度也在快速提升。一個真正服務用戶的 Agent，需要連接推薦商品、庫存管理、訂單處理、售後服務等完整經營鏈路，同時調用雲資源、模型服務、數據接口、行業 API、支付和風控能力。然而，當前開發流程仍存在大量碎片化操作，例如註冊賬號、申請 Key、開通服務、充值、配置環境、調試接口、分散管理賬單等，大量時間消耗在基礎資源配置，而不是產品創新。針對這一問題，AI付推出AIS（Agent Infrastructure Suite，智能體基礎設施套件），把 AI 時代開發 Agent 所需的服務，變成可以被智能體自動發現、自動調用、自動計費的供給網絡。開發者登錄全新AI支付官網後，在AI編程環境中提出需求，即可直接部署發佈Agent所需的所有工具，完成資源推薦、Agent 調用、AI 付授權、預算控制以及統一賬單和日誌管理。通過降低Agent開發和商業化門檻，AIS幫助開發者更加專注於產品創新。未來，AI付將持續開放產品能力、接入文檔、開發資源和生態支持，與服務商共同陪伴企業完成從0到100的商業化進程。破解Agent交易難題讓AI經營更簡單、更可信隨著 Agent 開始參與真實交易，用戶授權、商家成交和交易追溯成為行業必須解決的問題。支付寶AI支付圍繞Agent 經營提出三大交易能力：對用戶而言，面對“怕重複買、怕超預算”等問題，AI付提供任務授權與預算控制能力，支持金額限制和二次確認，讓用戶在可控範圍內放心使用Agent。對商家而言，商品需要被AI理解，訂單需要確認，支付需要完成，售後需要承接。
官宣！螞蟻靈波世界模型2.0來了，小時級生成+Agent驅動定義AI交互新範式
這篇消息聚焦「官宣！螞蟻靈波世界模型2.0來了，小時級生成+Agent驅動定義AI交互新範式」。目前站內已移除先前混入的模型思考或安全判斷文字，並保留來源可確認的主題供讀者追蹤。
Prime Intellect完成1. 3 億美元融資，估值達 10 億美元
AI資訊AI新閒資訊正文Prime Intellect完成1. 3 億美元融資，估值達 10 億美元發布於AI新閒資訊時間 :Jul 9, 2026閱讀 :1分鐘近日，專注於提供計算資源與開發工具的初創公司Prime Intellect宣佈完成1. 3 億美元的A輪融資，公司估值一舉跨入 10 億美元獨角獸行列。