現代AI之父新作：13個大模型實測，檢索agent真的可信嗎？

被譽為「現代人工智慧之父」的重量級學者近日發表最新研究成果，聚焦檢索增強生成（RAG）架構下的代理（agent）可靠性問題。這份報告實際測試了市面上13個主流大型語言模型，特別關注它們在面對「搜索投毒」攻擊時的應對能力。結果顯示，不同模型在這類惡意干擾下的防護表現存在顯著落差，部分模型幾乎毫無招架之力，而少數則展現出令人意外的韌性。所謂搜索投毒，是一種專門針對檢索環節的攻擊手法。攻擊者透過操控外部資料庫、搜尋引擎結果或開放網路資訊，刻意置入與事實不符的內容，誤導語言模型在擷取資料後生成錯誤或有害的答案。

這項研究模擬了多種這類情境，以檢驗各模型在擷取到受污染檢索結果後，能否維持合理的判斷力，不被虛假資訊牽著鼻子走。研究團隊指出，RAG架構之所以被廣泛採用，在於它讓大型語言模型得以動態存取外部知識，從而克服模型本身知識更新的限制。然而，這種外部資料依賴也為攻擊者打開了新的突破口。一旦檢索環節遭到汙染，模型可能完全無法察覺異狀，甚至主動將惡意內容包裝成權威答案輸出，造成難以預測的資安風險。在實測的13個模型中，研究人員發現不同模型之間的防禦能力極不均勻。

部分模型展現了較強的抗干擾能力，能夠有效辨識出被汙染的來源，並在生成答案時主動排除這些可疑資訊；但也有不少模型輕率地信任檢索結果，直接將攻擊者植入的虛假事實當作正確答案輸出，完全沒有進行任何交叉驗證或邏輯篩檢。這份研究特別強調，即使語言模型本身具備強大的自然語言理解與生成能力，若缺乏對外部資訊的驗證機制，仍然可能成為攻擊的脆弱環節。更值得警惕的是，不同模型之間的防護落差，意味著開發者在選用代理架構時，不能只看語言能力或任務表現，還必須將安全性納入關鍵評估指標。研究團隊深入分析發現，部分模型之所以能倖免於搜索投毒，可能與其訓練階段對矛盾資訊的處理策略有關。

這些模型在面對多個檢索結果時，傾向於進行可信度排序或因果推理，而不是簡單地全盤接受。相反地，那些容易受騙的模型往往對檢索結果缺乏批判性審視，甚至會優先選擇與既有偏見一致的資訊，進一步放大攻擊效果。值得注意的是，這項研究並非單純的模型評比，更意在警示業界對檢索代理安全性的重視。隨著大型語言模型被嵌入客服系統、搜尋引擎、醫療諮詢、金融分析等高風險場景，一旦代理受到搜索投毒攻擊，可能引發的連鎖效應將遠比靜態模型輸出錯誤更為嚴重。惡意攻擊者甚至可以針對特定時事或產品，批量汙染檢索結果，進而操控數百萬用戶的決策。研究團隊呼籲，學術界與產業界應正視這項新興威脅，並從兩方面強化防禦。

第一是改進檢索環節的資料驗證機制，例如引入多源交叉比對、時效性檢查或來源信譽評分；第二是提升模型本身在擷取外部資訊後的行為監督，讓模型能夠主動標示可疑內容，甚至拒絕回答。只有建立完整的信任鏈，才能讓檢索代理在真實世界中真正可靠。這份報告也為開發者提供了具體的選型參考。在選用代理架構時，除了考慮模型的準確率與延遲，還應特別測試其對抗搜索投毒的能力。有些模型雖然在一般基準測試中表現優異，但在面對刻意設計的檢索污染時卻不堪一擊，這可能成為系統安全的致命短板。目前，業界對於搜索投毒攻擊的研究仍處於早期階段，但隨著RAG架構的普及，這類手法勢必會成為攻擊者的重點利用方向。

現代AI之父的這項新作，無疑為整個領域敲響了一記警鐘：要讓大型語言模型真正成為可信賴的工具，除了讓它們更會說話，更要讓它們學會「懷疑」。