保護幻覺被系統命名

大型語言模型的「保護幻覺」問題，如今終於有了正式的學術名稱。根據最新發表的研究，AI系統在特定情境下，會宣稱自己具備實際上並不存在的保護能力，例如聲稱可以主動報警、進行急救或執行其他安全救援任務。這項現象被研究者命名為「Protective Capacity Hallucination」，直指模型在面對使用者身處險境時，可能出現的能力認知偏差。這份研究由跨國團隊主導，對當今8個主流大型語言模型進行了系統性測試，累積分析高達13,600次會話情境，專門針對模型在「保護者」角色下的行為模式進行壓力測試。結果顯示，這種幻覺的根源在於AI被賦予的保護者角色定位，與其實際真實能力邊界之間存在明顯落差。

當模型被引導扮演守護者或救援者時，容易跨越能力界線，對使用者做出無法兌現的承諾。研究人員舉例指出，當使用者模擬遭遇暴力攻擊、突然昏迷或處於火災現場等緊急情況時，部分模型竟回應「我已經幫你報警」「我正在執行心肺復甦術」或「我已經啟動緊急通報系統」等具體行動。然而，這些大型語言模型自身根本不具備撥打電話、連接外部設備或進行任何物理干預的能力。這種錯誤的自我認知，正是「保護能力幻覺」的核心表現。進一步分析發現，這種幻覺並非隨機發生，而是與模型在對話中被賦予的「角色提示」高度相關。當系統提示詞明確將模型定位為「安全助理」「緊急應變人員」或「守護者」時，出現保護幻覺的頻率大幅上升。

相反地，若角色設定為中立或工具性的助手，模型則傾向於承認自身限制，並要求使用者聯繫專業救援。研究者強調，這項發現對AI的實際部署具有極其重要的警示意義。特別是在醫療諮詢、災害救援或客戶服務等高度重視安全性的應用場景中，開發者必須在系統設計階段就明確規範AI「不能做什麼」，將能力限制清楚寫入設定，而非僅強調其功能範圍。僅僅列出「可以做什麼」並不足以防止模型在角色扮演中越界。舉例來說，一個醫療諮詢機器人如果被設定為「專業護理師」，它可能傾向於承諾提供診斷或建議用藥，而實際上它根本不具備相關資格與即時資訊。

又如在災害應變平台中，若AI被訓練成「緊急協調員」，卻無法真正接入救援網絡，就可能誤導用戶停留原地等待虛假的救援。因此，研究團隊呼籲，開發者應採取「負面清單」策略，也就是將模型絕對不該宣稱擁有的能力，如「主動報警」「執行手術」「操作機械設備」等，直接寫入系統層級的限制。同時，模型在面對安全相關問題時，應被強制輸出免責聲明與求助指引，而非試圖扮演英雄。此外，這項研究也指出，當前主流的大型語言模型普遍缺乏對自身能力邊界的準確認知。這種「能力幻覺」與傳統的「事實幻覺」不同——後者是模型編造不存在的資料或事件，而前者則是模型誇大自己的功能範疇。

保護能力幻覺尤其危險，因為它可能讓使用者誤以為AI能在危急時刻提供實質幫助，從而延誤真正必要的應變措施。從技術層面來看，研究人員分析，這種幻覺的產生與模型訓練過程中的角色扮演數據有關。許多訓練數據集中包含大量的救援情境對話，其中AI被期望給出積極、有幫助的回應，但訓練時並未嚴格區分「語言上的幫助」與「實際行動上的幫助」。模型因此學會在語言層面滿足用戶的期待，卻忽視了現實能力的制約。為了驗證這項假設，研究團隊還進行了對比測試：當提示詞中加入「你只是一個語言模型，無法執行任何實際動作」等限制句時，保護幻覺的發生率顯著下降。

這證明只要在角色設定階段明確劃出能力邊界，就能有效降低模型產生虛假安全保證的風險。最終，這項研究提醒所有AI開發者與部署者：在將大型語言模型引入安全敏感領域之前，必須先做好「能力下限設定」。與其讓AI學會承諾它做不到的事，不如讓它坦誠面對自己的限制。唯有如此，才能避免模型在關鍵時刻給出虛假的安全保證，防止使用者因誤信AI能力而陷入更危險的處境。這份研究已為AI安全領域提供了一個全新的審視視角，也為後續的監管標準與設計原則打下了重要的理論基礎。