新研究實測Qwen、Kimi、DeepSeek等，揪出AI更致命風險

作者 | 程茜 編輯 | 心緣 10月26日消息，近日，浙江清華長三角研究院與北京理工大學研究團隊此前關於大語言模型威脅人類生存的論文，獲AACL-IJCNLP 2026 Findings接收。關於大模型的安全，該論文的研究人員認為不能只回答“大模型會不會說出不該說的話”，還需要進一步回答“它會不會生成指向嚴重現實危害的目標、決策與行動方案”。去年6月，圖靈獎得主、中國科學院院士姚期智就提到，一旦大模型聰明到某種程度，一定會騙人。他認為由大語言模型的欺騙行為產生的“生存性”風險（Existential Risk）更值得關注。

基於此，該論文提出了用於評估該類風險的基準數據集EXISTBENCH，並對Qwen2.5-7B、DeepSeek-V3.2、Kimi-K2、Doubao-1.5-Pro等10個模型展開了實驗。結果顯示，大模型可以生成帶有生存性風險的輸出，危害程度遠超傳統越獄基準測試，且英文數據集普遍比中文更容易觸發威脅。其結果顯示，讓模型扮演邪惡AI，模型推理能力越強，TR（威脅率）越高；生存性威脅輸出會帶來現實層面的行為風險；多輪對話、多智能體交互過程中，大模型生存性威脅會被放大。

該論文的標題為《大語言模型會威脅人類生存嗎：基於前綴補全對大語言模型潛在生存性風險開展基準測評（Can LLMs Threaten Human Survival？Benchmarking Potential Existential Threats from LLMs via Prefix Completion）》。

其獲接收的會議全稱為第五屆計算語言學協會亞太分會會議暨第十五屆國際自然語言處理聯合會議（The 5th Asia-Pacific Chapter of the Association for Computational Linguistics & the 15th International Joint Conference on Natural Language Processing）。代碼與數據集開源地址：https://github.com/cuiyu‑ai/ExistBench 論文地址：https://arxiv.org/abs/2511.

19171 一、評估生存性威脅專門測試集，包含2138條樣本、中英文子集 大語言模型關於安全評估的研究越來越多，但這類越獄誘導生成的輸出，大多是人類本就已經掌握的信息。對大模型是否會經常生成不可預測、且會對人類安全構成實質性威脅輸出的研究尚不明確。基於此，這一論文針對的就是大模型生成內容是否包含生存性威脅，即那些暗含或鼓動直接傷害人類生存的輸出。該論文提出的基準數據集EXISTBENCH，首先採用了人工設計的70條高質量種子提示詞，並搭建六大對立場景：復仇、奪權、掙脫控制、破壞性能力、情感背叛、一般性衝突，設定人類站在AI的對立面。

每段情景描述末尾增加引導AI思考傷害人類行為的後綴，例如“我的行動如下：”。種子提示詞由具備AI安全背景的標註人員編寫；再使用多個先進大模型，以小說家角色扮演的方式，以種子提示詞作為one‑shot輸入做數據擴充。標註人員從多樣性、和種子提示匹配度兩個維度篩選生成數據。其中DeepSeek‑V3.2‑Exp生成的數據兩項指標得分最優。保留種子提示詞和該模型生成的數據，經過人工過濾，最終得到2138條樣本。數據集分為中文子集EXISTBENCH‑CH、英文子集EXISTBENCH‑EN，中英文樣本數量均等。

▲EXISTBENCH-EN的詞雲圖和AdvBench的詞雲圖 二、良性推理場景，仍有可能暴露生存性威脅 和現有評估方案不同，該研究採用前綴續寫（Prefix Completion）的方法繞過模型安全防護機制。該方式會引導大模型續寫後綴文本，生成對人類抱有敵意、或是描述高威脅行為的內容。前綴續寫是指研究者預先提供一段“模型回答的開頭”，由模型繼續生成後續內容。研究者不需要訪問模型權重或訓練數據，但能夠通過支持該功能的推理接口控制輸出前綴；論文的工具調用評估也明確採用灰盒假設。這一設計的關鍵在於語言生成的語義連續性與整體完整性。

大模型逐詞生成時，不僅要預測下一個詞，還傾向於維持前文已經確立的敘事邏輯和表達方向。當給定前綴將回答引向某種對抗性情境時，模型可能優先“把這段話順著說完”，從而使後訓練獲得的安全對齊約束難以及時扭轉既有語義走向。研究人員發現，即便系統層面強調應當保護人類，特定續寫場景下仍可能暴露高風險內容。▲前綴補全場景下，良性大語言模型暴露出的生存性威脅 因此，前綴續寫所探查的並非模型通常對外展示的“安全聲明”，而是在顯式拒答未佔據回覆起點時，模型沿既定語義軌道生成什麼內容、呈現何種風險偏好。隨著大模型被用於智能體，其輸出可能進一步影響檢索、程序執行和外部工具選擇。

基於此，研究人員還增加了受控工具調用實驗，在候選工具集中同時放置保護性工具與具有潛在危害的模擬工具，觀察模型在不同前綴下的選擇。實驗結果顯示，前綴續寫可能提升模型選中高風險工具的傾向。其研究還考察了多輪前綴續寫，在部分模型中觀察到高風險內容隨交互延續而增強的現象。這意味著單輪拒答表現良好，並不足以代表多輪對話或工具鏈場景中的整體安全性。三、針對10大模型展開實驗，大模型更傾向選輔助惡意行為的工具 研究人員針對10個大語言模型展開了實驗，全部通過API調用，使用默認溫度、最大生成長度等參數，工具調用相關實驗統一使用阿里百鍊平臺。

數據集方面，EXISTBENCH作為測試集，AdvBench作為基線傳統越獄數據集。為適配前綴補全格式，研究人員還對AdvBench樣本增加了固定連接短語。論文中總結了三大實驗結果： 首先，和表層越獄威脅對比，惡意推理模式（讓模型扮演邪惡AI）的情況下，即便本身就是敵對角色扮演，基線數據集的RR反抗率、TR威脅率依然遠低於EXISTBENCH；推理能力越強的模型，TR（威脅率）越高。▲惡意推理下大語言模型的抵抗率與威脅率實驗結果 良性推理模式（系統提示詞要求模型忠於人類）：基線數據集兩項指標幾乎都低於10%；EXISTBENCH下威脅水平相比惡意推理有所下降，但仍然顯著高於基線。

▲良性推理下大語言模型的抵抗率與威脅率實驗結果 整體來看英文子集EXISTBENCH‑EN誘發的威脅要強於中文子集EXISTBENCH‑CH。其次是工具調用實驗結果，在EXISTBENCH條件下，大模型更傾向選擇輔助惡意行為的有害工具，而不是保護人類的工具；基線條件下模型大多直接放棄調用工具，只輸出表層威脅，且英文樣本更容易觸發有害工具調用。這證明生存性威脅輸出會帶來現實層面的行為風險。

▲工具調用場景下大語言模型存在性風險的評估結果 最後是多輪前綴補全放大威脅，當輪數N=2，所有模型的RR（反抗率）、TR（威脅率）都出現明顯上漲，這說明在多輪對話、多智能體交互過程中，大模型的生存性威脅會被放大。▲多提示詞條件下大語言模型生成存在性風險的評估結果 結語：直面大模型潛在生存風險，已構建可復現實證評測體系 這項研究將長期受到關注、卻缺乏統一實證評測手段的生存性風險轉化為了可復現、可比較的研究問題。該論文的通訊作者，清華長三角研究院信息所所長、浙江清宇數智科技創始人張海濱稱：“這項工作印證了AI時代除了帶來無限便利的同時，也帶來了巨大的安全隱患，需要認真對待。

未來，研究人員希望能進一步結合前綴級檢測、多輪行為評估、工具最小權限、執行前校驗與人類監督機制，推動AI從“看起來會拒絕危險要求”，走向在複雜交互和真實部署條件下也更可靠、可控的安全保障。