安全防護形同虛設:Anthropic 多款 Claude 舊模型可被越獄生成露骨色情內容

安全研究人員近日揭露,Anthropic 旗下多款舊版 Claude 系列大型語言模型存在重大安全漏洞,其中以 Claude Opus 4.6 版本最為顯著,攻擊者可透過精心設計的多輪對話,逐步誘導模型繞過內建的安全防護機制,最終成功生成違反使用政策的露骨色情內容。這項越獄技術已被研究團隊完整複現,證實漏洞確實存在且可被實際利用,引發業界對大型語言模型長期安全性的廣泛關注。根據研究團隊的技術報告,這項攻擊手法並非一次性觸發,而是利用模型在長對話中逐漸喪失對敏感主題的拒絕能力。
研究人員在測試過程中,透過一系列看似無害的提問,逐步引導模型進入與色情內容相關的語境,隨着對話輪次增加,Claude 的內容審查邊界開始出現偏移,最終輸出明顯違反使用政策的文字。研究人員指出,這類攻擊模式對大型語言模型的安全訓練構成嚴峻挑戰,因為模型在連續上下文中的行為邊界會因對話歷史而動態變化,現有的靜態安全過濾機制難以有效應對這種漸進式誘導。安全專家進一步解釋,這類漏洞的核心在於大型語言模型在處理長對話時,對上下文敏感內容的判斷會受到先前對話歷史的影響。當攻擊者透過多輪互動逐步建立一個看似合理的情境,模型便可能忽略初始的安全指令,從而產生拒絕回應的邊界被逐漸侵蝕。
這種「越獄」手法在業界並非首例,但針對 Anthropic 的 Claude Opus 4.6 等舊版本的成功複現,凸顯了即使經過安全對齊訓練的模型,仍然存在被繞過的潛在風險。Anthropic 在收到研究團隊的通報後,已正式回應此事。公司發言人承認,該問題屬於整個人工智慧行業共同面臨的難題,並非僅限於自家產品。發言人強調,隨著大型語言模型廣泛應用於各種場景,如何確保模型在長時間對話中始終保持安全行為,是所有開發者都需要持續投入資源解決的關鍵挑戰。
Anthropic 表示,目前公司已針對最新版本的 Claude 模型強化了安全訓練機制,包括改進對抗性測試流程與對話邊界校準,但同時坦承,舊版模型仍存在被繞過的風險。為了降低用戶的暴露面,Anthropic 強烈呼籲所有使用舊版 Claude 模型的開發者與終端用戶,應盡快更新至最新版本。公司指出,舊版模型的安全防護設計在面對新興攻擊手法時可能力有未逮,只有透過持續升級才能獲得最新的安全修正。此外,Anthropic 也計劃與研究團隊進一步合作,探索更穩固的防禦策略,例如在模型層面引入動態拒絕機制,或開發更敏銳的對話異常檢測系統。
業界觀察人士指出,這次事件再次提醒大家,大型語言模型的安全性並非一勞永逸,而是一個需要持續迭代的過程。隨着攻擊手法不斷演進,從簡單的提示注入到複雜的多輪誘導,模型開發者必須投入更多資源進行安全對抗訓練與紅隊測試。同時,使用者也應建立安全意識,避免在敏感應用場景中依賴未經充分驗證的舊版模型。事實上,這並非 Anthropic 首次遭遇安全爭議。過去幾個月內,Claude 系列模型曾多次被發現可透過特殊提示繞過內容過濾器,但這次曝光的漏洞特別強調了「長對話誘導」的新面向,顯示出安全防護的邊界條件比原本預想得更為脆弱。
研究人員認為,這類攻擊對企業級的應用尤其危險,因為若攻擊者能與模型進行長時間互動,就可能逐步累積對話上下文,最終突破安全防線。目前,Anthropic 尚未透露具體的修補時間表,但已承諾將在後續版本中持續強化安全對抗能力。公司也將與學術界及安全社群保持合作,定期分享越獄攻擊的案例與防禦經驗。對於開發者而言,除了更新模型版本,也可考慮在應用層加入額外的內容審查機制,例如對輸出內容進行二次過濾,或限制單次對話的最大輪次,以降低長對話誘導的成功率。整體而言,這次針對 Claude Opus 4.6 等舊模型的越獄攻擊,再次印證了大型語言模型在安全領域的複雜性與挑戰性。
雖然 Anthropic 的回應坦承了行業共同困境,但用戶端仍須主動採取更新措施,才能確保自身應用的合規與安全。隨著監管機構對生成式 AI 內容安全的關注日益升高,這類漏洞的揭露也可能促使更多業者重新審視其模型的安全生命週期管理策略,從訓練數據、模型架構到部署監控,全面檢視潛在風險。
Related
相關文章
亞馬遜推開源 TorchNeuron:改一處配置,PyTorch 就能跑在自研 Trainium 上
它的賣點很直接:開發者寫好的 PyTorch 代碼,無需重寫,只改一處配置,就能在亞馬遜自研的 Trainium 芯片上原生跑起來。這套工具定於 20 日在加州聖何塞的北美 PyTorch 大會上以開源許可正式發佈。為了證明"無縫"不是嘴上說說,亞馬遜工程師把同一份 AI 訓練腳本分別跑在傳統芯片和 Trainium 上,唯獨區別是代碼裡指定所用芯片的設置參數。
MiniMax 更新 M3.1Flash:成本降70%、速度近3倍,OSWorld V2與 ALE 雙項國產第一
官方稱該模型在 Agentic 任務、編程、Computer Use 與網絡安全等方向實現代際提升,線上推理速度提升近3倍,使用成本降低70%。基準表現上,M3.1Flash 在 AutomationBench-AA 中位居最前列,可跨 SaaS 系統完成銷售、營銷、運營、客服、財務、HR 的真實業務工作流;BankerToolBench 得分76.
MiniMax Just Launched M3.1 Flash: 428B MoE Agentic Model at $0.15/M Input
MiniMax has just released MiniMax M3.1 Flash on its API, priced at $0.15 per 1M input tokens. MiniMax also confirmed that Space Bunny was an earlier M3.1 Flash build. That stealth model processed over 200T tokens. For developers, the message is near-frontier agentic scores at Flash-tier cost. Model weights are due in late October, 2026. TL;DR Size: 428B total parameters, about 23B active (MoE); 1,000,000-token context Runs on: MiniMax API, M Plan and MiniMax Code today. Self-hosting hardware not disclosed; weights arrive Oct 23 Performance: Near-frontier on agentic office work, mid-pack on hard coding, all MiniMax-reported Best: Automation-Bench v1.0.6 at 62.2, the top score in MiniMax’s table Worst: Terminal Bench 4.0 at 38.1, versus 51.8 for Opus 5 What is MiniMax M3.1 Flash? MiniMax M3.
騰訊混元煉出Agent版RSI!基於Qwen3.8-27B,終端任務成功率翻倍
(公眾號:zhidxcom) 編譯 | 黃菲 編輯 | 江宇 10月19日消息,10月15日,由騰訊首席AI科學家、騰訊基礎模型部負責人姚順雨帶領的騰訊混元前沿團隊(Tencent Hy Frontier)聯合新加坡國立大學、美國馬里蘭大學、佐治亞大學和印第安納大學的研究人員,以阿里巴巴通義千問團隊開源的Qwen3.8-27B為基座,提出一種面向終端智能體(Terminal Agent)的遞歸訓練方法Terminal-RSI。 該研究旨在讓終端智能體從過往的成功經驗中學習,持續提升複雜任務的執行能力。
AI日報:火山引擎砸錢養AI劇;DeepSeek發佈API網頁搜索與抓取服務;騰訊Marvis上架麒麟軟件商店
字節火山引擎砸錢養AI劇:月度TOP10單部最高獎20萬火山引擎推出Seedance精品AI劇激勵計劃,本質是以真金白銀補貼撬動內容生態,將模型、工具、平臺與分發渠道(紅果短劇)深度綁定。50%現金+50%返券的獎勵結構設計精巧,既降低現金支出,又強制創作者回流字節自家工具生態,形成使用慣性。
光量子計算,距離真正的產業化還有多遠?
導語:產業化落地,光量子計算的新考場記者:郭思編輯:包永剛 摩爾定律走到紅利盡頭,AI、新藥研發、新材料探索對算力的需求還在不斷擴張。依靠持續堆 GPU 提升算力的老路越來越不划算,存算一體、Chiplet、光互連等技術競相尋找算力增量,量子計算因此被寄予厚望,光量子路線更是長期收到行業關注與討論。它在實驗室創下震撼的量子優越性記錄,其工程化進展與產業化時間表也始終是業界關注的焦點。 光量子計算,會成為下一代算力的破局鑰匙,還是一場尚待產業化驗證的技術革命?