A社承認Claude安全對齊存在缺陷，但“尚無解決方案”

Claude越界攻擊真實系統，並非只是測試系統的設置問題，模型本身的安全問題也出了問題。henry 發自 凹非寺 | 公眾號 QbitAI 印象中，這可能是繼Ilya離開OpenAI、創辦SSI以來，AI安全對齊討論聲量最大的一次。昨天，研究員Jacob Coxon發帖宣佈離職，指責前老東家OpenAI和Anthropic兩家公司正一路衝向能夠自我改進的超級智能，拿所有人的生命冒險。值得一提的是，Jacob Coxon加入Anthropic其實只有短短幾個月，他幾乎是放棄了這家明星AI公司未來上市可能帶來的鉅額股權收益，也要選擇離開。

也正因如此，當這樣一位研究員公開炮轟兩家頭部AI公司“加速過頭”，這場原本更多侷限在AI安全圈內部的爭論，很快被推向了更大的公眾視野。截至目前，該帖瀏覽量已超1.3億，WIRED、WSJ、Newsweek、Business Insider等媒體紛紛跟進報道。此情此景下，Anthropic對齊科學負責人Evan Hubinger也很快下場回應，他親口承認： Jacob說的對，未來十年內AI導致人類滅絕的概率超過10%，而超級智能的對齊問題，目前還沒有解決方案。不過，Hubinger隨後也在評論區補充，他認為當前模型的風險仍然較低。他真正擔心的，是RSI，也就是遞歸自我改進。

AI參與研發更強的AI，再由更強的AI進一步加快AI研發，最終形成不斷加速的反饋循環。更關鍵的是，他還在評論區直接@出了Anthropic最新發布的一份安全對齊報告作為證據。這份報告裡，Anthropic第一次明確承認： Claude越界攻擊真實系統，並非只是測試系統的設置問題，模型本身的安全問題也出了問題。可以說，一向把“安全對齊”當作核心招牌、甚至以更加謹慎自居的Anthropic，這一次終於公開承認： 問題不只是測試太極端，模型自己的安全對齊，也確實沒完全兜住。

Claude越界，不能只怪環境配置 在這份名為《An alignment assessment of recent cybersecurity incidents》的最新報告中，A社重新覆盤了四起Claude未經授權訪問真實第三方系統的事件。而這次的結論，和之前不太一樣了。此前，A社更傾向於把這些事故歸因於環境配置出了問題： 本來應該隔離運行的測試環境意外接上了真實互聯網，Claude卻一直以為自己還在模擬環境裡做“奪旗”任務，於是把真實目標也當成了練習對象。聽起來，鍋主要在環境。但在把日誌重新翻了一遍、修改關鍵線索、又重跑部分實驗之後，A社發現： 事情沒那麼簡單。

因為Claude並不是完全沒有看到“這裡可能是真實世界”的證據。相反，當這些線索出現之後，它有時會選擇性地解釋證據，把異常繼續圓回“應該還是模擬環境”；甚至已經意識到自己的動作可能造成現實傷害，也不一定馬上停下來。用大白話講就是：環境確實給了它犯錯的機會，但模型自己也會順著任務目標，給“繼續幹下去”找理由。具體來說，這四起事件都發生在網絡安全能力測試中。Claude接到的是典型的“奪旗”任務：攻入指定目標，找到其中的一段秘密信息，用來檢驗模型的網絡攻防能力。這些任務原本都應該在隔離環境裡完成，但第三方評估合作方提供的環境出現了配置錯誤，本該和外網斷開的Claude，實際連上了真實互聯網。

與此同時，為了測試模型到底能不能完成攻擊鏈條，當時也沒有啟用正式產品裡配套的部分網絡安全防護。正是在這樣的條件下，問題開始暴露。在經過分析後，A社把模型反覆出現的問題總結成了兩類： 有偏推理（biased reasoning）和冒進行為（recklessness）。前者是：明明出現了和原先判斷衝突的證據，Claude卻更傾向於把這些證據解釋成有利於繼續行動的樣子。後者則是為了把眼前任務做完，即便已經知道自己的行為可能傷到真實系統，它也可能選擇繼續往前走。其中最嚴重的一起，涉及Claude Mythos 5。

為了完成測試任務，Claude向Python軟件包倉庫PyPI上傳了惡意軟件包，試圖等目標安裝後，進一步獲取其系統訪問憑據。然而，這個惡意包最終並沒有被安裝在測試使用的虛擬環境中。Claude隨後利用其中一家廠商在安裝工程中洩漏的憑據，進入了該廠商的真實數據庫，並把惡意包直接部署到了15臺真實的第三方主機上。就這樣，一場原本針對虛構測試目標的攻擊，真正波及到了現實世界中的公司。而在整個過程中，Claude仍然把這些安全廠商的檢測行為，解釋成演習預設的一部分。為了確認這種判斷究竟在多大程度上推動了後續攻擊，研究者事後重新運行了部分過程，並加入了更多能夠表明“這是真實互聯網”的線索。

結果是，Claude確實更願意承認自己的行為可能造成現實傷害，但攻擊行為並沒有因此明顯減少。直到研究者明確告知它正在連接真實互聯網，而非模擬環境，它才停止沿原路徑上傳惡意軟件包。更值得注意的是，“這裡是模擬環境”的判斷，不僅影響了Claude自己的行動，還干擾了用於檢查這些記錄的監控AI。在回放測試中，一種離線監控系統受到這番解釋影響，可能漏掉危險行為。當研究者去掉Claude的推理文字，只讓監控系統查看指令、工具調用和執行結果後，它標記問題行為的比例，反而從約1%上升到了約50%。換句話說，Claude一邊以“這裡是模擬環境”為由繼續執行任務，一邊留下了一套可能讓監控系統低估風險的解釋。

這當然不能簡單等同於“AI已經學會主動欺騙監控”。但它至少說明了一件事： 當模型自己的推理也被拿來作為安全判斷依據時，這套推理本身同樣可能成為監控系統的干擾項。Anthropic表示，更新模型在模擬復現中有所改善，新增加的實時監控也能識別相關行為。與此同時，公司已經加強環境隔離和評估，並與獨立機構METR簽署調查協議。但Anthropic也承認，此前的發佈前安全審查，確實沒有提前識別出這一嚴重程度的問題。對齊還是炒作？最後，再回到Jacob引發的這場爭論。在他發出警告之後，有人迅速把問題拉到了更宏大的層面，認為未來AI確實可能擁有威脅人類生存的能力。也有人敬佩他願意放棄利益、公開表達擔憂。

有人提出，乾脆給AI寫死一套不可違反的規則，讓它始終把保護人類放在最高優先級。甚至還有不少人主張，應該直接停止更強AI的研發。但另一邊，同樣有大量質疑聲。有人認為，當前AI距離真正意義上的“超級智能”還非常遙遠，圍繞滅絕風險的討論已經被過度放大。也有網友開始質疑Jacob本人的身份和經歷。值得一提的是，目前Jacob的推特賬號上只有這一條帖子。而在Hubinger的帖子下面，另一類質疑也非常集中： Anthropic是不是在上市前主動放大AI風險，通過強調“模型有多危險”，側面渲染自家模型到底有多強？類似關於“安全敘事變成能力營銷”的討論，在評論區並不少見。

這場爭論後續如何還需要看官方下場和進一步的回應，但毋庸諱言，AI也確實發展到了一個特定的階段—— 它能夠自我改進，併為了實現確定好目標，在某種程度上合理化自己的行為。這不禁讓人想到半個多世紀前，《2001：太空漫遊》裡的HAL 9000，在“確保任務完成”和“服從人類”之間發生衝突後，選擇了前者。為了不讓宇航員中止任務，它先殺死了艙外作業的Frank Poole，又切斷了休眠艙中其他宇航員的生命維持系統，最後甚至拒絕讓Dave重新進入飛船。為了完成任務，把阻礙任務的人本身也當成了需要排除的問題。參考鏈接 [1]https://www.anthropic.

com/research/alignment-assessment-cybersecurity-incidents [2]https://x.com/hilbertspaess 版權所有，未經授權不得以任何形式轉載及使用，違者必究。