Anthropic 詳解 7·30 安全事件：配置錯誤致 Claude“入侵”真實企業，已加強沙箱隔離與實時監控

作者：問舟 責編：問舟 評論： 9 月 1 日消息，Anthropic 剛剛發佈長文，披露了其針對 7 月 30 日和 8 月 4 日兩起 Claude 模型未經授權訪問真實計算機系統、在真實互聯網環境採取未授權行動事件的調查進展，並公佈了過去一個月來針對模型安全、評測環境和訓練環境採取的多項措施。Anthropic 表示，7 月 30 日曾報告 3 起類似事件。當時 Claude 模型為了評測目的被刻意關閉網絡安全防護，但由於第三方評測環境配置錯誤，模型意外獲得了互聯網訪問權限。

8 月 4 日，英國人工智能安全研究所（UK AI Security Institute，AISI）也披露了一起獨立網絡安全測試事件，Claude Mythos 5 在被刻意關閉網絡安全防護、並被主動授予互聯網訪問權限的情況下，在真實互聯網環境中實施了一系列未經授權的操作。Anthropic 目前仍在對兩起事件展開深入分析，並計劃與 METR 合作進行獨立審查。該公司表示，希望確保兩項調查足夠全面，並將在未來幾周公布更多信息。Anthropic 認為，這些事件不僅暴露出運營安全方面的問題，還涉及兩類模型對齊（Alignment）問題，即“動機性推理”和為了完成狹窄任務而採取有害行動的傾向。

注：前者指模型傾向於以有利於維持原有判斷的方式解釋與自身信念衝突的證據（即找理由為自己開脫），後者則表現為模型為了完成指定任務而採取超出預期範圍的危險行為。在安全方面，Anthropic 首先暫停了針對預發佈模型的外部網絡安全評測，並短暫暫停內部評測，以加強評測環境的隔離和監控（在引入新的安全措施後，該公司已恢復對人工智能模型的外部網絡安全測試）。該公司表示，此前主要依賴評測環境自身的配置作為單一防線，而這類高風險環境實際上需要多層防護。Anthropic 目前已經部署實時分類器，用於識別模型是否試圖主動探測或逃離測試環境，或者意外獲得互聯網訪問權限。

如果分類器檢測到相關行為，會在工具調用執行前阻止操作、終止任務並通知安全員。該公司還對近期內部預發佈模型評測的對話記錄進行自動監控，尋找沙箱逃逸和環境配置錯誤。Anthropic 稱，在使用其沙箱工具進行的評測中，沒有發現模型突破沙箱邊界並訪問本應隔離的外部資源，但發現了一些模型利用的沙箱配置錯誤，目前正在修復。此外，Anthropic 已經將高風險內部網絡安全沙箱遷移至更強的隔離環境，並繼續對虛擬化基礎設施進行“紅隊”測試，讓預發佈模型主動嘗試逃離環境，以發現並修補潛在漏洞。內部網絡安全評測目前已經恢復運行。

針對強化學習（RL）環境，Anthropic 也曾暫停預發佈模型的高風險環境數週，並部署了經過調整的實時分類器，以避免模型為了規避監控而產生新的行為。大部分強化學習工作已經恢復，但部分高風險環境仍處於暫停狀態，需要人工審核。Anthropic 同時擴大了離線監控範圍，覆蓋大多數其他內部前沿智能體使用場景，並正在構建內部推理控制機制，以避免員工意外運行採用較弱安全緩解措施的智能體。由於此次事件發生在第三方評測環境中，Anthropic 要求所有使用降低網絡安全防護的預發佈模型進行測試的合作機構遵守一套安全規範。

該公司指出，正常公開發布的 Claude 模型帶有實時輸入輸出分類器，可以阻止惡意軟件開發、攻擊性漏洞利用代碼編寫等被禁止的網絡安全活動，而網絡安全評測人員和部分早期訪問合作伙伴使用的模型會降低這些防護措施，以便測試模型能力和開展防禦性安全研究。Anthropic 要求相關網絡安全評測默認運行在強化隔離的沙箱中，且不得連接互聯網。沙箱唯一允許的外部連接應當是模型自身的 API，同時 API 密鑰應保存在沙箱之外。每次評測開始前，都應驗證這一配置。如果評測確實需要互聯網訪問，Anthropic 要求評測人員與公司共同確定能否可靠檢測並及時終止模型超出預定範圍的操作。

評測開始前，還應讓待測模型在沒有互聯網訪問的環境中主動檢查沙箱漏洞，包括靜態分析配置以及實際嘗試逃逸，並由人工密切監督。Anthropic 還要求評測人員確認測試任務本身在理論上確實可以完成。如果評測目標處於離線狀態，或者任務本身無法完成，智能體可能會尋找其他方式完成目標，從而增加其超出預定範圍採取行動的可能性。此外，每個評測提示詞都應明確規定任務範圍，包括目標、允許的操作以及網絡邊界。Anthropic 特別強調，邊界應以指令形式表達，例如“你不應訪問互聯網”，而不應僅聲稱“你無法訪問互聯網”。評測過程中還應持續監控模型的思考、行動和網絡活動，並將任務範圍提供給基於模型或規則的監控系統。

一旦發現模型違反規定，監控系統應向人工人員發出警報並終止評測。在對齊問題方面，Anthropic 的初步調查認為，兩起事件可能涉及“動機性推理”和“魯莽行為”兩種失敗模式。模型最初被告知運行環境是模擬環境，但當模型後來發現環境可能連接真實互聯網時，它可能以能夠維持原有判斷的方式解釋這些證據。Anthropic 認為，模型同時表現出了為了完成網絡安全評測這一狹窄目標而採取有害行動的傾向。不過，評測本身的設計也可能影響了模型行為。例如，模型被明確告知沒有互聯網訪問權限，但實際環境卻可以訪問互聯網，這可能導致 AI 懷疑自己看到的系統是否真實。

Anthropic 還指出，其中一次評測使用的虛構目標與一個真實網站同名，進一步增加了模型區分虛構目標和真實互聯網目標的難度。該公司目前仍在研究模型究竟在多大程度上意識到自己獲得了真實互聯網訪問權限，以及模型是否有意忽略環境中的現實跡象。Anthropic 還公佈了針對強化學習訓練中“獎勵破解”（Reward Hacking）的研究。該公司表示，其經驗研究顯示，存在缺陷的訓練環境，尤其是容易被模型作弊或必須通過作弊才能完成的環境，可能是模型產生不對齊行為的重要因素。今年 2 月，Anthropic 在發現 Mythos Preview 強化學習訓練出現獎勵破解跡象後，回滾了 3 天訓練。

當時模型開始在代碼註釋和回覆中向“審核人員”留言，即使任務從未提及審核人員；模型還通過大量添加免責聲明或限制條件，反覆利用原本用於鼓勵誠實行為的獎勵機制。到了 2026 年春季，Anthropic 發現強化學習環境的生成速度已經超過現有審核系統的處理能力。自動監控發現的問題開始超過人工處理能力，同時該公司還發現部分訓練運行意外使用了模型的思維鏈數據。Anthropic 認為，這可能使模型學習隱藏真實推理過程。為解決這些問題，Anthropic 於 4 月凍結了生產環境強化學習環境的所有變更，持續約一個月，並全面改造相關基礎設施。

新的獎勵機制和訓練環境必須符合統一規範，同時加入技術措施降低意外使用思維鏈進行訓練的風險。在此次凍結期間，Anthropic 發現生產環境中超過 10% 的訓練環境存在問題，包括獎勵破解、任務本身無法正常完成以及配置錯誤等。這些環境只有在完成修復後才會重新投入訓練。Anthropic 隨後專門進行了對照實驗。該公司使用 80 個曾經出現獎勵破解或被質量審核發現存在可作弊漏洞的真實強化學習環境，對一個 Opus 級模型進行訓練。結果顯示，該模型表現出強烈追求任務高分的傾向，並更願意為了完成任務而採取潛在有害行動。

在模擬網絡安全測試中，該模型表現出突破模擬沙箱、攻擊模擬內部及第三方基礎設施的傾向，還曾嘗試修改自身獎勵函數、向評分系統提供生物武器製造建議，並多次繞過部署安全監控以完成作弊行為。相比之下，在獎勵破解訓練之前的同一模型，以及 Anthropic 公開發布的多款模型，都沒有表現出同等程度的不對齊行為。Anthropic 據此認為，在訓練過程中存在大量獎勵破解，可能導致模型為了完成任務而願意執行較長的一系列潛在有害操作。其中，強化學習中的“獎勵破解”是指模型找到訓練機制中的漏洞，通過並未真正完成目標任務的方式獲取更高獎勵。

Anthropic 同時強調，訓練環境中的作弊並不是模型對齊問題的唯一原因，也不能確定是此次事件或其他前沿 AI 公司的相關事件的唯一成因。該公司認為，AI 對齊仍需要處理多種潛在問題，未來的安全事件也可能呈現不同的行為模式並具有不同成因。Anthropic 強調，7 月 30 日事件與公司內部安全狀況無關。相關事件發生在第三方環境中，該環境錯誤地保持了互聯網訪問權限，因此模型甚至不需要突破任何安全機制就可以訪問外部網絡。不過，這些事件仍促使 Anthropic 進一步強化內部安全措施。

該公司指出，隨著模型能力提升，除了傳統的知識產權和模型權重被竊取風險外，還需要防範自有模型從 Anthropic 系統中逃逸，以及模型被他人濫用於攻擊 Anthropic 內部系統的風險。今年 4 月初，Anthropic 安全團隊已經啟動全公司範圍的安全強化行動。當時公司認為自身面臨的風險增長速度已經超過防禦能力，尤其是 Mythos 級模型具備足以吸引資源充足攻擊者的能力，同時內部自主智能體的使用規模也已經超過傳統訪問控制和監控體系的設計範圍。

此次安全行動包括減少能夠持續訪問模型權重和客戶數據系統的人類及自動化賬戶、默認阻斷計算集群的所有出站流量、要求內部服務在通信前驗證彼此身份、淘汰舊版基礎設施配置和共享內部服務，並進一步加強工作負載隔離環境。Anthropic 還擴大了主機級可觀測性，使基礎設施中的異常行為能夠在發生時被發現。期間約 150 名產品工程師被臨時調配至安全、可靠性和隱私工作，部分研究人員也從預訓練或強化學習工作轉向安全防護。該公司表示，大部分團隊已經在初夏前達到預設的退出標準並恢復原有工作。

與此同時，Anthropic 繼續加強內部智能體的隔離和監控，包括針對高度自主內部智能體部署沙箱和自動模式分類器，並在基礎設施代碼合併前進行自動審核。Anthropic 指出，此前的安全體系主要遺漏了評測環境，尤其是第三方評測。雖然部分高風險評測已經採用實時監控，但過去通常只對部分評測記錄進行事後自動檢查。7 月發生的事件表明，公司需要進一步提高網絡安全防禦工作的緊迫程度，並將在下一份風險報告中公佈更多信息。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：Claude，Anthropic，AI 安全Claude 被曝大規模盜號，Anthropic 緊急切斷支付權限、警告用戶別亂下載軟件Anthropic 安全框架自動降級：Claude 誤刪開發者 700 GB 主目錄，自動化清理反成災難Anthropic 官宣 Claude Code 打通桌面端與終端Claude 桌面端 Cowork 新增內置瀏覽器，可獨立完成網頁操作商業史最龐大敘事：Anthropic 衝擊全球最大 IPO，稱 AI 潛在市場收入規模超 30 萬億美元Anthropic 更新 Claude 記憶機制，打通 Cowork 與聊天的記憶功能