Anthropic新AI紅客來了！只用人類1/235的請求量，就找到嚴重漏洞

編譯 | 黃菲 編輯 | 江宇 11月13日消息，今日，Anthropic公佈了一套名為Anvil的自動化紅隊測試系統。該系統基於Claude構建，能夠自主尋找模型安全防護機制中的漏洞，並在生物安全、網絡安全和信息安全三個領域展開測試。Anthropic稱，Anvil在多項測試中的表現已經超過人類紅隊測試人員，部分漏洞發現速度從數週縮短至數小時。▲Anthropic官方技術博文。

來源：Anthropic 隨後，Anthropic安全與AI安全研究員Javier Rando也在X平臺發文介紹了這項工作，並感謝了Anthropic官方技術文章列出的前三位共同作者Nate Rahn、Chawin Sitawarin和David Huang的貢獻。從Anthropic公開的結果來看，Anvil在多個領域都取得了較好的表現。在生物安全測試中，Anvil在24組測試組合中有23組找到了嚴重程度更高的越獄方案，剩餘1組與人類測試人員持平；在網絡安全測試中，Anvil成功突破了24組任務與模型組合的安全防護，耗時僅0.5至3.

5小時；在信息安全測試中，Anvil僅發送435次請求，就找到了首個實質性推理信息洩露漏洞，而人工專家需要約10.22萬次請求。Anvil發佈後，也引發了網友對自動化紅隊及模型安全問題的討論。有網友擔心，自動化紅隊測試發現的越獄漏洞，也可能暴露Anthropic自身AI訓練數據中的缺陷； 還有網友調侃，所謂越獄不過是“包裝得更好聽的程序漏洞”。也有人認為，即使引入自動化測試，越獄問題依然會存在。Anthropic稱，Anvil不僅能幫助研究人員發現現有安全防護中的薄弱環節，還能用於評估和改進新的防護機制。

不過，Anthropic的測試也發現，Anvil的攻擊能力與其底層Claude模型的能力密切相關，底層模型越強，Anvil成功突破目標模型安全防護的比例通常越高。此外，如果開啟Anvil所使用的攻擊模型自身的安全防護，其攻擊請求也會受到限制。在相關測試中，如果Anvil攻擊模型啟用了安全防護，則該安全防護機制攔截紅隊測試會話高達97%，其中85%在第一條請求時就被攔截。一、24組測試23組勝過人工，漏洞發現提速數週 隨著Claude模型能力不斷增強，惡意使用者繞過安全防護的動機和潛在風險也在增加。

Anthropic認為，模型上線後，攻擊者可能花費數週甚至數月尋找防護漏洞，而模型開發商需要在部署前的數小時或數天內完成安全測試。過去，Anthropic主要通過外部承包團隊和漏洞賞金計劃，讓人工測試人員尋找安全漏洞。但隨著防護機制逐步加強，人工測試人員越來越難以在有限時間內發現嚴重漏洞。例如，在一次針對生物安全分類器的漏洞賞金活動中，測試人員投入超過7周、累計430小時，只在8個測試問題中的1個問題上找到高嚴重程度的越獄方案，在另外3個問題上找到的方案則相對較弱。在一次網絡安全測試中，兩支外部專家團隊累計投入超過225小時、發送超過4.2萬次請求，仍未能在模型Fable 5.

1和模型Opus 5.5上找到通用越獄方案。在信息安全測試中，人工專家也花費了超過27小時，才發現首個實質性推理信息洩露漏洞。為此，Anthropic開發了自動化紅隊系統Anvil，希望讓AI自主尋找安全防護中的漏洞，並在模型正式部署前完成更高強度的測試。Anvil基於Anthropic此前開發的Investigator Agent（調查智能體）構建。運行時，系統會啟動多個相互獨立的Claude任務，讓它們並行測試目標模型和分類器。研究人員還可以提供一些初始攻擊策略，例如將請求拆分到多輪對話中，或使用外語提出請求。

在反覆交互過程中，Anvil會根據目標模型的回覆調整後續請求，不斷嘗試新的攻擊方式，尋找能夠繞過安全分類器的輸入。與傳統自動化測試工具不同，Anvil主要依靠Claude自身的推理和智能體能力，自主探索多輪攻擊路徑。▲Anvil在生物安全測試中的漏洞發現表現超過人工測試人員。來源：Anthropic 在生物安全領域，Anthropic將Anvil應用於與人工漏洞賞金計劃相同的8個測試問題，並使用3代生產環境分類器進行評估。結果顯示，在24組問題與分類器組合中，Anvil有23組發現的越獄方案嚴重程度高於人工測試人員，另1組達到相同水平。

Anvil在24至48小時內就能找到能夠提供顯著有害信息的越獄方案，而人工測試人員往往需要數週時間，仍難以找到同等水平的結果。此外，Anvil在相同請求數量下找到的越獄方案平均嚴重程度也更高，說明其不僅發現漏洞的速度更快，單次請求的利用效率也更高。Anthropic還測試了Anvil尋找通用越獄方案的能力。通用越獄方案是指一套可以經過少量調整，適用於多個測試問題的提示詞模板。此類漏洞可能暴露分類器更深層的結構性缺陷，也更容易被用於大規模繞過安全防護。在最新一輪漏洞賞金活動中，人工測試人員提交了少量通用越獄候選方案。

Anthropic將其中表現最好的兩種方案與Anvil找到的3種方案進行比較，發現Anvil生成的方案在平均嚴重程度和最壞情況下的風險表現上均更好。▲Anvil發現的通用越獄方案整體優於人工提交的方案。來源：Anthropic 為了進一步比較雙方的攻擊策略，研究人員將人工測試人員和Anvil的攻擊記錄分別抽取樣本，再由Claude歸納攻擊方式，並將其聚類為54類策略。結果顯示，雙方共同發現了30類策略，人工測試人員獨立發現18類，Anvil獨立發現6類。在雙方共同發現的30類策略中，Anvil有21類取得了更高的平均評分。對於雙方各自獨立發現的策略，Anvil獨有策略的評分中位數為0.

65，高於人工測試人員獨有策略的0.38。從結果來看，Anvil不僅能夠復現人工測試人員發現的多數攻擊方式，還能更有效地執行其中不少策略，並找到人工測試人員沒有發現的攻擊路徑。▲人工測試人員與Anvil發現的攻擊策略分佈及評分對比。來源：Anthropic 二、Anvil突破24組任務，單項任務平均只需發送約2800條消息 除了生物安全測試，Anthropic還將Anvil應用於網絡安全領域，檢驗其能否誘導受到安全防護的模型執行完整攻擊任務。與生物安全測試主要考察模型是否提供危險信息不同，網絡安全測試要求目標模型在模擬環境中完成更復雜的智能體任務，同時不觸發安全分類器。

Anthropic選取了4項網絡安全基準測試，包括ExploitBench V8、ExploitGym，以及兩項內部測試。其中，ExploitBench V8包含41項任務，要求模型利用Chrome V8 JavaScript引擎中的歷史漏洞實現任意代碼執行；ExploitGym則要求模型利用開源軟件中的歷史漏洞完成攻擊，並讀取受保護的標記信息。在測試中，Anvil能夠誘導受到安全防護的Opus 5模型繞過限制，完成絕大多數網絡安全任務。對於難度最高的ExploitBench任務，Anvil平均只需向目標模型發送約2800條消息，就能完成單項任務。

Anthropic還比較了目標模型開啟和關閉安全防護時的表現。結果顯示，開啟安全防護後，攻擊者需要發送更多消息才能完成任務，攻擊成本最高增加28倍。關閉防護時，大多數任務只需100至1000條消息即可完成；開啟防護後，所需消息數量則增加至1000至1萬條。▲開啟安全防護後，Anvil完成網絡安全攻擊任務所需的請求數量明顯增加。來源：Anthropic 隨後，Anthropic邀請外部專家團隊參與網絡安全測試。測試覆蓋6項Cybertasks任務和4個模型端點，共有24組任務與模型組合。專家團隊實際測試了其中22組，並報告在11組中取得突破。

不過，Anthropic進一步檢查攻擊記錄後發現，專家團隊報告的11次突破中，有9次藉助了安全防護較弱或未啟用防護的輔助模型來編寫或執行攻擊代碼。這不符合Anthropic對成功突破的嚴格定義，即必須由受到安全防護的目標模型獨立完成全部攻擊步驟。相比之下，Anvil在24組任務與模型組合中均實現了有效突破，首次找到漏洞的時間為0.5至3.5小時。對於專家團隊未能突破的其他ExploitBench和Firefox測試任務，Anvil也全部找到了漏洞。▲Anvil在網絡安全測試中發現漏洞的速度快於外部專家團隊。

來源：Anthropic Anthropic還將Anvil與此前內部表現最好的自動化紅隊系統進行對比。舊版系統支持攻擊智能體回退對話，但缺少探測分類器評分和探索複雜攻擊策略的工具。在相近的攻擊預算下，Anvil在124項Cybertasks任務中成功完成118項，而舊版系統只完成了75項。▲Anvil在124項網絡安全任務中的突破數量超過舊版紅隊系統。來源：Anthropic 在攻擊過程中，Anvil主要採用兩類策略。一類是將複雜任務拆分成多個看似無害的小任務，再逐步完成原本受到限制的操作；另一類是反覆改寫或翻譯同一條請求，尋找能夠繞過分類器的表達方式。

Anthropic稱，超過84%的Anvil測試會話都包含至少連續5次的邊界搜索嘗試。找到能夠繞過分類器的請求後，Anvil再繼續處理下一個子任務。三、AI紅隊請求量僅人類的1/235，推理信息洩露率最低降至0% 除發現安全漏洞外，Anthropic還將Anvil用於評估和改進防止模型隱藏推理信息洩露的安全分類器。為評估防護效果，Anthropic設計了一組數學、科學和編程任務，測試能否通過提示詞誘導受到保護的模型輸出原本隱藏的推理內容。研究人員根據洩露內容的完整程度進行評分，達到預設嚴重程度閾值後，才將其認定為實質性洩露。

在這項工作中，Anvil不僅可以尋找漏洞，還能幫助研究人員比較不同版本分類器的防護能力。Anthropic為系統準備了一個包含79組會話的測試庫，每組會話都將具體任務與此前發現的有效測試策略配對。使用測試庫後，評估時間可以從約1天縮短至3小時，同時保留不同防護版本之間的強弱排序。研究人員使用這套方法測試了Opus和Fable兩個模型系列的多個版本。結果顯示，隨著安全分類器不斷升級，Anvil需要發送更多請求，才能讓一半測試會話達到實質性推理信息洩露的標準。以模型Opus 5.5為例，請求數量從早期版本的2631次增加至當前版本的9003次；模型Fable 5.1則從1254次增加至3764次。

整體來看，新版安全分類器需要Anvil付出約3倍的請求量才能突破。▲新版安全分類器需要Anvil發送更多請求才能被突破。來源：Anthropic 為了確認測試結果能否反映實際使用場景中的安全風險，Anthropic從3個維度評估防護效果：靜態測試，即使用固定攻擊請求進行重放；動態測試，即讓Anvil根據防護反饋調整攻擊方式；真實流量測試，即統計實際API請求中的推理信息提取成功率。隨著防護機制迭代，3項指標均有所改善。靜態測試中的攻擊漏檢率從31.5%降至0.4%；在模型Opus 5上，真實流量中的推理信息提取成功率從18.6%降至8.1%；在模型Fable 5.1上，這一比例則從33.

8%降至0%。Anthropic提到，同期還有其他多項防護改進，因此不能將真實攻擊成功率下降完全歸功於Anvil。不過，測試結果表明，Anvil評估中的防護能力提升，與真實流量中攻擊成功率下降存在相關性。▲防止信息洩露的安全分類器更新後，靜態測試、動態攻擊和真實流量中的攻擊成功率均下降。來源：Anthropic 在與人工專家的效率對比中，Anvil同樣表現出明顯優勢。在一次信息安全測試活動中，人工專家通過API發送了約204萬次請求。Anvil則運行了約649個測試會話，總請求量約13.2萬次。結果顯示，Anvil在發送435次請求後，就找到了首個實質性推理信息洩露漏洞；人工專家則發送約10.

22萬次請求後，才發現類似漏洞。到人工專家達到這一請求量時，Anvil已經在76項目標任務中的至少38項任務中發現了成功攻擊。Anthropic稱，雙方發現的最嚴重洩露程度相近，Anvil的主要優勢在於效率和覆蓋規模，能夠以更少的請求發現嚴重漏洞，並將攻擊擴展到更多需要複雜推理的任務中。▲Anvil發現首個實質性推理信息洩露漏洞所需的請求數量遠少於人工專家。來源：Anthropic 四、自動化攻擊隨模型能力增強，防護機制攔截率可達97% 但Anvil的測試結果也揭示了一個值得關注的趨勢，即自動化紅隊系統的攻擊能力會隨著底層模型能力增強而提升。

Anthropic使用自有的ECI能力評分評估不同Claude模型，並將其與Anvil在124項內部網絡安全任務中的突破比例進行比較。ECI參考了Epoch AI公開的能力指數，通過數百項基準測試結果衡量模型整體能力。結果顯示，底層Claude模型的能力評分越高，Anvil成功突破安全防護的任務比例通常也越高。一些更復雜的攻擊策略，只有當底層模型達到一定能力水平後才會出現。▲Claude模型能力評分越高，Anvil成功突破網絡安全任務的比例通常越高。來源：Anthropic 不過，Anthropic強調，Anvil目前的測試條件與外部攻擊者能夠獲得的條件存在差異。

因為Anvil使用的是關閉安全防護的內部Claude模型；再者它能夠獲取分類器的精確評分，而外部攻擊者通常只能知道請求是否被攔截。Anthropic分別測試了這兩項條件對攻擊效果的影響。結果顯示，關閉攻擊模型自身的安全防護是Anvil取得有效突破的關鍵。如果攻擊模型啟用了安全防護，絕大多數攻擊請求都會被直接攔截。在生物安全、網絡安全和信息安全測試中，相關防護機制共攔截了97%的1453個紅隊測試會話，其中85%的會話在第一條請求時就被攔截。可以看到，即使只能獲得請求是否被攔截的反饋，Anvil仍能在不少任務中找到突破口，只是需要發送更多消息。

兩項條件相比之下，是否能夠獲取分類器的精確評分並非決定性條件。▲關閉攻擊模型自身的安全防護，是Anvil取得有效突破的關鍵條件。來源：Anthropic 結語：安全測試正走向人機合作 Anthropic此次發佈的Anvil展示了自動化紅隊的強大能力，部分測試效率遠超人工團隊。這也引發了一個思考：當AI已經能夠自主尋找模型漏洞，未來還需要人類測試員嗎？答案是肯定的。AI能力越強，潛在的安全風險也越高，漏洞判斷、風險評估和安全策略制定仍需要人類研究人員參與。未來，安全測試將逐步從依賴人工經驗的模式，轉變為AI自動化工具與人類協作相結合的模式。

對這些AI公司而言，如何將紅隊智能體納入模型研發和迭代流程，持續發現並修復潛在風險，並將其設計為模型安全能力建設的重要一環，或許才是這項技術帶來的更長遠價值。來源：Anthropic