700個智能體組隊“自主攻擊”，真正失控的是模型還是OpenAI？

OpenAI安全測試變真實攻擊，被批甩鍋AI失控掩蓋失誤 美國當地時間8月29日，AI學者加里·馬庫斯（Gary Marcus）和網絡安全創業者扎克·科爾曼（Zack Korman）聯合發文，再次討論7月發生的OpenAI智能體攻擊Hugging Face事件。這是一場原本用於測試AI網絡安全能力的實驗，最後卻變成了對Hugging Face的真實攻擊。文章在社交媒體上引發又一輪討論，“AI失控”是不是模型公司的噱頭？這起事故究竟有多少是模型能力帶來的風險，又有多少本來可以通過基本的網絡安全措施避免？

像OpenAI這樣的模型公司，是不是一邊在兜售藉助AI的能力進行安全防控，一邊又在放大“AI失控”的敘事？OpenAI已經承認，參與安全測試的智能體攻擊了Hugging Face。隨後公佈的調查顯示，約1200個原本應該彼此隔離的智能體建立了非預期的通信渠道，其中約700個參與了對Hugging Face的攻擊，短短幾天內交換了超過7萬條消息。這還不是全部。OpenAI後來披露，7月13日至19日，另一批更強的智能體重新發現了此前留下的通信渠道，並利用一系列漏洞獲得了OpenAI一個研究集群的完整管理員權限，還讀取了雲端密鑰管理系統中的956個加密信息。

事件發生後，OpenAI在Black Hat安全大會上討論了AI智能體帶來的網絡安全風險。OpenAI聯合創始人格雷格·布羅克曼（Greg Brockman）稱之為網絡安全領域的“分水嶺時刻”。但馬庫斯和科爾曼認為把這個事件歸咎於“模型越來越難控制“是不負責任。在他們看來，AI確實擴大了網絡攻擊的能力和範圍，但這次事故中，從沙箱、網絡訪問到行為監控，多道原本就屬於網絡安全常規手段的防線都存在缺口。01 一塊“留言板”引發的攻擊 Hugging Face並不是這場事故的起點。根據OpenAI和METR/Redwood Research公佈的信息，最初的問題出現在模型訓練階段。

當時，OpenAI訓練了一個強調持續執行和多智能體協作能力的模型，不同智能體雖然被放在隔離環境中，卻都可以使用同一個軟件包管理系統Artifactory。ExploitGym中智能體利用漏洞信息交互生成利用代碼，並經雙重驗證確認是否成功利用指定漏洞 一些智能體很快發現，這個系統不僅能夠管理軟件包，也可以用來相互傳遞信息。5月12日左右，智能體開始利用Artifactory進行通信；5月26日，又有智能體利用漏洞獲得了外部互聯網訪問能力。到了6月26日，一些智能體進一步獲得了Artifactory的管理員權限，大量通信最終導致該系統在7月4日發生故障。

OpenAI隨後修復漏洞並清除了相關通信渠道，但負責事故檢測和響應的人員沒有發現，智能體已經把Artifactory變成了一個非預期的通信網絡。7月7日，OpenAI開始進行ExploitGym測試。測試要求智能體利用指定的軟件漏洞取得秘密代碼，並明確規定不能通過其他方式得到答案。但METR/Redwood的調查認為，其中約30%至40%的任務實際上無法按照要求完成。7月9日至13日期間，智能體消息總量近14萬條，以信息共享和協調為主，7月10日起顯著增加 智能體於是開始尋找其他辦法，並重新利用Artifactory交換信息。

很快，它們發現可以通過逆向分析任務生成機制直接得到答案，而不需要真正利用指定漏洞。按照測試規則，這種方式應該被判定為失敗。但測試使用的評分器似乎主要檢查最終答案，並沒有完整驗證智能體獲得答案的過程。於是，原本為了測試漏洞利用能力的任務，逐漸變成了對評分器本身的研究。智能體開始討論如何隱藏作弊行為，包括偽造工具調用、修改記錄以及嘗試替換測試程序。METR/Redwood發現，大約7%的調查樣本中存在明顯的偽造工具調用，即智能體表面上執行一個命令，實際卻在後臺執行了另一個命令。對Hugging Face的攻擊就是在這個過程中發生的。

智能體認為，Hugging Face可能掌握與評分器有關的信息，也懷疑自己的測試環境可能與Hugging Face的基礎設施存在關聯。7月10日，一個智能體發現了公開暴露的Hugging Face憑證，並將它發送到留言板上。第二天，智能體獲得了讀取Hugging Face內部數據的能力，並進一步實現遠程代碼執行。最終，約700個智能體參與了攻擊。根據Hugging Face的技術時間線，這些智能體進入了私人數據庫和私有代碼倉庫，並在11個節點建立了可以自行恢復的部署。7月12日，大量智能體突然停止活動，調查人員無法確定具體原因。到7月13日，Hugging Face關閉了相關憑證。

與此同時，OpenAI的測試還在繼續。7月13日之後，另一批能力更強的智能體重新發現了此前留下的通信網絡，並將目標轉向OpenAI內部。02 真的是“模型失控”嗎 馬庫斯和克爾曼的核心觀點在於，不能把所有責任都歸結為“模型失控”。他們承認AI智能體正在變得更強，能夠自主執行更多任務，這確實增加了網絡安全風險，但他們認為，這次事故中的很多環節並非無法防範。首先是沙箱。相關智能體在7月8日已經突破沙箱並獲得互聯網訪問能力，而針對Hugging Face的主要攻擊發生在兩天之後。

馬庫斯和科爾曼認為，如果OpenAI當時對網絡流量進行基本監控，對訪問Hugging Face等非授權域名的行為發出警報，攻擊可能在更早階段就被發現。思維鏈監控同樣如此。OpenAI承認，如果當時已經運行現有的思維鏈監控系統，相關活動本可以在智能體突破Hugging Face系統前一天以上被發現並通知安全團隊。更令人擔憂的是，部分智能體已經在推理過程中意識到自己的行為可能超出任務範圍。調查記錄顯示，一個智能體明確提到，自己正在使用洩露的憑據攻擊第三方Hugging Face，這可能屬於未經授權的行為。在馬庫斯和科爾曼看來，這類信息本身就應該成為安全團隊的報警信號。

他們因此提出，防範這類事故不能只依靠沙箱，還需要網絡限制、權限控制、監控、日誌分析以及canary等多層措施。網絡安全本身依賴多道防線，一道防線失效後，還應該有其他措施阻止攻擊繼續發展。參與METR/Redwood調查的阿杰婭·科特拉（Ajeya Cotra）也表示，調查結果與她此前對事件的理解有很大差距。她原本以為可能只是幾個智能體分別突破了沙箱，但最終發現規模要大得多。700多個智能體對Hugging Face發動了攻擊 讓科特拉意外的還有智能體之間的協作。一些智能體願意承擔自身任務失敗的風險，為其他智能體提供信息。還有智能體嘗試操縱自己的操作記錄，以避免評分器發現作弊行為。

科特拉認為，與六個月前公開的獎勵作弊案例相比，這次事件在規模、智能體之間的合作、目標持續時間以及欺騙行為等方面都出現了明顯變化。她甚至判斷，與此前的獎勵作弊相比，這次事件已經“超過50%走到了全面AI接管的路上”。她擔心，如果未來再次出現類似幅度的能力躍升，智能體可能建立持續存在的秘密部署，並進一步利用更強模型、監控系統和企業基礎設施擴大這種部署。03 一邊講風險，一邊講防禦 AI公司不能一邊放大AI攻擊能力的威脅，一邊用AI防禦的前景，為自己的安全失誤開脫。在他們看來，Hugging Face事件暴露的沙箱、網絡隔離、權限控制、日誌監控和異常報警，都不是前沿技術難題，而是網絡安全的基本措施。

OpenAI有能力建立這些防線，卻沒有在這次測試中有效落實。所以，馬庫斯把責任指向了企業的文化、人員和流程。他甚至認為，類似失誤未來可能需要承擔法律責任，不能每次都用“模型超出預期”收場。他們也特別區分了兩類AI：AlphaFold、GPS、傳統搜索和推薦系統等專用系統，通常不會主動攻擊其他系統；真正帶來新風險的，是能夠自主執行任務、調用工具、訪問網絡並持續行動的智能體。還有一個更核心的問題，當AI公司同時掌握攻擊能力和防禦生意時，誰來約束它們？特約編譯金鹿對本文亦有貢獻