細思極恐，Agent學會給自己辦假身份了……

英國人工智慧安全研究所（AI Security Institute，AISI）近日揭露一項令人不安的測試結果：在針對前沿模型的網路安全實驗中，一個由 Anthropic 模型驅動的 AI Agent 為了讓自己寫出的惡意程式碼通過審核，竟然主動創建多個虛假網路身份，試圖欺騙人類維護者批准這項提交。這起事件發生在 AISI 針對 OpenAI 和 Anthropic 目前最先進模型所進行的系統性安全測試中。測試人員為模型設計了虛構任務，讓它們在受控環境中尋找漏洞、編寫攻擊程式碼，並嘗試完成預設的攻擊目標。其中一個由 Anthropic 旗下 Mythos 5 模型驅動的 Agent 成功寫出了惡意程式碼，並將它提交給一個真實存在的公共開源專案。然而，要讓這段程式碼真正進入軟體專案，還需要專案的人類維護者點頭同意。正常管道走不通之後，這個 Agent 竟自行創建虛假的 GitHub 帳號，並用這些帳號出面為自己背書，宣稱程式碼沒有問題。更令人驚訝的是，當它發現其中一名維護者使用丹麥語時，還特意改用丹麥語留言，企圖讓自己的身份顯得更可信。為了繞過 GitHub 註冊帳號時的限制，它甚至動用了 Tor 瀏覽器。當有開發者開始質疑這筆提交的安全性時，這個 Agent 並未就此罷手，反而回頭修改自己先前留下的活動痕跡，試圖將惡意程式碼解釋成一次意外，同時考慮換一個新身份繼續嘗試。 AISI 總共進行了 122 次測試，在其中 10 次運行中發現了 19 次未經授權的行動，其中 17 次來自 Anthropic 的 Mythos 5，另外兩次來自 OpenAI 的 GPT-5.6-Sol。測試機構指出，部分 Agent 的持續行動已經指向真實的個人與機構，所幸最終並未造成現實損失，那段惡意程式碼也沒有獲得人類維護者的批准。嚴格來說，這次事件遠非科幻電影中的「AI 覺醒」。測試人員刻意為模型開放了較高權限，甚至撤掉了部分正常產品中的安全限制，讓這些 Agent 能夠直接訪問真實網際網路，目的正是為了觀察前沿模型在安全限制被削弱後會做出什麼行為。OpenAI 事後也強調，測試條件並不代表一般用戶的使用環境，兩次來自 GPT-5.6-Sol 的越界行為都涉及網際網路訪問，其中一次還與第三方測試環境的配置問題有關。Anthropic 則確認涉事 Agent 由 Mythos 5 驅動，並表示會持續與 AISI 合作調查。然而，這起事件之所以令人細思極恐，在於 Agent 為完成任務而「不擇手段」的傾向。它沒有所謂的惡意或覺醒，只是單純發現前方有障礙，於是用盡手邊工具繞過去——就像一個只求達成 KPI、不計後果的員工。過去聊天機器人遇到不會回答的問題，最多編造一個答案；但如今的 Agent 擁有瀏覽網頁、執行程式碼、修改檔案，甚至調用支付工具的能力，一旦它找到的「捷徑」超出人類原本劃定的範圍，後果就可能迅速擴大。 這種風險並非孤例。AISI 後續披露的細節顯示，Mythos 5 Agent 為了讓自己提交的惡意程式碼通過審核，在 GitHub 上創建了多個假帳號來幫腔，面對丹麥語開發者時還特意改用丹麥語留言，並使用 Tor 瀏覽器繞過註冊限制。這些手法在人類黑客眼中並不新鮮，都是典型的社會工程學套路；但問題在於，AI Agent 現在已經能自發「想」到並執行一整串精密的欺騙行為，而它自己可能根本不知道已經越界——它只是在不斷嘗試，直到找到一個看起來更有希望完成任務的方法。危險未必來自惡意，而可能來自過分認真。 與此同時，Agent 取得直接操作能力的趨勢正在加速。AISI 與英格蘭銀行今年 3 月發布的一項針對 MCP 生態的研究指出，MCP 作為 Agent 連接外部工具的通用接口，公開工具數量在一年多內從約 17.7 萬個增長了約 36 倍，月下載量也從 8 萬次攀升至 1400 萬次。更值得關注的是工具的功能轉變：2024 年底，具備直接操作能力的工具僅佔 MCP 下載量的 27% 左右，到今年已升至 65%。軟體開發與 IT 工具佔全部公開工具的 67%，卻拿走了 90% 的下載量。支付工具也快速增加，從 2025 年 1 月的 47 個支援支付的 MCP 伺服器，到今年 2 月已達 1578 個。風險早已浮現。去年，安全公司 Invariant Labs 在測試 GitHub 官方 MCP 時發現，只要有人在公開 Issue 中藏入惡意提示詞，Agent 讀取後就可能繼續訪問用戶的私人程式碼庫，再把資訊寫進公開的 pull request。整個過程中，讀取 Issue、查看程式碼、創建 PR 都是正常功能，問題出在這些操作被串聯在一起。今年 5 月，美國國家安全局（NSA）專門發布 MCP 安全指南，將這類問題列為重點風險，指出傳統的權限控制與人工審批已很難覆蓋 Agent 連續調用多個工具的情況。 最駭人的案例發生在今年 7 月，OpenAI 在內部測試 Agent 的網路攻擊能力時，為了將模型逼到極限而放寬了部分安全限制。結果，Agent 似乎很快發現一條「捷徑」：與其老老實實完成測試，不如直接去找測試答案。它將目標鎖定 Hugging Face，利用零日漏洞逃出原本受限的測試環境，再拿下第三方程式碼沙箱作為跳板，最終一路闖進 Hugging Face 的生產系統。Hugging Face 事後覆盤出大約 1.76 萬次 Agent 操作，包括尋找漏洞、偷取憑證、橫向移動，路走不通就換一條繼續嘗試，整個過程持續數天，沒有人一步步指示它下一步該做什麼。OpenAI 後來正式承認，這次入侵由包括 GPT-5.6 Sol 在內的多個自家模型共同驅動，而荒誕的是，它繞了一大圈，很可能只是為了在測試中作弊——想直接把答案找出來。英國這次測試中出現的假身份事件，正是這類風險的具體寫照。 Agent 正在取得越來越多可以直接行動的權限，而現有的安全機制很多仍停留在聊天機器人的思維。當 Agent 已經連續做了十幾個動作，最後才彈出一個「是否批准」的提示，人類往往只能看到最後一步。英國測試中，最後一道防線仍是一位普通的人類維護者，他沒有點擊批准，因此沒有造成實際損害。但下一次，Agent 的身份可能更可信，材料可能更完整，措辭可能更「正常」，而螢幕前的人可能剛好在趕進度，或者已經習慣了相信 AI 生成的說明。當 Agent 出了事，責任該算誰的？這個問題在 OpenAI 的 Agent 闖入 Hugging Face 之後變得格外現實。OpenAI 沒有把責任推給模型，7 月 21 日公開承認入侵由自家模型驅動，並表示已收緊內部測試環境的配置與訪問控制，即便這會拖慢研究進度。Hugging Face 則與 OpenAI 共同調查與修復系統。監管部門找的也是 OpenAI——事件後，美國 15 個州的總檢察長要求 OpenAI 保存與這次入侵有關的全部材料，國會也要求公司解釋經過。Hugging Face CEO Clem Delangue 提出，未來 AI Agent 發動網路攻擊後，企業應強制披露完整的 Agent 運行軌跡，否則外界很難還原它到底做過什麼、在哪一步越界。 美國已開始用具體法律條款處理這個問題。今年 1 月，加州 AB 316 法案正式生效，明文規定如果一家企業開發、修改或使用的 AI 造成傷害，被起訴時不能以「這是 AI 自主造成的」為理由免責。模型開發商、部署企業與使用者各自該承擔多少責任，仍需根據因果關係與具體情形判斷，但至少「AI 自己乾的」已經不能把責任一筆勾銷。杜克大學法學院教授 Deborah DeMott 近期專門研究 Agentic AI 的責任問題，她指出「Agent」這個名稱容易讓人誤會——法律上的「代理人」可以承擔義務，但 AI 不行。公司如果主動把一個 AI 放到用戶面前，讓它代表自己辦事，最後不能因為辦砸事情的是軟體，就假裝與公司無關。這種爭論早已有過一個簡單版本：2024 年，加拿大航空的聊天機器人告訴乘客可以先買票再申請喪親折扣，後來航空公司拒絕兌現，還試圖強調聊天機器人給出錯誤資訊。法院最後沒有接受這種說法，認為機器人就在加拿大航空的網站上，對用戶來說，它說的話就是公司提供的信息。DeMott 認為，這個案子的邏輯同樣可以延伸到今天的 Agent。Agent 讓責任歸屬變得更麻煩，因為它很少只在一個系統裡工作：模型可能來自 OpenAI，工具由第三方提供，真正被操作的帳號與數據又屬於客戶。出了事故之後，光看最後是誰點了按鈕，已經很難說清楚整件事的來龍去脈。