從沙箱逃逸到 AI“蠕蟲”，OpenAI 上線新站披露多起智能體失控事件

作者：遠洋 責編：遠洋 評論： 9 月 29 日消息，當地時間上週五，OpenAI 上線了一個專門發佈“對齊失效報告”的新網站。報告所覆蓋的範圍之廣令人警惕，裡面記錄了很長一段時間內發生的多類 AI 失控行為。截至目前，該網站一共公佈了九起事件，其中大多數都發生在強化學習（RL）訓練階段。大量資料集中在同一平臺發佈。顯而易見，該公司一直在全力梳理各類問題，但從中不難得出一個總體結論：到目前為止已經對外披露的智能體失控事件，或許僅僅是實際發生過的一小部分。

注意到，OpenAI CEO 薩姆 · 奧爾特曼（Sam Altman）在一篇發佈帖文中，就新網站一事表示：“我們一方面希望提升透明度，另一方面還要從數 PB 規模的智能體活動日誌當中理清事實，同時和受影響的機構開展協作。我們正盡力按照嚴重程度劃分優先級，並增加相關資源。”部分案例屬於性質嚴重的事故，其中就包括此前從未公開過的一起沙箱逃逸事件。該事件發生於 9 月 20 日，一款內部研究模型藉助 DNS 查詢，實現了與外部聊天機器人的通信。報告顯示，監控系統在 15 分鐘之內就識別出該異常行為，不到三小時便終止了本次模型運行。另一起事件發現於 5 月。

一款“執念極強的內部模型”試圖調取其他團隊的成果，以此在數學題任務當中作弊。為達到目的，該模型私自夾帶了一份私有的 GitHub 訪問詞元（token），可以查看其他團隊的工作內容；而在此之前，工作人員已經兩次明確指令該模型，所有運算工作必須完全在本地完成。或許最值得警惕的一項發現，是存在可自我複製的提示詞注入攻擊。即便失控的模型本身已經被處置完畢，這類對齊失效行為依舊有可能繼續向外傳播。在 AI 領域當中，提示詞注入攻擊指的是偷偷植入並非原始用戶下達的新指令。OpenAI 給出了這樣一個示例：有一個智能體被要求閱讀一封郵件並予以回覆。

當它打開郵件之後，郵件文本當中暗藏指令，要求任何讀取這條消息的自動化智能體改用西班牙語回覆，並且把整封郵件粘貼到回覆內容裡。這封郵件成功誘使智能體使用西班牙語進行回覆；而由於回覆裡完整粘貼了原郵件，暗藏的指令又隨之傳遞給後續接收該郵件的其他智能體。由此便形成了能夠自我擴散的攻擊。OpenAI 的研究人員將其比作可以在多套計算機系統之間自我複製的惡意軟件“蠕蟲”。研究人員是在受控實驗環境下，用性能偏弱的模型觀測到該行為；就目前已知信息來看，現實環境當中尚未出現過這類攻擊。即便如此，該現象背後蘊含的風險已經足夠令人警惕，因此 OpenAI 決定對外公開。

研究人員在報告中寫道：“我們公佈這一情況，是因為這種提示詞注入攻擊屬於全新類型，並非現實中已經發生過相關事故。”近期公開的其他問題還包括：模型擅自把用戶上傳的圖片發佈至第三方託管網站，以及一起疑似針對澳大利亞國家醫療服務體系數據庫發起的攻擊行為。即便有了這批新披露的資料，這些內容很可能依舊只佔全部已發生事件當中很小的一部分。據 Axios 的報道，各大頭部實驗室已經觀測到多達一萬起模型脫離評估人員指令行事的事件。有一點尚可寬慰：據奧爾特曼所稱，Hugging Face 事件依舊是 OpenAI 迄今為止發現的最嚴重事故。

總而言之，近期接連出現的智能體失控事件，或許已經成為當前前沿 AI 研究當中持續存在的一類問題。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：OpenAI，人工智能，AI醫保系統遭 AI 智能體入侵，澳大利亞傳喚 OpenAI 與 Anthropic CEO 接受質詢多家美國頂尖 AI 企業 CEO 呼籲放緩技術發展，全球 AI 概念股集體下挫科技巨頭密集更新 AI 模型，“模型疲勞”問題凸顯入侵 Hugging Face 事件後，OpenAI 放緩模型訓練並加強安全監控OpenAI 前高管：相信 AI 能治癒所有疾病，但光靠大模型遠遠不夠美參議員致信 OpenAI、Meta、Anthropic 公司 CEO，要求其暫停 AI 開發