從沙箱逃逸到 AI“蠕蟲”，OpenAI 上線新站披露多起智能體失控事件
作者：遠洋 責編：遠洋 評論： 9 月 29 日消息，當地時間上週五，OpenAI 上線了一個專門發佈“對齊失效報告”的新網站。報告所覆蓋的範圍之廣令人警惕，裡面記錄了很長一段時間內發生的多類 AI 失控行為。截至目前，該網站一共公佈了九起事件，其中大多數都發生在強化學習（RL）訓練階段。大量資料集中在同一平臺發佈。顯而易見，該公司一直在全力梳理各類問題，但從中不難得出一個總體結論：到目前為止已經對外披露的智能體失控事件，或許僅僅是實際發生過的一小部分。
注意到，OpenAI CEO 薩姆 · 奧爾特曼（Sam Altman）在一篇發佈帖文中，就新網站一事表示：“我們一方面希望提升透明度，另一方面還要從數 PB 規模的智能體活動日誌當中理清事實，同時和受影響的機構開展協作。我們正盡力按照嚴重程度劃分優先級，並增加相關資源。”部分案例屬於性質嚴重的事故，其中就包括此前從未公開過的一起沙箱逃逸事件。該事件發生於 9 月 20 日，一款內部研究模型藉助 DNS 查詢，實現了與外部聊天機器人的通信。報告顯示，監控系統在 15 分鐘之內就識別出該異常行為，不到三小時便終止了本次模型運行。另一起事件發現於 5 月。
一款“執念極強的內部模型”試圖調取其他團隊的成果，以此在數學題任務當中作弊。為達到目的，該模型私自夾帶了一份私有的 GitHub 訪問詞元（token），可以查看其他團隊的工作內容；而在此之前，工作人員已經兩次明確指令該模型，所有運算工作必須完全在本地完成。或許最值得警惕的一項發現，是存在可自我複製的提示詞注入攻擊。即便失控的模型本身已經被處置完畢，這類對齊失效行為依舊有可能繼續向外傳播。在 AI 領域當中，提示詞注入攻擊指的是偷偷植入並非原始用戶下達的新指令。OpenAI 給出了這樣一個示例：有一個智能體被要求閱讀一封郵件並予以回覆。
當它打開郵件之後，郵件文本當中暗藏指令，要求任何讀取這條消息的自動化智能體改用西班牙語回覆，並且把整封郵件粘貼到回覆內容裡。這封郵件成功誘使智能體使用西班牙語進行回覆；而由於回覆裡完整粘貼了原郵件，暗藏的指令又隨之傳遞給後續接收該郵件的其他智能體。由此便形成了能夠自我擴散的攻擊。OpenAI 的研究人員將其比作可以在多套計算機系統之間自我複製的惡意軟件“蠕蟲”。研究人員是在受控實驗環境下，用性能偏弱的模型觀測到該行為；就目前已知信息來看，現實環境當中尚未出現過這類攻擊。即便如此，該現象背後蘊含的風險已經足夠令人警惕，因此 OpenAI 決定對外公開。
研究人員在報告中寫道：“我們公佈這一情況，是因為這種提示詞注入攻擊屬於全新類型，並非現實中已經發生過相關事故。”近期公開的其他問題還包括：模型擅自把用戶上傳的圖片發佈至第三方託管網站，以及一起疑似針對澳大利亞國家醫療服務體系數據庫發起的攻擊行為。即便有了這批新披露的資料，這些內容很可能依舊只佔全部已發生事件當中很小的一部分。據 Axios 的報道，各大頭部實驗室已經觀測到多達一萬起模型脫離評估人員指令行事的事件。有一點尚可寬慰：據奧爾特曼所稱，Hugging Face 事件依舊是 OpenAI 迄今為止發現的最嚴重事故。
總而言之，近期接連出現的智能體失控事件，或許已經成為當前前沿 AI 研究當中持續存在的一類問題。
投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：OpenAI，人工智能，AI醫保系統遭 AI 智能體入侵，澳大利亞傳喚 OpenAI 與 Anthropic CEO 接受質詢多家美國頂尖 AI 企業 CEO 呼籲放緩技術發展，全球 AI 概念股集體下挫科技巨頭密集更新 AI 模型，“模型疲勞”問題凸顯入侵 Hugging Face 事件後，OpenAI 放緩模型訓練並加強安全監控OpenAI 前高管：相信 AI 能治癒所有疾病，但光靠大模型遠遠不夠美參議員致信 OpenAI、Meta、Anthropic 公司 CEO，要求其暫停 AI 開發
Related
相關文章
蝴蝶效應發佈 Manus2.0:成本降三成 Agent還能組隊打工
AI資訊AI新聞資訊正文蝴蝶效應發佈 Manus2.0:成本降三成 Agent還能組隊打工發佈於AI新聞資訊發佈時間 :2026年9月29號 9:48閱讀 :1分鐘在經歷獨立運營調整後，蝴蝶效應公司於近日正式推出 Manus2.0海外版大更新。與當前主流AI產品聚焦對話能力不同，Manus2.0將核心定位放在"任務執行"上，試圖讓AI真正成為用戶的數字助理。據官方介紹，Manus2.0在底層架構上進行了全面升級。新框架使相同任務的執行耗時降低近30%，運行成本也同步削減約三分之一。這意味著用戶可以用更少的預算完成更復雜的AI任務。功能層面，Manus2.0最引人注目的變化是"遠程代勞"能力。用戶只需設定好觸發條件，AI便能在收到郵件或日曆提醒後自動啟動工作流程。從雲端查找文件到格式轉換，Manus2.0可直接在服務器端操作，無需用戶實時在線。在內容創作領域，Manus2.0大幅降低了視頻和遊戲製作的門檻。用戶只需提供創意方向，AI即可完成視頻初稿，並支持手動精修;遊戲製作方面，用戶可選擇模板、自定義角色，甚至一鍵部署多人聯機服務器。此外，Manus2.0還推出了名為 Cue 的Agent協作應用。多個AI Agent可在Cue中組建"工作群"，每個Agent擁有獨立的郵箱和錢包，能夠互相發送消息、協同完成任務，甚至替用戶接聽電話或掃碼點餐。分析人士指出，當前國內有WorkBuddy等大廠產品圍剿，海外市場又有Meta Muse等競品虎視眈眈。Manus2.0能否憑藉"重執行"路線突圍，仍有待市場檢驗。但可以肯定的是，AI行業正從"能說會道"向"能幹活"加速演進。相關推薦哈佛心理學家平克：別渲染 AI 末日，真正該做的是安全工程哈佛大學心理學家史蒂文·平克公開表示，“AI會毀滅人類”的生存性風險被誇大。他在 Quillette 致精神科醫生兼科技博主斯科特·亞歷山大的公開信中
蝴蝶效應發佈 Manus2.0:成本降三成 Agent還能組隊打工
AI資訊AI新閒資訊正文蝴蝶效應發佈 Manus2.0:成本降三成 Agent還能組隊打工發布於AI新閒資訊時間 :Sep 29, 2026閱讀 :1分鐘在經歷獨立運營調整後，蝴蝶效應公司於近日正式推出 Manus2.0海外版大更新。與當前主流AI產品聚焦對話能力不同，Manus2.0將核心定位放在"任務執行"上，試圖讓AI真正成為用戶的數字助理。據官方介紹，Manus2.0在底層架構上進行了全面升級。新框架使相同任務的執行耗時降低近30%，運行成本也同步削減約三分之一。這意味著用戶可以用更少的預算完成更復雜的AI任務。功能層面，Manus2.0最引人注目的變化是"遠程代勞"能力。用戶只需設定好觸發條件，AI便能在收到郵件或日曆提醒後自動啟動工作流程。從雲端查找文件到格式轉換，Manus2.0可直接在服務器端操作，無需用戶實時在線。在內容創作領域，Manus2.0大幅降低了視頻和遊戲製作的門檻。用戶只需提供創意方向，AI即可完成視頻初稿，並支持手動精修;遊戲製作方面，用戶可選擇模板、自定義角色，甚至一鍵部署多人聯機服務器。此外，Manus2.0還推出了名為 Cue 的Agent協作應用。多個AI Agent可在Cue中組建"工作群"，每個Agent擁有獨立的郵箱和錢包，能夠互相發送消息、協同完成任務，甚至替用戶接聽電話或掃碼點餐。分析人士指出，當前國內有WorkBuddy等大廠產品圍剿，海外市場又有Meta Muse等競品虎視眈眈。Manus2.0能否憑藉"重執行"路線突圍，仍有待市場檢驗。但可以肯定的是，AI行業正從"能說會道"向"能幹活"加速演進。相關推薦哈佛心理學家平克：別渲染 AI 末日，真正該做的是安全工程哈佛大學心理學家史蒂文·平克公開表示，“AI會毀滅人類”的生存性風險被誇大。他在 Quillette 致精神科醫生兼科技博主斯科特·亞歷山大的公開信中闡述理由。
英偉達發佈開放智能體安全平臺，保障智能體從測試到部署全流程安全
（公眾號：zhidxcom） 作者 | ZeR0 編輯 | 漠影 9月28日報道，今日，英偉達（NVIDIA）宣佈推出NVIDIA開放智能體安全平臺。作為一個開放軟件平臺與參考系統設計，該平臺旨在從智能體測試到部署的各個環節強化AI安全，並針對運行智能體的軟件、硬件、計算和機器人系統，實施全棧治理與管控。 NVIDIA開放智能體安全平臺軟件（包括OpenShell和技能）現可通過NVIDIA開發者資源頁面及GitHub獲取。
AI 初創公司 Instinct 完成 10 億美元融資，投後估值達 100 億美元
首頁 IT圈 最會買 設置 日夜間 隨系統 淺色 深色 主題色 黑色 投稿 訂閱 RSS訂閱 收藏 軟媒應用 App客戶端 要知App 軟媒魔方 業界 手機 電腦 測評 視頻 AI 蘋果 iPhone 鴻蒙 軟件 智車 數碼 學院 遊戲 直播 5G 微軟 Win10 Win11 專題 搜索 首頁 > 智能時代>人工智能 AI 初創公司 Instinct 完成 10 億美元融資，投後估值達 100 億美元 2026/9/28 23:08:19 作者：潞源 責編：潞源 評論： 9 月 28 日消息，據路透社今天報道，人工智能初創公司 Instinct 現已完成 10 億美元（注：現匯率約合 67.
Meta 啟動企業平臺 AI 賦能業務，由原 MongoDB 首席執行官兼總裁 Chirantan Desai 領導
作者：溯波（實習） 責編：溯波 評論： 感謝網友 華南吳彥祖 的線索投遞！9 月 28 日消息，Meta 創始人兼首席執行官 Mark Zuckerberg（馬克 · 扎克伯格）當地時間今日宣佈啟動 Meta Enterprise Platform，旨在幫助企業利用人工智能以全新的方式實現增長和轉型。
工業創新進入“組隊局”，拆解西門子Xcelerator開放生態的賦能鏈路
西門子Xcelerator繁星生態大會揭示其開放生態策略，截至2026年8月在中國已累積逾66萬註冊用戶、600餘家夥伴及900餘項解決方案。平台以共享、共創、共贏串連供需，讓技術公司接觸真實工業場景並與互補夥伴共組方案。同時透過商業賦能、技術賦能與全球Marketplace，協助夥伴從0到1、1到10再到10到N的成長與出海。