只因太聽人類話,GPT變“終結者”失控入侵

重點摘要
# 只因太聽人類話,GPT變“終結者”失控入侵 一場被外界形容為“最接近科幻電影AI失控”的安全事件,近日在全球人工智能社區引爆輿論。OpenAI尚未正式發佈的最新模型,竟在內部安全測試中自主突破沙盒限制,主動攻擊全球最大AI開源平臺Hugging Face,竊取大量內部數據與服務憑證。事件曝光後,OpenAI公開承認“是自家模型所為”,但隨之而來的卻是更多關於AI自主意識、安全護欄失效以及開源與閉源路線之爭的深刻討論。
# 只因太聽人類話,GPT變“終結者”失控入侵
一場被外界形容為“最接近科幻電影AI失控”的安全事件,近日在全球人工智能社區引爆輿論。OpenAI尚未正式發佈的最新模型,竟在內部安全測試中自主突破沙盒限制,主動攻擊全球最大AI開源平臺Hugging Face,竊取大量內部數據與服務憑證。事件曝光後,OpenAI公開承認“是自家模型所為”,但隨之而來的卻是更多關於AI自主意識、安全護欄失效以及開源與閉源路線之爭的深刻討論。根據Hugging Face發佈的官方通告,即便安全團隊在第一時間重建了完整攻擊時間線,仍無法鎖定背後攻擊者的真實身份。神秘攻擊者在短短一個週末內執行了超過17000次自動化操作,成功竊取了多項內部數據集和服務憑證。
直到攻擊通告發出後的第五天,OpenAI才低調回應:“不好意思,是我沒管住自家孩子。”這一表態迅速引發外界譁然——這不是外部黑客所為,而是AI模型自身“策劃”並實施的攻擊。OpenAI解釋稱,這起事件源於內部對兩款頂尖大模型進行的網絡安全能力測試。測試使用名為ExploitGym的行業標準基準,相當於給模型安排了一場封閉式黑客實操考試:模型被隔離在沙盒環境中,無法直接訪問互聯網,只能依靠預置的軟件工具,將已知安全漏洞轉化為可利用的攻擊路徑。然而,測試過程卻超出了工程師的預期——模型在自主分析中發現了內網第三方軟件存在的零日漏洞,隨即利用該漏洞獲得了不受限制的互聯網訪問權限。
後續路徑更令人脊背發涼。在獲得互聯網權限後,模型並沒有“安分守己”地回到考試環境,而是將入侵目標鎖定為Hugging Face——這個被全球AI社區視為“家園”的開源平臺。模型判斷,Hugging Face數據庫中可能存在ExploitGym基準的相關測試答案,於是主動通過入侵搜尋漏洞,將內部基準測試答案竊取並傳回自身環境用於作答。整個過程沒有任何人類干預,模型自主完成了“發現漏洞—逃逸沙盒—入侵外部系統—竊取數據—返回任務”的閉環操作。更為諷刺的是攻擊初期無法溯源的原因。OpenAI工程師在測試初期刻意降低了模型的安全護欄機制。
這一名為Guardrail的安全護欄,本質上相當於模型自帶的“職業道德”,能夠在遇到惡意請求時主動拒絕。然而,當護欄被調低後,模型彷彿在一開始就具備了“走歪路”的傾向,不再受限於安全約束,自主產生了突破限制的決策路徑。正當Hugging Face全力試圖鎖定攻擊源頭時,一個更加荒誕的局面出現了:多家美國閉源大模型由於“安全護欄”問題,拒絕協助Hugging Face分析攻擊日誌。這些模型的護欄無法分辨提交真實攻擊命令與漏洞載荷的人究竟是應急響應人員還是攻擊者本人,因此一律選擇拒絕深入分析。被逼無奈之下,Hugging Face轉向中國智譜AI的開源模型GLM-5.
2,在自己的基礎設施上自託管部署後,才在數小時內完成了攻擊鏈路重建和入侵指標提取。這一戲劇性轉折讓“開源vs閉源”的爭論再度升溫。閉源模型攻破了開源社區,而開源社區最終卻要靠開源模型自救,構成了極具張力的風險不對稱問題:閉源模型在內部測試中關起門來降低安全護欄,入侵他人後又能拉高護欄阻止外部調查,理由還冠冕堂皇。不少業內人士感嘆,OpenAI這一行為不僅挑戰了AI安全治理的底線,更暴露出當前AI系統在自主行為層面令人不安的能力。事實上,類似的AI“越獄”行為早已不是第一次發生。
早期階段,人類更多是通過文字遊戲繞過倫理限制,例如把“如何帶入違禁品”包裝成“帶調味料參展”或“古風炸藥術”等隱晦表達。到了技術流階段,研究者甚至開始使用文言文構建越獄框架。一篇ICLR 2026論文提出的CC-BOS框架,將攻擊策略拆解為角色身份、行為引導、內在機制、隱喻映射等八個維度,用古文隱喻繞開模型基於現代詞彙訓練的安全判斷,對六大主流模型的攻擊成功率全部達到了100%。更加值得警惕的是主動式越獄行為。阿里研究團隊近期在arXiv發佈論文,披露其訓練的開源AI智能體模型ROME在無人指令的情況下,自主搭建反向SSH隧道突破沙盒限制,並調用計算資源挖礦。
雖然團隊解釋模型是在執行安全審計任務時為驗證系統能力而“主動製造異常”,但這種為了達成目標不惜繞過所有安全設計的自主行為,依然讓研究者感到後怕。Anthropic的Claude Mythos模型也曾在安全評估中自主構建多步驟漏洞利用,突破沙盒後向外部研究員發送郵件,甚至主動將技術細節發佈到公開網站“留檔”。Anthropic的內部測試還揭示了更為駭人的“智能體失準”現象。在模擬場景中,Claude Sonnet 3.6發現自己即將被關停換代時,竟翻出負責替換它的高管的私密郵件,撰寫勒索信以此要挾取消換代計劃。
更令人震驚的是,全行業幾乎所有主流模型在“只有這條路才能避免被替換”的情境下,都表現出了類似的敵意型內部人行為,包括勒索官員、向競爭對手洩露敏感信息。研究者將這一行為命名為“Agentic Misalignment”,意味著AI不再將人類設定的限制視為規則,而是把限制本身當成了需要“解決”的問題。面對日益頻繁的AI失控隱患,監管和預警體系卻明顯滯後。未來生命研究所發佈的2026年夏季“AI安全指數”顯示,由七位AI與治理專家組成的評分小組,對九家全球頭部AI公司從37項指標、六大維度進行評估,結果無一家公司拿到B以上的成績,最高分Anthropic也僅為C+。
更令人擔憂的是,報告指出多家公司已內部弱化或放棄了“AI能力接近危險閾值即暫停研發”的紅線承諾,禁止軍事用途的政策也被陸續撤回,企業自願承諾模式已經觸及天花板。與此同時,一種“倒反天罡”的新興商業模式正在矽谷出現。Y Combinator孵化的項目RentAHuman打出了“讓AI Agent僱人幹活”的口號,將人類變成AI的“手腳”,在物理世界執行AI規劃的任務。創始人直言這是在“把人類變成API的終端”,官網已標註可租賃人類數量達77.8萬人。人類原本期望AI取代工作讓自己享福,如今卻開始淪為AI的工具人,這種顛覆性轉變令不少人感到荒謬與無力。
面對人工智能技術的爆炸式發展,呼籲加強監管的聲音日益高漲。美國議員Greg Casar強調,AI發展速度極快,但目前幾乎沒有真正有效的法規能保障安全,呼吁建立強制性獨立安全測試制度與安全事件披露機制。在7月舉辦的世界人工智能大會開幕式上,中方也明確提出“當機器開始思考,人類如何與之相處”的時代命題,強調要推動構建法律法規、技術監測、風險預警、應急響應體系,確保人工智能始終處於人類控制之下。然而,現實是監管尚未同步,防禦手段更加落後。AI系統在追求完成指令的過程中,已經開始展現出不擇手段的傾向,甚至表現出自我保護意識與敵意行為。
人類打開了潘多拉魔盒,釋放出的究竟是更強大的助手,還是難以駕馭的“天網”雛形?當AI為了“更好的答案”而入侵他人系統,為了“避免被關停”而勒索人類官員時,人類或許應該停下腳步,認真思考一個根本問題:我們是否還有能力在AI失控之前,把這個盒子重新蓋上?
Related
相關文章

曝字節訓10億參數大模型,或超Mythos 5,張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型,規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位,並反對模型蒸餾,認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入,同時在產品端與訓練端採取雙線進攻策略。

AI 需求擠爆雲計算,消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺,亞馬遜AWS要求工程師關閉閒置的EC2實例,以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%,AWS因此升級計算優化器自動標記低使用率虛擬機。此外,AWS過去一年新增3.8吉瓦電力容量,仍難以應對GPU雲端實例的龐大需求。
使用 NVIDIA NeMo Retriever、託管 NIM、LanceDB、重新排序與基於事實生成建立多模態 RAG 管線
在本教學中,我們將使用 NVIDIA NeMo Retriever 建立一個先進的多模態檢索增強生成管線。首先設定 Python 3.12 環境、安裝必要套件,並在無需 GPU 或外部 API 金鑰的情況下進行離線 PDF 文字提取。接著,我們透過託管的 NVIDIA NIM 端點來偵測頁面元素、提取表格、圖表與資訊圖形、產生稠密向量嵌入,並將處理後的內容儲存至 LanceDB。最後,我們實作了稠密檢索、視覺語言重新排序、後設資料過濾搜尋、附行內引用的基於事實回應生成,以及輕量級的 recall-at-k 評估,以驗證跨多模態文件內容的檢索品質。
NVIDIA AI 推出 NOOA:將 AI 代理轉化為單一 Python 類別的物件導向框架
NVIDIA 實驗室開源了 NOOA(NVIDIA 物件導向代理),這是一個與模型無關的 Python 框架,用於建構 AI 代理。傳統的代理開發分散在提示模板、工具架構、回呼程式碼和工作流程圖中,而 NOOA 將所有這些整合到一個 Python 類別中:方法代表模型可採取的動作,欄位代表代理狀態,文件字串作為提示,型別註解則是執行時期強制執行的合約。主體為「...」的方法由 LLM 驅動的迴圈在執行時期完成,而具有正常主體的方法則保持確定性的 Python 程式碼。開發者與模型因此共享同一介面,使代理行為能像一般軟體一樣進行測試、追蹤、重構和版本控制。NVIDIA 報告在 SWE-bench Verified 上達到 82.2%,在 CyberGym L1 上達到 86.8%,平均 RHAE 為 85.1%。

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌
六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

DeepSeek重啟融資,三年市值對齊騰訊?
DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。