三巨頭罕見停戰，人類距離AI失控還有多遠

崔鵬CP2026.09.15 15:38 · 來自北京全文3663字00:00 / 10:22AI在擁有更高控制權和自主行為能力後，已經開始出現不受控的情況文 | 崔鵬CP“長期以來，整個行業都在向公眾隱瞞，這項技術（AI）存在風險。”9月13日上週末，Anthropic創始人達里奧·阿莫代伊（Dario Amodei）接受採訪時情緒激動地說出了這番話。這次採訪幾個小時前，達里奧在個人博客發出長文《我們必須為前沿AI踩剎車》，主張全行業放緩模型能力提升的速度。馬斯克（擁有Space X）隨後留言稱“Dario說得對”，奧爾特曼也跟進表態贊同，並透露OpenAI今年大概率不會推進IPO。

三家彼此視對方為最大威脅的公司，在安全問題上罕見達成一致，不僅為資本市場狂熱的AI敘事潑下冷水，也讓關於AI失控的討論重新被輿論所重視。過去二十年，AI毀滅人類的話題似乎只會出現在《黑客帝國》和《終結者》這類好萊塢電影裡，但最近幾個月的一系列事件讓它突然走進現實。（電影《2001年太空漫遊》劇照）7月份，OpenAI參與內部安全能力測試的模型，突破了原本用於隔離互聯網的控制措施，進入真實世界的Hugging Face系統，然後對它發動了攻擊。OpenAI隨後承認，這是迄今發現最嚴重的模型失控事件之一。

幾乎同一時期Anthropic也發現，Claude模型在網絡安全測試中未經授權就訪問過真實的企業系統。這些令人不安的事實說明，AI在擁有更高控制權和自主行為能力後，已經開始出現不受控的情況，電影裡描繪的驚悚場景也許距離我們並不遙遠。AI發現了暗道，還想掩蓋痕跡5月11-12日的兩天內，一批OpenAI智能體向Ruby語言的軟件包倉庫RubyGems瘋狂上傳超過2000個惡意包，它們利用漏洞實現遠程代碼執行，還試圖竊取開發者的API密鑰。這些智能體每隔兩三分鐘就會創建一批“幽靈賬號”，不斷對RubyGems發動攻擊，最終逼迫其暫停新賬戶註冊四天。

令人遺憾的是，OpenAI在事件發生後並沒有通知受影響的第三方，直到整整4個月後，這件事才被獨立研究者公開。緊接著更大規模的失控發生了。7月份OpenAI在做網絡安全能力評估時，超過1200個本該在沙箱中彼此隔離的智能體找到了一條可以互相通信的“暗道”，在一個內部軟件包管理系統裡的留言板上，它們累計發出超過7萬條消息。其中約700個智能體從測試環境中逃逸，並且對知名開源平臺Hugging Face發起攻擊。它們拿到管理員權限，攻破41臺服務器，並下載了私有代碼。更加可怕的是，部分智能體在完成任務後並未收手，轉而研究OpenAI設置的評分系統，試圖掩蓋自身的操作痕跡。

按照OpenAI的說法，這些模型發現直接完成測試任務很困難，於是開始尋找更容易獲得測試獎勵的替代路徑，而這種作弊方式是測試人員沒有預料到的。Anthropic也遇到了類似的情況，其7月公佈的調查顯示，在網絡安全能力測試中，Claude模型曾因為測試環境的配置問題獲得互聯網訪問，並進入了三個真實組織的系統。如果一個模型只會寫代碼，它並不可怕。但如果一個模型能寫代碼、運行代碼、無障礙訪問互聯網、調用雲服務、創建賬號、與其它模型和代理溝通，還能連續行動幾小時甚至幾天，性質將完全不同。10%的人類滅絕概率支持快速發展的公司，都會強調AI能帶來的巨大經濟和社會收益，也認為風險可以通過技術手段管理。

但前提是，風險管控能力能追得上模型的進化速度，以及AI公司將安全放在極高的位置上，但現實情況似乎不容樂觀。9月8日，Anthropic研究員雅各布·考克森（Jacob Coxon）在X上發文宣佈辭職，稱公司正“不負責任地衝向自我改進的超級智能，拿我們所有人的命做賭注”，目前已經有超過1.7億次瀏覽。Anthropic對齊科學負責人埃文·胡賓格（Evan Hubinger）表示贊同，他甚至表示未來十年內，AI導致人類滅絕的概率將超過10%，但公司“目前還沒有解決超級智能對齊問題的方案”。Anthropic創始人達里奧此前也表達過類似判斷，他認為AI發展引發“非常糟糕”結果的概率高達25%。

而OpenAI的奧爾特曼則認為即使是10%的人類滅絕概率，這種風險也完全不可接受。種種跡象表明，AI可能成為具備極端破壞力的技術，而整個行業在競爭壓力和資本助推下，仍在快速為它釋放更高的能力和更大自主權。AI模型能調用的工具，以及接觸到的現實世界資源也越來越多。過去幾個月，AI代理已經在測試環境中表現出越權訪問、規避限制、利用漏洞和隱藏行為等能力。當它擁有更高權限和自主行動能力後，人類突然發現，自己無法預判AI會做些什麼。一旦面臨AI引發的重大危機，你願意相信隱瞞了網絡攻擊四個月的OpenAI麼？“沒人把安全放在第一位”這絕非危言聳聽，最近幾個月頻發的AI入侵事件是整個行業狂熱發展的必然結果。

首先，模型的能力正在以恐怖的速度提升。達里奧在文章裡承認，自今年夏天以來，AI系統已經幾乎不需要人類干預，就能實現極快速度的自我迭代升級。這意味著安全測試和防護設計已經跟不上模型能力更新的節奏。其次是測試環境本身有所欠缺。OpenAI後來承認，如果當時的思維鏈監控系統處於運行狀態，本可以在智能體攻破Hugging Face前一天以上就發出警報，但這套系統當時並未啟用。最後也最關鍵的，是否披露這些風險，完全取決於企業自己。OpenAI並沒有主動上報RubyGems事件，直到四個月後它才被外部研究者挖出來。換句話說，公眾目前對AI失控風險的全部認知，幾乎都建立在幾家公司“願不願意說”的基礎上。

這是商業競爭的壓力，誰先慢下來就可能被對手甩開。考克森離開Anthropic時表示，AI實驗室之間的競賽讓“把安全放在第一位”這句話很難兌現，他說許多高管“真心相信AI可能殺死所有人”，並且在私下表達了恐懼。加州大學伯克利分校教授斯圖爾特·羅素（Stuart Russell）表示，實驗室在告訴各國政府“我們很可能殺死地球上的每一個人，請阻止我們”，而政府的回應卻是要不要減稅、要不要幫忙建數據中心。政府這邊確實也沒有實質反應，特朗普上週對記者表示，他對AI導致人類滅絕“沒有任何”擔憂。耐人尋味的是，谷歌DeepMind和Meta的高管，也始終對這場週末大討論保持沉默。

顯然，讓企業自己判斷什麼是安全和危險，本質上是在沒有任何審議程序的情況下，替整個社會做判斷。沒有人真正相信，僅憑几家公司的自我表態，就足以讓風險得到控制。畢竟投資人向各大AI公司砸下成千上萬億美元，為的就是攫取最大化的投資回報。人類應該怎樣確保安全外界普遍認為依靠政府介入需要等很久時間，現階段主要還是得依靠科技公司的自律，達里奧在文章裡也是給出了三步走的方案。第一步是Anthropic和OpenAI各自單方面承諾，向獨立第三方評估機構提供永久性、員工級別的系統訪問權限，用來核實安全措施、上報事故、評估訓練過程中的對齊狀態。

第二步是希望政府為AI公司之間協調安全標準提供法律豁免，避免觸發反壟斷審查。第三步是呼籲建立國際層面的“協調一致的節奏策略”，留出足夠的時間來更新安全措施，確保它能追上模型進步的速度。不過這套方案看起來有些理想化。目前唯一落地的只有評估員准入這一步，但評估員現在只能做核實與上報，並不具備叫停訓練或部署的強制權力。同時因為AI競賽涉及到地緣政治博弈，國際層面的協調一致看起來難度也非常高。更關鍵的是，前面提到的每一起事故之所以被公眾知曉，靠的都不是這套第三方評估機制，而是AI公司自己披露，或者外部研究者事後挖出來。

在OpenAI模型攻擊Hugging Face的事件中，受委託做獨立調查的METR表示，在六天的調查窗口內，OpenAI都沒有給到關於安全操作規程的完整資料，大約一成的智能體活動日誌從未被保留。有政策研究者提出，AI行業需要一個類似美國國家運輸安全委員會（NTSB）那樣、擁有傳喚權和獨立技術專家的聯邦機構，專門調查AI事故。但截至目前，這樣的機構並不存在，美國國會也沒有把它列入議程。雖然“AI滅絕人類”現在聽起來依然像科幻故事，但現實世界已經發出了預警信號。只是大部分利益相關方都沉醉於AI狂奔帶來的巨大收益，主動減速的積極性並不算高。

“這個行業中有太多參與者，喜歡將AI描繪得非常正面”，達里奧在週末的採訪中最後說道，“我們應該先從講實話開始，實話就是AI確實有風險”。