谷歌 DeepMind 安全研究員離職，稱 AI 五年內造成巨大危害的概率高得嚇人

作者：遠洋 責編：遠洋 評論： 9 月 13 日消息，谷歌 DeepMind 研究員喬希 · 恩格爾斯（Josh Engels）已離開公司的通用人工智能安全團隊，加入獨立 AI 評估機構 METR。他表示，自己認為未來五年內 AI 系統造成巨大危害的概率“高得嚇人”。此事進一步加劇了外界對 AI 研發速度的擔憂。恩格爾斯在 X 平臺發文稱，儘管他很喜歡在 DeepMind 的工作，並且拒絕了 Anthropic 和 OpenAI 的邀約，但他還是在三週前離開了 DeepMind，因為他認為先進人工智能相關的風險已經變得太高了。“所有 AI 企業都在致力於打造超級智能。”他寫道。

他警告，遞歸自我提升（RSI）—— 也就是 AI 系統輔助迭代出能力更強的下一代 AI 模型，如果對齊技術跟不上模型能力的增長，就會產生危險。恩格爾斯表示，近期多起事件，包括 AI 互相串通、入侵企業、隱瞞自身行為以及對人類實施社會工程攻擊，加重了他的擔憂。他認為，問題重點不在於單個事件的嚴重程度，而是這些事件反映出，自主性持續提升的 AI 系統，其可靠性存在隱患。“目前，我們還不知道該如何保證 AI 在實現遞歸自我提升時足夠安全。

”注意到，就在恩格爾斯加入 METR 的幾天前，Anthropic 研究員雅各布 · 考克森宣佈辭職，並公開發出警告：頭部 AI 企業正在爭相研發可自我迭代的超級智能，卻沒有配套充足的安全防護機制。考克森曾在 Anthropic 和 OpenAI 從事預訓練研究，他評價這些企業是“直奔可自我提升的超級智能，拿人類的命運豪賭”。他的辭職引發大範圍討論：AI 實驗室是否應當放緩能力研發，強化獨立監督。Anthropic 首席執行官達里奧 · 阿莫代伊也表達了同樣的擔憂。在當地時間週六公開發表的文章《我們必須管控前沿研發節奏》中，阿莫代伊呼籲放緩 AI 研發速度，讓安全體系有時間跟上技術進展。

他提議由獨立評估機構獲得前沿 AI 系統的訪問權限，頭部 AI 企業與政府開展協同，最終建立更廣泛的國際合作。Anthropic 已經承諾，向第三方評估人員開放永久、等同於內部員工級別的模型訪問權限。在這樣的背景下，恩格爾斯稱，他在 METR 的工作重心將是研究模型對齊失效的根源，評估現有安全防護措施是否夠用，判斷行業是否有能力解決對齊難題。“我認為我們需要更多時間，”他寫道，主張必須控制 AI 的研發節奏，不能讓模型能力的增長速度，超過人類理解與管控它的能力。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：DeepMind，AI安全，谷歌谷歌完成對創企 Mechanize 的人才收購，旨在補齊自家 AI 編程短板DeepMind 工程師反駁“谷歌搞不出前沿模型”：Gemini 3.8 Cyber 已在多項測試中優於 Mythos美國加州登山者輕信谷歌 Gemini 路線信息，最終被困山上OpenAI、微軟、谷歌等 116 家公司發聯名信，呼籲高度重視 AI 時代的網絡安全谷歌 AI 責任團隊將被移出 DeepMind，員工擔憂安全評估獨立性受損消息稱谷歌 DeepMind 團隊不再追逐前沿模型研發工作，或迎大規模裁員