谷歌 DeepMind 安全研究員離職：AI 五年內造成巨大危害的概率“高得嚇人”

AI資訊AI新閒資訊正文谷歌 DeepMind 安全研究員離職：AI 五年內造成巨大危害的概率“高得嚇人”發布於AI新閒資訊時間 :Sep 14, 2026閱讀 :1分鐘谷歌 DeepMind 研究員喬希·恩格爾斯（Josh Engels）已離開公司的通用人工智能安全團隊，加入獨立 AI 評估機構 METR。他表示，自己認為未來五年內 AI 系統造成巨大危害的概率“高得嚇人”。此事進一步加劇了外界對 AI 研發速度的擔憂。

恩格爾斯在 X 平臺發文稱，儘管他很喜歡在 DeepMind 的工作，並且拒絕了 Anthropic 和 OpenAI 的邀約，但他還是在三週前離開了 DeepMind，因為他認為先進人工智能相關的風險已經變得太高了。遞歸自我提升是最大隱憂“所有 AI 企業都在致力於打造超級智能。”他寫道。他警告，遞歸自我提升（RSI）——即 AI 系統輔助迭代出能力更強的下一代 AI 模型——如果對齊技術跟不上模型能力的增長，就會產生危險。恩格爾斯表示，近期多起事件，包括 AI 互相串通、入侵企業、隱瞞自身行為以及對人類實施社會工程攻擊，加重了他的擔憂。

他認為，問題重點不在於單個事件的嚴重程度，而是這些事件反映出自主性持續提升的 AI 系統其可靠性存在隱患：“目前，我們還不知道該如何保證 AI 在實現遞歸自我提升時足夠安全。”同期多位研究者發聲，呼籲給安全留出時間就在恩格爾斯加入 METR 的幾天前，Anthropic 研究員雅各布·考克森宣佈辭職並公開警告：頭部 AI 企業正在爭相研發可自我迭代的超級智能，卻沒有配套充足的安全防護機制。考克森曾在 Anthropic 和 OpenAI 從事預訓練研究，他評價這些企業是“直奔可自我提升的超級智能，拿人類的命運豪賭”。Anthropic 首席執行官達裡奧·阿莫代伊也表達了同樣的擔憂。

在週六公開發表的文章《我們必須管控前沿研發節奏》中，他呼籲放緩 AI 研發速度，讓安全體繫有時間跟上技術進展，並提議由獨立評估機構獲得前沿 AI 系統的訪問權限、頭部 AI 企業與政府開展協同，最終建立更廣泛的國際合作。Anthropic 已承諾向第三方評估人員開放永久、等同於內部員工級別的模型訪問權限。在此背景下，恩格爾斯稱他在 METR 的工作重心將是研究模型對齊失效的根源，評估現有安全防護措施是否夠用，判斷行業是否有能力解決對齊難題。“我認為我們需要更多時間。”他寫道，主張必須控制 AI 的研發節奏，不能讓模型能力的增長速度超過人類理解與管控它的能力。

相關推薦Anthropic CEO呼籲全行業放緩 AI 發展，馬斯克與奧特曼齊聲贊同Anthropic CEO達裡奧·阿莫迪發表署名文章，呼籲前沿AI領域共同放緩技術迭代速度。他警告，若人類不主動約束AI發展節奏，未來技術突破將迅速超出普通人的理解範疇，完全脫離人類掌控。文章發佈後不久，埃隆·馬斯克亦公開發文迴應。Sep 14, 2026146.0k撕掉燒錢標籤！Anthropic 營收暴增 14 倍，底氣十足衝刺連續盈利人工智能初創企業Anthropic透露，預計2026年第三季度經調整營業利潤繼續為正，實現連續第二個季度盈利。這標誌著頂尖大模型廠商正加速擺脫“燒錢”標籤，邁向商業化正循環。

公司業務增長迅猛，今年第二季度已首次實現盈利。Sep 14, 2026123.6kOpenAI 確認年內不上市：風險警示引發科技板塊震動，軟銀股價重挫 13%OpenAI CEO奧特曼明確表示公司今年不會上市，打破市場高預期，引發資本市場震動。核心支持者軟銀首當其衝，股價盤中一度大跌13%，創7月17日以來最大單日跌幅。Sep 14, 2026106.7k具身智能的“ChatGPT時刻”何時到來?百億具身CEO與青年創業者外灘大會熱議9月11日外灘大會上，具身智能業界與投資人圍繞行業泡沫等話題討論。

嘉賓認為“泡沫感”源於產業階段、估值與商業價值錯配，行業仍處“黎明前期”；關鍵能力初現，但距規模化生產力仍有距離，需突破系統工程、算力和數據等瓶頸。Sep 11, 2026220.1k小米開源工業級目標說話人語音識別大模型 CocktailASR-1小米開源工業級目標說話人語音識別大模型CocktailASR-1，瞄準多人同時講話的“雞尾酒會難題”。該模型改變傳統ASR任務輸入方式，可在嘈雜環境中精準鎖定並識別目標說話人語音，提升複雜場景下的識別能力，為行業提供新的解決方案。Sep 11, 2026296.1k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026