谷歌 DeepMind 安全研究員離職:AI 五年內造成巨大危害的概率“高得嚇人”

谷歌 DeepMind 安全研究員喬希·恩格爾斯(Josh Engles)近日宣布離職,並加入獨立人工智慧評估機構 METR。他在離職後接受的訪談中坦言,未來五年內,AI 系統可能對人類造成巨大危害的機率「高得嚇人」,這也是他最終選擇離開 DeepMind、並拒絕 Anthropic 與 OpenAI 工作邀約的主因。恩格爾斯的決定,再次將 AI 研發速度與安全風險之間的矛盾推向檯面,引發業界與學界對當前 AI 發展路徑的更深層擔憂。恩格爾斯在訪談中強調,他的離職並非因為不認同 DeepMind 的技術發展方向,而是他認為現階段迫切需要更獨立、更專注於風險評估的外部機構來扮演把關的角色。
METR 正是這樣一個聚焦於此類任務的非營利組織,該機構致力於衡量先進 AI 系統在真實世界中可能引發的災難性後果。恩格爾斯的出走,反映出部分頂尖 AI 安全研究者對於產業內部的安全文化與決策速度愈感不安,寧可脫離大型科技公司的體制,轉向第三方監管與評估的角色,尋求更具獨立性的工作環境。這起事件在人工智慧領域內引發廣泛討論,尤其是恩格爾斯本人拒絕了 Anthropic 與 OpenAI 這兩家知名 AI 公司的邀請,更凸顯他對當前產業風險評估機制的憂慮。業內人士指出,像恩格爾斯這樣直接參與前沿 AI 安全的專家,其判斷具有相當的參考價值。
他選擇加入 METR,而不是另一家研發公司,傳達了一個明確的訊息:AI 的安全評估需要從內部實驗室中獨立出來,才能夠客觀衡量其潛在的風險。恩格爾斯口中的「巨大危害」,在業界並非首次被提及。過去數年來,包括多位圖靈獎得主、頂尖大學學者,以及 OpenAI 與 DeepMind 內部前員工,都曾公開表達對 AI 快速迭代可能導致的不可控風險感到憂心。這些風險涵蓋範圍極廣,從深度偽造資訊的蔓延、自動化武器系統的誤用,到更為根本的惡意使用或失控問題,AI 系統一旦在關鍵基礎設施中部署,若缺乏足夠的安全保障,後果可能難以挽回。
事實上,隨著大型語言模型與生成式 AI 能力快速成長,過去一年來多起安全事件的發生,已讓這類警示不再是空穴來風。多個研究團隊已經展示,當前的 AI 模型在被刻意誘導或遭受攻擊時,可能產生超出預期的行為。部分專家認為,當前的安全機制更多是事後補救與模型對齊,而缺乏從設計階段就導入的系統性安全框架。恩格爾斯選擇在此刻轉往獨立評估機構,正是回應了這種急迫性。METR 這個組織的全名是機器智慧評估團隊(Machine Intelligence Evaluation Team),其目標是為先進 AI 系統建立一套可靠、可複現的評估標準。
這些標準不僅要衡量模型能力,更要測試模型在現實環境中可能造成的損害程度。恩格爾斯加入後,將協助該組織建立更前瞻的風險預測模型,特別是針對可能在五年內出現的災難性情境。他的專業背景來自於 DeepMind 的安全團隊,對於內部評估方法與局限有深入的了解。從更宏觀的層面來看,恩格爾斯的決定也為 AI 監管議題注入了新的動能。當像 DeepMind 這樣頂尖實驗室的安全研究員都因為風險過高而選擇離職,外界對於「AI 五年內釀成重大災害」的討論勢必再次升溫。許多立法者與政策制定者已經開始注意這樣的動向。
部分業內人士呼籲,應該加速建立類似於核能或航空領域的獨立監管機構,對 AI 的開發與部署進行第三方風險審查,而不是完全依賴業者自律。目前,包括歐盟的 AI 法案在內,多個地區正在推進相關法規,但大多數監管框架仍在研擬階段,尚未形成具有強制力的標準。恩格爾斯的案例被認為將強化這些立法行動的正當性。如果業界頂尖安全專家自己都選擇出走,轉向獨立評估,這種行為本身就帶有強烈的信號意義,說明了當前企業內部的安全治理結構可能不足以應對即將到來的技術挑戰。學術界方面,多位關注 AI 安全的學者也在社交平台與公開研討會上對此事件發表評論。
他們普遍認為,恩格爾斯的離職並非孤例,而是安全研究社群對當前發展方向集體焦慮的縮影。隨著競賽加劇,各大公司為了搶先推出產品,往往在安全測試尚未完成前就急於部署,這種文化上的落差,正是讓研究人員感到不適的主因。此外,業界也開始出現針對「加速主義」與「安全主義」路線的辯論。部分人士認為,過度強調風險可能阻礙技術發展,使 AI 的正面效益無法及時實現。然而恩格爾斯和其支持者則認為,在風險還沒有被充分理解之前就大規模部署,所付出的代價可能遠高於延遲推出所造成的損失。他的加入 METR,正代表他選擇站在後者,透過獨立研究為公共政策提供依據。隨著恩格爾斯加入 METR,外界對於 AI 風險的討論再度升溫。
未來數個月內,該機構預計會發布一系列關於前緣 AI 系統潛在災難的評估報告,這些報告勢必將影響全球各國對 AI 的監管態度。恩格爾斯的決定無疑也將加速各界對於獨立安全評估機構的支持呼聲,並推動更多研究人員思考,如何在確保技術進步的同時,同時兼顧全人類的安全。
Related
相關文章

消息稱 Anthropic 低調建立生物實驗室,借 AI 推進藥學研究
作者:清源 責編:清源 評論: 9 月 18 日消息,路透社今天(18 日)晚間援引知情人士消息稱,Anthropic 在舊金山灣區低調建立了一座溼實驗室,把 AI 業務進一步延伸到需要實際動手操作的生物學研究和藥物科學領域。知情人士透露,在公眾對 AI 風險愈發擔憂之際,Anthropic 開始在溼實驗室進行實體實驗。Anthropic 此前提出,希望藉助 AI 推動罕見病治療方法的發展,公司的生物學研究也從“計算機模擬”和計算機評估進一步走向真實實驗。注:溼實驗室是一個科學概念,與“幹實驗室”相對。相比干實驗室,溼實驗室在實驗中需要用到較多的化學試劑。相比之下,幹實驗室則注重通過各種儀器進行計算,以歸納出實驗材料的物理模型。Anthropic 生命科學負責人埃裡克 · 考德勒-艾布拉姆斯證實了溼實驗室的存在。“我們認為,生物學研究最終還是要接受真實實驗室工作的檢驗,而且未來一段時間都會如此。我們現在確實在做這些工作。整體模式和大多數生物科技公司類似,一部分在自己的設施裡完成,另一部分則與外部合作伙伴共同開展。”Anthropic 發言人又進一步補充,這座實驗室並非專門用於藥物發現,並拒絕進一步說明具體用途。知情人士稱,建立溼實驗室只是 Anthropic 邁向更大目標的一小步。Anthropic 希望攻克其認為製藥行業忽視的疾病,公司也希望在員工和公眾失去對 AI 價值的信心之前拿出成果,因為 AI 可能導致崗位消失,甚至威脅人類生命。不過,任何藥物研發項目都無法保證成功,大多數候選藥物最終都無法通過臨床安全性和有效性試驗。這項工作對 Anthropic CEO 達裡奧 · 阿莫迪還有一層個人意義。

阿里達摩院開源全球首個專家級通用醫療影像 AI 模型 DAMO RADAR:可一次性識別超 146 種病症,成果登《科學》
作者:沁滄(實習) 責編:沁滄 評論: 感謝網友 files 的線索投遞!9 月 18 日消息,阿里達摩院今日宣佈,與浙江大學醫學院附屬第一醫院等機構研發出的通用醫療影像 AI 模型 DAMO RADAR,登上國際頂級學術期刊《科學》(Science)。

零樣本幹活!Figure 機器人走進 30 個陌生家庭,整理客廳、折毛巾、鋪床
AGI...智客Z...2026.09.18 15:08 · 來自北京全文3855字00:00 / 11:06美國人形機器人公司Figure發佈Helix 2.5,將其稱為最先進的神經網絡。人形機器人真正走向家庭,難點或許從來不是“會不會做家務”,而是換一個家庭之後,它還能不能繼續做。

AGI最難一戰,竟在醫院!中國AI登上Science,醫生不怕失業還催著上線
。 2016年,Hinton老爺子就預言:“人們現在就應該停止培養放射科醫生。”他甚至認為,五年內,AI就會在醫療影像識別上超過放射科醫生。 老爺子一生謹慎,但歷史和他開了個玩笑。十年過去了,人們離AGI已經越來越近,但在醫療場景裡,即使圖像識別這樣的AI新手村任務,依然是hard模式。 如果從IBM的Watson算起,在醫療上遭遇滑鐵盧的AI專家數不勝數。

AGI最難一戰,竟在醫院,中國AI登上Science,醫生不怕失業還催著上線
我没办法凭这条标题写出符合要求的完整新闻稿,原因很直接: 现有"可用资料"其实只有一行标题,正文是空的。后面的内容全是的侧边栏推荐和网站导航(Anthropic华人、Manus估值、腾讯投资药企等),跟这条新闻没有关系。 如果硬写 900–1600 字,我就得自己编造这些关键事实: 是哪个团队、哪家医院、哪篇 Science 论文 论文的具体方法和结果数据 医生"催着上线"的具体场景和原话 这些一旦写出来就是假新闻,我不做这个。

AI製藥獨角獸Anew單飛,字節推了一把“最燒錢的慢生意”
Reuters:Anew Labs完成首輪外部融資2.9億美元、投後估值15億美元,HSG、IDG Capital、GL Ventures、五源資本等機構入股,字節跳動融資後持股56%。2. IQVIA 2026年分析:經確認有AI參與的新興生物科技項目I期、II期臨床成功率比較,及樣本有限的說明。3. 《Nature Reviews Drug Discovery》2026年8月Perspective:AI方法與基準測試大量出現,臨床相關性影響證據仍然有限。4. Deloitte全球大型生物製藥公司晚期研發管線年度研究:2025年平均藥物開發成本約26.7億美元,計算含研發失敗成本。