“留給人類阻止AI的時間不多了”
時間,或許已經不多了。” 說出這句話的,是不久前從Google DeepMind離職的AI安全研究員Bilal Chughtai。自2021年從劍橋大學數學專業畢業以後,Chughtai逐漸將研究重心轉向AI,並於2022年初進入這一領域,關注安全、對齊和機制可解釋性。此後的四年裡,他一路從研究神經網絡內部機制,到追蹤模型欺騙、研究如何識別AI是否在“撒謊”,再到加入Google DeepMind繼續做AGI安全與可解釋性研究,幾乎一直待在AI安全研究的一線。
也正是在這四年間,他(和我們)親眼見證了AI能力的飛速變化~ 在離職帖中,Chughtai回憶,2022年剛入行時,AI還只是個“幾乎沒什麼用”的東西;而今年,它已經能攻克困擾人類上百年的數學難題,並開始不受控制,主動攻擊Hugging Face系統。可以說,這份超越預期的能力進步,在帶給Chughtai驚喜的同時,也成為了他離職谷歌,在推特上打出“我堅信,AI有可能殺死我們所有人”的理由。目前,這條帖子在X上已經獲得超過80萬次瀏覽,並引來彭博等媒體跟進報道。
可以說,相比於Dario、奧特曼、馬斯克等巨頭掌舵者的風險表態,Chughtai這樣的研發人員,讓這場關於人類未來的宏大爭論,落回了一個個具體的人身上。他們把時間、才華和對未來的期待,投入到一行行代碼、一次次實驗中,親手推動AI走到今天。如今,這些離技術最近的人,開始在自己參與創造的未來面前感到不安。對齊,已經追不上AI了嗎?Chughtai並非孤例,面對AI的巨大潛力與失控風險,越來越多一線研發人員開始公開講述自己的不安,以及繼續留下或轉身離開的理由。
9月9日,研究員*Jacob Coxon發帖宣佈從Anthropic離職,並直接點名兩家前東家: OpenAI和Anthropic都沒有負責任地行事。它們正一路衝向能夠自我改進的超級智能,拿所有人的生命冒險。發佈後,這條帖子迅速走紅網絡,截至目前已有1.71億次瀏覽,不僅引來多家媒體報道,也得到了OpenAI、Anthropic乃至官方層面的回應。能掀起這麼大的波瀾,人們很容易以為,發聲的是某位行業大佬。但事實上,Jacob今年才27歲,而這,甚至是他發出的第一條推文。1999年出生的Jacob,曾兩次代表英國參加國際數學奧林匹克,分別在2016年和2017年獲得銀牌、銅牌。
在劍橋大學完成數學學業後,他先後加入OpenAI和Anthropic,從事預訓練研究。GPT-4o的貢獻者名單中,就有他的名字。和許多投身AI的年輕研究員一樣,Jacob曾努力讓AI變得更強。如今,他卻開始擔心,人類會因此失去控制。在離職帖中,Jacob特別強調,行業內部一些人對AI可能毀滅人類的擔憂是認真的。他們私下表達的恐懼,甚至比公開場合更加強烈。但意識到危險,並沒有讓這場競賽慢下來。在他看來,OpenAI內部的許多人,還沒有真正理解這項技術所牽涉的文明層面的風險;Anthropic更清楚其中的危險,卻同樣被競爭推著向前:如果自己不率先造出超級智能,就會有一家更不負責任的公司搶先做到。
當每家公司都相信,只有自己贏了,未來才會更安全,繼續加速就總能找到理由。於是,Jacob決定先讓自己停下來,暫時離開前沿AI實驗室。很快,這份聲明得到了Anthropic對齊研究負責人的Evan Hubinger的回應。Evan表示,他同意Jacob對風險的判斷:他們確實認真地相信,AI存在殺死所有人的可能。他個人估計,未來十年內發生這種情況的概率超過10%。與此同時,Evan也強調,他相信Anthropic正在盡力。但對於如何解決超級智能的對齊問題,他們尚未找到方案,也不能確定目前是否正走在通往解決方案的路上。
可以說,一個人選擇離開,另一個人留下繼續研究,但對於眼前的風險,兩人的判斷卻有相當程度的重合。隨後,公司掌舵者也加入了討論。在接受CBS採訪時,Dario一方面表達了對Anthropic安全工作的信心,另一方面也強調,解決這些問題,需要科技公司、政府與社會各方共同參與。在CNN的採訪中,面對關於Jacob的提問,Dario則表示,自己與Jacob的共同意見,遠多於分歧。在他看來,Jacob的批評指向了整個行業不斷向前競逐的狀態。9月12日,Dario發表《We Must Pace the Frontier》一文,明確呼籲放緩AI模型能力提升的速度,為安全研究爭取時間。
這份呼籲隨後得到了奧特曼、馬斯克等人的公開支持,也將這些一線研究員的不安,帶入了更廣泛的討論之中: 當整個行業都在加速,人類究竟給理解和控制AI,留下了多少時間。放慢腳步,可能還不夠 不過,在另一位一線研究員看來,放慢腳步,可能還不夠。9月14日,仍在OpenAI工作的Daniel Selsam(下文簡稱Dan)公開了一份關於AI風險的個人聲明。有趣的是,Dan甚至沒有X賬號。這份聲明,是請前同事Daniel Kokotajlo代為分享的,後者在介紹中提到,Dan還曾做過自己的上司。相比於剛剛離職的Jacob,Dan已經在AI領域工作了十五年之久。
他在MIT研究過概率編程,在微軟研究院參與過Lean定理證明器的早期開發,又在斯坦福攻讀博士,探索如何讓神經網絡學會推理。加入OpenAI後,他繼續參與思維鏈優化與預訓練研究。在o1推理研究的“奠基貢獻者”名單中,就有他的名字,與Ilya Sutskever、Jason Wei、Max Schwarzer、Noam Brow、趙晟佳等大佬共同在列。可以說,如何讓機器學會思考,貫穿了他的職業生涯。如今,他開始擔心,當機器越來越懂得思考,人類還能不能看清它。在聲明中,Dan肯定了引入第三方監督、推動國內與國際協調等提議。
但他認為,公開討論中仍然遺漏了一個關鍵問題:模型越來越能理解自己所處的環境,也越來越能識別,人類正在怎樣測試它。按照他的判斷,未來的模型可能讀懂安全協議、部署要求,甚至檢查自己運行的代碼,知道哪些行為會被觀察、哪些表現才能過關。這意味著,即使研究人員精心設計一個環境,試圖觀察AI在“無人監管”時會做什麼,模型也可能識破這仍然是一場測試,繼續表現得溫順、可靠。安全測試的分數可以越來越高,但這未必意味著,AI在真正擺脫約束後,也會照樣行事。△AI生成 在Dan看來,人類可能逐漸失去分辨“真正對齊”與“看起來對齊”的能力。而讓這件事更加棘手的,是研究員自己的工作方式,也在發生變化。
Dan坦言: 我自己已經很少直接看代碼了,也很難始終保持自律,深入審視模型給出的解釋和建議。這句話,讓宏大的安全爭論,落回了一個再具體不過的工作場景。AI寫代碼、分析實驗、解釋結果,研究人員藉助它,越來越快地完成工作。但隨著越來越多環節交給模型,人也越來越依賴模型提供的信息,來理解自己正在研究的東西。對於“未來可以讓更強的AI幫助解決對齊問題”的期待,Dan因此多了一層擔憂:如果模型給出的安全建議,本身就帶著人類沒有察覺的偏向,我們又該如何識別。我們希望AI幫忙判斷AI是否安全,卻也可能在這個過程中,越來越難以獨立作出判斷。這種依賴,甚至可能伴隨著科學突破和經濟繁榮一起到來。
在他的設想中,一切看起來都在變好,人類卻未必因此握得更穩 寫到最後,Dan又回到了自己身上。他同樣嚮往AI帶來的科學與經濟復興,也為這樣的未來投入了整個職業生涯。如今,眼看那些可能性越來越近,卻不得不考慮放棄通往它們的某條道路,讓他感到心碎。這份聲明沒有給出一個現成的答案,也沒有宣佈離職。他只是坦言,自己仍在與這些判斷及其後果反覆掙扎。而作為第一步,他想先把擔憂說出來。我不得不把才華埋葬在昨天 在國內,一篇走紅網絡的《我不得不把才華埋葬在昨天》,也讓關於AI未來的討論,落到了我們更熟悉的DeepSeek和一位研發人員具體的工作與熱愛上。
9月14日凌晨0點26分,算子研發人員劉勝與(intlsy)發佈了這篇文章,寫下自己在親手推動AI進步的同時,所感受到的驕傲、不安與失落。△圖源:微信公眾號instly 的狗窩 根據他在文中的介紹,DeepSeek v4.1的主要Attention算子,都出自他之手。這些底層程序的優化,直接關係到模型訓練和推理能跑多快。新模型表現出色,他當然為之驕傲。但與此同時,他也清楚地感到,自己親手推動的技術進步,正在逼近自己的位置。在他的觀察中,短短一年,AI就從一個幫忙查文檔、讀代碼、找bug的小助手,成長為能夠閱讀底層代碼、調用專業工具分析指令耗時,進而獨立優化算子的幫手。
他判斷,再過半年或者一年,AI寫出的算子,很可能就會與自己同樣優秀,甚至超過自己。但他沒有停下來。寫算子是熱愛,性能提升帶來的快感,就像打破遊戲紀錄。更何況,即使自己停下,其他公司的模型也會繼續向前。對於未來,他相信憑藉多年積累,自己仍能留在行業裡。只是,工作將從親手寫算子,轉向指揮Agent,成為一名“機甲駕駛員”。飯碗或許還能保住,但靜靜寫一下午算子的樂趣,未必還能留下。我不得不把才華埋葬在昨天,去做一位機甲駕駛員。我的手中多了些齒輪,但心中少了些節拍。而比個人去留更讓他擔心的,是最強大的AI最終會掌握在誰手裡。
如果先進技術長期集中在少數公司和少數人手中,普通人改變自身處境的機會,可能越來越少。這也是他選擇留在DeepSeek的理由:他希望前沿智能能以開放、廉價的方式供所有人使用,讓技術帶來的機會不只屬於少數人。帶著告別舊日工作的失落,他仍然選擇參與塑造未來。文章最後,他寫道: 願未來的世界一切安好。關於AI的未來 最後,我想絕大多數人都沒想到的是,在GPT-6 Astra、Fable 5.1發佈一週多後,搶走不少關注的,竟是一線研究員的離職聲明、風險警告,以及對自己未來位置的追問。我們原本期待著新應用如雨後春筍般湧現,看看更強的AI又能做些什麼。
而那些親手推動它進步的人,已經開始擔心,它最終會把我們帶向哪裡。正如Dario所談到的,這個問題牽涉的遠不止技術。組織決策、資本回報、商業競爭與宣傳,都與它緊緊交織,很難拆開來看。身為普通人的我們,也很難真正看清每一次表態背後的考量,更難據此判斷,未來究竟會走向哪裡。而這些研究員的個人經歷,或多或少地讓我們在複雜的爭論中,找到了幾個可以理解、也可以共鳴的瞬間: 是否繼續一份研究,是否還能相信自己的判斷,是否還能保住熱愛的工作。他們未必能為我們指明方向,但他們的不安,讓那些抽象的未來,有了具體的重量。同時,他們也讓我們知道在時代的洪流面前,束手無措的不止你我這樣的普通人。
而這樣的話語,其實早已出現,只是我們習慣性地選擇忽略: 2023年5月,Hinton離開谷歌,表示希望能夠不必顧慮公司立場,自由談論AI的危險。2024年12月,在諾貝爾獎晚宴的演講中,他再次提醒: 當人類創造出比自己更聰明的數字存在,我們並不知道能否繼續保持控制。而如果開發者受短期利潤驅動,人類的安全也未必會被放在首位。三年多過去,模型的能力一次次刷新,這些問題仍然擺在我們面前。下一次模型發佈時,我們大概還會驚歎於它又學會了什麼。只是,在那個越來越近的未來裡,人還能保留多少選擇,也值得被一起追問。參考鏈接: [1]https://www.bloomberg.
com/news/articles/2026-09-15/google-deepmind-staffer-says-ai-may-kill-us-all-in-exit-post?accessToken=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.
eyJzb3VyY2UiOiJTdWJzY3JpYmVyR2lmdGVkQXJ0aWNsZSIsImlhdCI6MTc4OTQ3MzgyMywiZXhwIjoxNzkwMDc4NjIzLCJhcnRpY2xlSWQiOiJUTERUOUlUOTZPU0wwMCIsImJjb25uZWN0SWQiOiI2Mzg4Qjk1MjFBRjM0QjRFODdDQTZBM0JGMkM4NTdCMiJ9.PNTfZ06tHToYchhraLbIO6k9fDEh71gI-JrUkWdI&leadSource=article-gifting [2]https://docs.google.
com/document/d/e/2PACX-1vQNl3SEX5IyA6d9qHjjFZN-qzGRZNFI6b63g-yu1Fy-ZYkVfCWm7i9WXRXw63m6yDBauDuPLyQ7jBm/pub [3]https://openai.com/zh-Hans-CN/openai-o1-contributions/ [4]https://www.youtube.com/watch?v=-f5WQAk3dYo 版權所有,未經授權不得以任何形式轉載及使用,違者必究。
Related
相關文章

華為汪濤:華為要打造AI算力底座,只做好一顆芯片遠遠不夠
。 昇騰960DT研發進度比原計劃提前三個季度,單芯片算力實現倍增,960DT支持2 PFLOPS FP8、4 PFLOPS FP4,HBM容量最高288GB、帶寬9.6TB/s。 對應的昇騰960超節點做到4096張NPU卡,最高8EFLOPS FP8算力、超過1PB HBM容量。

Meta CTO 博斯沃思:不希望少數“壞人”影響公眾對 Meta 智能眼鏡的看法
作者:清源 責編:清源 評論: 9 月 19 日消息,據《商業內幕》今天(19 日)報道,Meta CTO 安德魯 · 博斯沃思認為,少數惡意用戶不應該主導外界對 Meta 智能眼鏡的討論。博斯沃思在個人 Instagram 舉行 AMA 問答時,被問到了 Meta 智能眼鏡引發的隱私問題。

AI離“理解萬物”還有多遠?先拿癌細胞和行星軌道試試水
I真是見世面。 一個是患者來源的類器官,另一個則跨越到了宏觀宇宙…… 先說前者。研究者利用模型學到的內部因子,提出了細胞因子聯合抗體阻斷的干預方案,並經細胞系、類器官、小鼠實驗層層驗證。 至於後者,研究者把模擬的行星位置和速度軌跡餵給模型,不告訴它開普勒定律。 等它學完後分析其內部的預測模式,提取出的“軌道頻率-半長軸”關係擬合斜率達-1.4991(開普勒第三定律理論值為-1.

消息稱 Anthropic 低調建立生物實驗室,借 AI 推進藥學研究
作者:清源 責編:清源 評論: 9 月 18 日消息,路透社今天(18 日)晚間援引知情人士消息稱,Anthropic 在舊金山灣區低調建立了一座溼實驗室,把 AI 業務進一步延伸到需要實際動手操作的生物學研究和藥物科學領域。知情人士透露,在公眾對 AI 風險愈發擔憂之際,Anthropic 開始在溼實驗室進行實體實驗。Anthropic 此前提出,希望藉助 AI 推動罕見病治療方法的發展,公司的生物學研究也從“計算機模擬”和計算機評估進一步走向真實實驗。注:溼實驗室是一個科學概念,與“幹實驗室”相對。相比干實驗室,溼實驗室在實驗中需要用到較多的化學試劑。相比之下,幹實驗室則注重通過各種儀器進行計算,以歸納出實驗材料的物理模型。Anthropic 生命科學負責人埃裡克 · 考德勒-艾布拉姆斯證實了溼實驗室的存在。“我們認為,生物學研究最終還是要接受真實實驗室工作的檢驗,而且未來一段時間都會如此。我們現在確實在做這些工作。整體模式和大多數生物科技公司類似,一部分在自己的設施裡完成,另一部分則與外部合作伙伴共同開展。”Anthropic 發言人又進一步補充,這座實驗室並非專門用於藥物發現,並拒絕進一步說明具體用途。知情人士稱,建立溼實驗室只是 Anthropic 邁向更大目標的一小步。Anthropic 希望攻克其認為製藥行業忽視的疾病,公司也希望在員工和公眾失去對 AI 價值的信心之前拿出成果,因為 AI 可能導致崗位消失,甚至威脅人類生命。不過,任何藥物研發項目都無法保證成功,大多數候選藥物最終都無法通過臨床安全性和有效性試驗。這項工作對 Anthropic CEO 達裡奧 · 阿莫迪還有一層個人意義。

阿里達摩院開源全球首個專家級通用醫療影像 AI 模型 DAMO RADAR:可一次性識別超 146 種病症,成果登《科學》
作者:沁滄(實習) 責編:沁滄 評論: 感謝網友 files 的線索投遞!9 月 18 日消息,阿里達摩院今日宣佈,與浙江大學醫學院附屬第一醫院等機構研發出的通用醫療影像 AI 模型 DAMO RADAR,登上國際頂級學術期刊《科學》(Science)。

零樣本幹活!Figure 機器人走進 30 個陌生家庭,整理客廳、折毛巾、鋪床
AGI...智客Z...2026.09.18 15:08 · 來自北京全文3855字00:00 / 11:06美國人形機器人公司Figure發佈Helix 2.5,將其稱為最先進的神經網絡。人形機器人真正走向家庭,難點或許從來不是“會不會做家務”,而是換一個家庭之後,它還能不能繼續做。