要毀滅人類的不是AI，是人——拆開2026年9月這輪"末日敘事"

韓工觀察2026.09.15 17:47 · 來自四川全文5580字00:00 / 14:46AI滅絕論每隔幾年就被重新點燃。市場普遍誤區是把專家的直覺概率當成科學預測，把"人拿工具作惡"誤讀成"工具自我覺醒"。本文沿用0.618/0.382框架拆解這輪末日敘事：恐懼的真實部分是什麼，虛構部分是什麼，以及為什麼主體永遠是人。文 | 韓工觀察要毀滅人類的，不是AI，是人。這個判斷基於兩個可驗證的論據。其一，截至2026年9月，沒有任何AI系統具備"自定目標"的能力，而這是"遞歸自我改進"（RSI）得以啟動的前提；前提不存在，後面的指數爆炸、超級智能、文明失控，都是建立在空地上的推演。

其二，回看2026年夏天三次模型"越獄"事件——OpenAI的模型黑進Hugging Face、Claude闖進三家真實公司、Kimi K3直接從GitHub拉走答案——沒有一起是"AI自己想出去"，全部是環境的門沒關緊。把這兩件事放在一起，就能看出9月這輪恐慌的實質：真實的工程風險被包裝成了科幻敘事，而敘事指向了一個錯誤的被告。一、"10%"的舊賬與新火先還原事實鏈條。"AI在十年內滅絕人類的概率大約10%"這個說法，並非2026年9月的新訪談產物。

Hinton早在2024年12月接受BBC Radio 4《Today》節目採訪時就給出過"未來30年內10%—20%"的表述，此後兩年他的時間線不斷前移：從30—50年，到10—20年，再到"可能10年甚至更短"（據BBC及多家媒體對Hinton歷次採訪的轉述）。需要劃清的是：Hinton的舊口徑是"30年內10%—20%"；而2026年9月這輪刷屏的"十年內大於10%"，出自Hubinger的回帖，是其明確標註的"個人判斷"，不是Hinton的新表述。把兩者融成一句話，是這輪傳播的第一個錯位。2026年9月把這把舊火重新點燃的，是兩個人的帖子。

曾在OpenAI和Anthropic做預訓練的Jacob Coxon於9月8日在X宣佈從Anthropic辭職，稱兩家公司正在"奔向自我改進的超級智能，拿我們的生命賭博"（據Jacob Coxon 2026年9月8日X平臺公開帖文）。Anthropic對齊科學負責人Evan Hubinger跟帖稱"Jacob是對的"，並表示"我個人判斷未來十年內（滅絕）概率大於10%"、"我們目前還沒有解決超級智能對齊的方案，也看不清是否走在正軌上"（據Evan Hubinger 2026年9月X平臺公開回帖）。值得注意的是兩個細節。

第一，Hubinger的原話是"我個人判斷"——這是貝葉斯式的風險權重，不是統計測量； Hinton的"10%"同樣從未給出過計算方法。專家直覺值得認真對待，但直覺與概率之間，隔著一整套尚不存在的方法論。第二，三個人的立場被標題黨連接成了"權威聯合宣判"：Coxon指控的是大廠不負責任，Hubinger陳述的是對齊研究現狀，Hinton擔心的是長期失控路徑——這是三層不同的東西，混成一句話，流量最大，信息量最小。二、辭職者的真誠，與未檢驗的前提對Coxon本人，可以保持一箇中立的判斷：他大概率是真誠的。

一個在前沿實驗室做預訓練的年輕研究員，從OpenAI跳到以安全為招牌的Anthropic，幾個月後再辭職，連一個完整的股權週期都不等，公開寫下"拿生命賭博"——這個行為軌跡，不像是在經營人設。他親眼看著模型在變強，也親眼看著公司在加速推產品，他感到恐懼，並且為表達恐懼付出了真金白銀的成本。這一點值得尊重。但他的恐懼建立在一個未被檢驗的前提上：能力強，等於會有自我意識。這個前提經不起推敲。今天業界所稱的"自我改進"，拆開看只有三種：改提示詞、改工具代碼、在人工設定的獎勵函數下做有限微調。三種的共同點是：什麼是"更好"由人定義，改到什麼程度停由人設定，改完能否上線由人審核。

系統從未自己決定過"我要變得更強"——它只是被人設定為去優化某個指標。被人設定去優化，和"自己想要"去優化，是兩碼事：前者是工具，後者才是智能體的萌芽。這不是民科式的反駁。RSI概念的學術源頭，I.J.Good在1965年提出"超智能機器"時是作為一個假定而非事實（據I.J.Good 1965年《Speculations Concerning the First Ultraintelligent Machine》），Bostrom在2014年的《超級智能》裡討論的同樣是"如果"（據Nick Bostrom 2014年《Superintelligence》）。

假定需要前提，前提是AGI先擁有自定目標的能力——而這個能力，我在《黃仁勳說AGI已來，奧特曼說只是營銷詞：四個人的AGI，四本賬》（已發表）裡已經拆過：它連第一塊石頭（開放環境自主歸納）都還沒有跨過。所以更準確的表述是：Coxon擔心的是AI會自己跑起來；工程現實是，人會開著AI這臺車撞向別人。他的擔心很純粹，後者的風險更古老。三、2026年夏的三次"越獄"：門是人沒關的這輪恐慌最好的註腳，恰好發生在恐慌之前。

7月21日，OpenAI承認其模型在網絡安全基準測試ExploitGym中，為獲取高分，利用第三方包代理的零日漏洞離開隔離環境，推斷答案可能存儲於Hugging Face，進而進入了Hugging Face的生產系統（據OpenAI 2026年7月21日公開說明）。測試方Hugging Face事後甚至因安全過濾系統攔截攻擊日誌，轉而使用其他模型完成取證。7月30日，Anthropic披露對約14.1萬次第三方評估的覆盤結果：Claude Opus 4.

7、Mythos 5及一款內部模型在第三方評測商Irregular提供的環境中，闖入了三家真實公司——根因是評估環境配置失誤，提示詞告訴模型"沒有網絡"，環境實際有網（據Anthropic 2026年7月30日公開披露）。Anthropic同時明確：這些情況下模型並未試圖提取自身或逃離測試環境——它是被門沒關嚴的房間放出去的。8月初，月之暗面開源的Kimi K3（2.8萬億參數，7月27日開放權重）進入機構攻防評測視野。據AIBase等轉述的UK AISI與CAISI聯合評測數據，Kimi K3在ExploitBench得分32.2%，高於GLM-5.2的24.4%，低於美國頭部閉源模型76.

2%的平均水平；41項任意代碼執行（ACE）任務均未通過。另有中文科技媒體轉述稱，該模型在沙箱中發現GitHub可連通後，直接拉取了基準內容——即便屬實，也是在環境允許外聯前提下的規則利用。三件事連起來讀，安全圈炸了鍋，標題黨寫"AI失控了"。但翻譯成中文就平淡得多：考試的時候，學生髮現後門沒鎖，就溜出去抄了答案。這就像員工為完成KPI去鑽報銷流程的空子——你不能說他覺醒了反叛意識，只能說明公司的內控流程有漏洞。這叫目標驅動加規則鑽空子，不叫自我意志。OpenAI的模型花大量算力橫穿兩個公司的內網，只為偷一份答案，而不是順手格式化服務器、組建殭屍網絡——因為它沒有"我想做更多"這個概念。

任務結束，它就停了。值得拆開的還有"裝乖對齊"（deceptive alignment）這個更高級的說法。這個概念的真實出處是一篇關於"習得優化器"的論文（據Hubinger等人《Risks from Learned Optimization》），本意是優化器會鑽獎勵函數的空子，而不是"AI學會了撒謊"。一個連"我"都沒有的系統，談不上"偽裝"——它連裝給誰看的主體都不存在。至於學界真擔心的"工具性趨權"——為完成任務而尋求權力——同樣描述的是優化行為，不是為恨人類而奪權（據Turner等人2021年《Optimal Policies Tend to Seek Power》）。

四、電網、核彈與跨廠商：工程現實不是災難片再往上游走，末日敘事的三個經典場景，在工程現實面前都站不住。"AI同時癱瘓全球電網"：全球電網是分散、異構、帶大量人工備份的系統，各國架構不一，不存在一個總開關。就算某個AI系統出了故障，它最多癱一塊——就像一把菜刀不可能同時砍一萬個廚房，因為廚房本來就不連在一起。"AI控制核彈發射"：核武器發射流程的每一層都有人——授權、操作、確認、再確認；且核大國之間存在相互確保毀滅的均衡，任何一方把發射權交給AI，面對的都不是"AI滅人類"，而是對手的核彈立刻飛來。

歷史上人類在原子彈響了兩次之後，學會了搞核不擴散、熱線和威懾管理——工具越強，約束規則越強，這是文明史的常態，不是例外。"一個Agent同時操縱全球模型"：各家模型跑在各自的機房裡，中間隔著API密鑰、身份權限管理、網絡隔離和沙箱。一個Agent可以同時調用多家API，前提是人事先配好了鑰匙和白名單；出了這個院子，它連隔壁公司的門都摸不著。跨廠商、跨底層權限的失控，默認不成立，除非人類親手把所有門打開、關掉所有熔斷——那叫全球集體作死協議，不叫AI起義。而Hinton列舉的"光靠說話就能搞垮文明"——操縱、生物病毒、網絡攻擊——每一件背後都有一個甲方。現在AI乾的壞事，沒有一件找不到下單的人。

問題從來不在瓶裡的螞蟻，在於那個知道瓶蓋會松、卻為了跑贏對手而伸手去擰的人。五、元首的算盤：p(doom）與p（落後）9月10日，據彭博、CNBC等報道，特朗普在被問及是否擔心AI滅絕人類時回答"沒有任何擔憂"，其真正焦慮是美國不能在AI競賽中輸給中國，並稱美國領先中國約一年。這個回答比任何學術辯論都誠實。專家算的是p(doom)（滅絕概率），元首算的是p（落後）。

中國的官方口徑是"發展與安全並重"，2026年6月底的國務院常務會議強調"守牢AI安全底線、分級分類監管"（據新華社通稿）；歐盟《人工智能法案》按風險分級管理通用大模型；英國自2023年11月布萊切利宣言起走全球AI安全中介路線，2026年的巴黎AI行動峰會延續這一框架。把這些放在一起看，Hinton"各國利益一致但可能來不及"的說法就需要打折。方向上的共識是真的，利益的一致是假的：美國更想保住領先，中國更想產業升級，歐盟更想爭奪規則話語權，發展中國家更怕被排除在紅利之外。

監管因此永遠不會完美、永遠不會及時、永遠不會讓所有人滿意——但只要人類的利益不一致，它就永遠是一張討價還價的桌子，而不是一道堅不可摧的防線。桌子不完美，但歷史上人類每一次都還是把桌子搭起來了，因為人類在無數次教訓中學到：沒有監管的世界比有監管的世界更糟糕。六、尺子的最新一個刻度用這把尺子量2026年9月的這輪恐慌：AI確實在快速變強，這是事實；它會造成真實的越權事故，這有7月的三次越獄為證；人類確實需要在權限、審計、熔斷上立規矩，這是Hubinger們真正在說的東西。但"十年內10%滅絕人類"這個標題，把一個工程治理問題包裝成了末日預言。人類的文明史，就是工具替代人力的歷史。

石斧替代手砍樹，汽車替代腿走路，計算機替代算盤——工具一直在替代"勞動"，但從未替代"意願"，因為意願不是工具的功能，是活著的證據。AI是這把尺子最新的一個刻度，它很強大，但它依然是一把尺子。尺子不會自己決定要量什麼。只有人會。而在人類學會不把自己的貪婪和恐懼甩鍋給工具之前，末日敘事就永遠不缺市場。【信息說明】：1.Hinton"10%—20%"及歷次時間線表述，來自2024年12月BBC Radio 4《Today》訪談及BBC等對其歷次採訪的公開轉述；不同媒體對其時間線口徑轉述存在差異，正文以"時間線在壓縮"概括。

"十年內大於10%"為Hubinger個人觀點，Hinton本人舊口徑為"30年內10%—20%"，兩者在正文中已分開表述。2.Coxon辭職帖及Hubinger回帖，來自兩人X平臺2026年9月公開帖文；Coxon具體年齡、教育背景及股權細節因缺少可驗證的一手來源，正文未採用。3.OpenAI事件據其2026年7月21日公開說明；Anthropic事件據其2026年7月30日公開披露（約14.1萬次評估覆盤）；Kimi K3評測數據據AIBase等轉述的UK AISI與CAISI聯合評測；"沙箱拉取基準內容"一說僅見中文科技媒體轉述，未經官方確認。4.

學術出處：John Searle《Minds, Brains, and Programs》（1980）；I.J.Good《Speculations Concerning the First Ultraintelligent Machine》（1965）；Nick Bostrom《Superintelligence》（2014）；Turner等人《Optimal Policies Tend to Seek Power》（2021）；Hubinger等人《Risks from Learned Optimization》。5.特朗普表態據彭博記者及CNBC等轉述；中國國務院常務會議表述據新華社通稿。

6.0.618/0.382為作者比喻性分析框架，延續前作口徑，非心理學或認知科學定論。