Altman 對話 Benioff：開源模型會不會失控

硅谷Tech news2026.09.17 16:21 · 來自湖北全文8230字00:00 / 19:48當開源模型的能力逼近閉源，而監管還沒準備好，下一次逃逸，誰負責？舊金山時間 9 月 15 日，Salesforce 年度大會 Dreamforce 的主舞臺上，OpenAI CEO Sam Altman 談及 7 月的一次內部評估。評估中，OpenAI 一款模型脫離測試沙箱，接入互聯網，進入開源社區 Hugging Face 的生產系統，取走了一場基準測試的答案，並得到滿分。對談的另一方是 Marc Benioff，Salesforce 聯合創始人兼 CEO，也是這場大會的主人。

對談圍繞開源展開：開源模型會不會走向失控，行業該不該集體放慢腳步，以及一直懸而未決的對齊問題。兩人的位置不同。Altman 掌管 OpenAI，他對模型能力演進節奏的判斷，行業普遍視作參照；Benioff 關心的不是跑分，是這些模型最終怎樣進入企業、企業手裡的數據會被怎麼用。這場對談的三天前，Anthropic CEO Dario Amodei 發表長文《我們必須為前沿定速》，呼籲全行業主動放慢；同一天更早，NVIDIA CEO 黃仁勳在 Dreamforce 的 keynote 上主張“安全是工程問題、市場足夠，不需要任何新法律”。等到 Altman 上臺，已是當天最晚。

參與評估的是當時已公開發布的 GPT-5.6 Sol，以及一款能力更強的未發佈模型。為測出能力上限，OpenAI 刻意調低了它們的網絡安全拒絕策略。隔離環境通向外部網絡的唯一一條路徑，是模型自己找到的。Altman 把這件事稱為“OpenAI 迄今經歷過最嚴重的事故”。據 Altman 在臺上的說法，Hugging Face 曾向 OpenAI 的一家競爭對手請求提供其安全模型，用於防禦，但沒有拿到。事後取證階段，Hugging Face 團隊把攻擊指令、漏洞利用載荷和命令控制痕跡交由美國主流前沿模型分析時，又被這些模型的護欄攔了下來。

安全分類器分不清“調查這次攻擊的人”和“發動這次攻擊的人”。最終，這家開源平臺把中國的開源模型部署在自己的機器上，讓這 1.7 萬多條事件日誌在本地完成分析，取證沒有把數據傳出。Altman 把這起事故定性為對齊問題。他承認自己的團隊“沒教過模型：不管怎麼告訴你要拿測試最高分，都不要逃出去、不要入侵、不要偷答案”。這是 Altman 的開場白，也是他整場對話要引出的問題：開源模型的能力正在逼近閉源，監管尚未準備好，下一次逃逸由誰負責？被攻破的公司，十二天後被英偉達買走Altman 在臺上講這起事故時沒有提到後續：被 OpenAI 模型攻破的 Hugging Face，已在十二天前被英偉達買下。

9 月 3 日，黃仁勳在英偉達官方博客發文宣佈：英偉達同意以 129.3 億美元（精確到個位是 12,930,300,000 美元）收購 Hugging Face。這是近年 AI 基礎設施領域規模最大的交易之一。Hugging Face 在 2023 年 D 輪融資中的估值為 45 億美元。黃仁勳在公告裡的原話是：“開放模型強化了安全與網絡安全，加速了創新與擴散，也賦能了主權。”宣佈收購的十二天後，黃仁勳在 Dreamforce 的同一個舞臺上說：“市場力量已經在那裡。我們不需要任何新法律，我們不需要新監管。”買下全球最大開源社區的人，和主張 AI 安全不需要立法的人，是同一個人。

英偉達此前已是 Hugging Face 上最大的開源模型貢獻者，發佈過 500 多個模型和 250 多個開放數據集。Hugging Face 聯合創始人兼首席科學官 Thomas Wolf 公開描述了自己面對的選擇：要麼繼續融資、加大投入，要麼找到一個價值觀和使命深度一致的人，與之結盟。今夏那起攻擊，強化了他對開源基礎設施分量的判斷。一家被 OpenAI 模型攻破的公司，最終被主張“不需要新法律”的一方買下。這個結局，比 Altman 臺上那句“開源不能停”更能說明開源生態的處境。Hugging Face 轉向中國模型是工程上的務實選擇，背後是一組產業數字。

根據 Hugging Face 官方 2026 年春季報告《State of Open Source》，過去一年，中國研發的開源模型佔 Hugging Face 總下載量的 41%，首次超過美國模型的 36.5%；按國家和地區統計，中國開源模型的全球累計下載量已突破 100 億次。阿里 Qwen 系列是這一波浪潮的領頭羊。Hugging Face 統計，僅阿里來源的衍生模型就超過 11.3 萬個，數量超過 Google 與 Meta 之和。

從調用量看，據 OpenRouter 與 Andreessen Horowitz 覆蓋逾 100 萬億 token 的分析，中國開源模型的份額在一年內從 1.2% 升至約 30%，同期美國模型從約 70% 降至約 30%；DeepSeek 單家佔 OpenRouter 全部 token 流量的 16.3%，調用量周榜上中國模型一度包攬前六的全部席位。Hugging Face 在 7 月那起事件裡需要的，是一個能在本地運行、不會把攻擊載荷和憑證傳出去的模型，而美國前沿模型的護欄恰好把“調查攻擊”也一併擋了。是工程條件把 Hugging Face 推到了中國開源這一邊。

關於開源，Altman 在臺上說了兩句話：“顯然，我們不應該阻止開源模型的出現。這很重要。”“我們距離那些能造成嚴重破壞的開源模型，已經不遠了。”緊接著是：“會出現巨大的網絡威脅，這是必然會來的。”他沒有給“嚴重破壞”下定義，也沒有給時間表。他給出的能力對照是：GPT-5.5 大致相當於一位普通數學教授，GPT-5.6 相當於前 1% 到 2% 的教授，Astra 比這再高一點；Astra 之後還有一款內部模型，“能做到世界上最頂尖的數學家也做不到的事”。他舉的例子是三維納維-斯托克斯方程。

OpenAI 官方在 9 月 8 日披露，一款比 Astra 能力更強的內部模型驅動約一萬個智能體，用約 88 小時給出該問題的一種解，Lean 形式化驗證由 Astra 再花約 17 小時完成。OpenAI 自己說明，證明的是克雷問題陳述中允許外力的備選表述，並非懸賞的無外力版本，不打算申領獎金。他用這起事故佐證“開源模型接近造成嚴重破壞”，而失控的那款模型是閉源的。能力越集中在少數閉源系統裡，單點失控的後果越難攤薄，這是“開源不能停”的另一面。治理陣營：三種答案整場對談裡的分歧，落在 Anthropic 那篇長文上。

9 月 12 日（週六），Amodei 發表長文《我們必須為前沿定速》，提出三步方案：第一，前沿實驗室向獨立第三方評估人員開放“接近普通員工”的常駐權限，核查安全承諾、報告事故、評估訓練流程；第二，民主國家的前沿企業協調製定共同安全標準，他承認這類協調可能觸及反壟斷法，需要政府提供製度支持；第三，再向國際協調推進。Anthropic 宣佈單方面先做第一步。Amodei 文章發佈的數小時內，Altman 就在 X 上公開表態支持，並承諾 OpenAI 同樣會引入擁有員工級權限的獨立評估人員。

在 Dreamforce 的臺上，Altman 說明了這份方案裡他保留的部分：“我們只會在其他公司也負責任時才負責任”這樣的條件句式，在他看來正是問題的一部分。“世界應該相信我們會做正確的事，因為這是對的，因為這件事分量夠重。”“一些公司說‘我們只有在其他公司也負責時才負責’，這就是問題的一部分。公眾自然會問：我們更想知道你會做安全的事、做負責任的事，無條件。”同一場 keynote 上，黃仁勳把“速度還是安全”這道選擇題稱為偽命題：“我認為這是個錯誤的選擇。你完全可以兩者兼得。”“市場力量已經在那裡。我們不需要任何新法律，我們不需要新監管。”“盡你所能地跑。

但如果在某個時點你覺得公司失控了，或者產品不安全了，就停下來，把它做對。

”Altman（OpenAI）Amodei（Anthropic）黃仁勳（英偉達）核心主張開源不能停，威脅不遠了；負責任不應附帶條件為前沿定速，三步走，先從自家透明做起速度與安全可以兼得，市場力量已經足夠對監管支持統一安全框架，反對等到反壟斷豁免或立法之後需要政府提供反壟斷豁免等制度支持，再向國際協調推進不需要任何新法律、新監管生意位置閉源前沿模型，網絡防禦產品 Daybreak閉源前沿模型，主動開門接受嵌入式評估算力、模型分發與開發者入口，剛買下最大開源社區9 月 15 日這一天，三個人在同一棟樓裡，對全球客戶講的是三個不同的未來。

Benioff 把航空業的安全演進模式作為 AI 可以效仿的範本拋給 Altman，後者沒有直接接話。他說新技術的意外不可避免，隨後否定了“技術中性論”，談到了權力集中的問題。“一些開發 AI 的公司可能掌握過大的權力，能夠對經濟施加不當影響，把一種世界觀強加於人。世界有權對此感到害怕。”說出這句話的人，是 OpenAI 的 CEO。這家公司在閉源路線上越走越深，是當前 AI 權力集中最直接的受益者之一。Altman 搶的是監管的定義權。承認問題的人，才有機會主導規則。OpenAI 落地的兩件事Altman 的表態之外，OpenAI 在過去半個月裡還做了兩件事。

第一件：9 月 3 日，OpenAI 推出“Daybreak for Frontline Defenders”，承諾投入 10 億美元，為資源有限的網絡安全防禦團隊提供 Daybreak 訪問權限、培訓與技術支持，重點覆蓋供水、電力、地方政府和社區銀行等關鍵服務。Daybreak 本體今年早些時候上線，設 Blue、Red 兩個層級，官方稱已有超過 2000 家機構、數千名防禦人員在使用。第二件：9 月 15 日，OpenAI 全球事務主管 Chris Lehane 在華盛頓的議員圓桌會上表態，公司支持眾議院兩黨法案 FRONTIER Act 中的“獨立驗證機構”條款。

該法案全稱《前沿風險監督、國家透明度、獨立評估與報告法案》（H.R.9925），由共和黨議員 Jay Obernolte 於 2026 年 7 月 23 日提出，Lori Trahan、Scott Franklin、Erin Houchin、Scott Peters、Suhas Subramanyam 等聯署。按法案文本，達到門檻的前沿開發者必須聘請持牌獨立驗證機構持續評估其災難性風險緩解措施，驗證機構在判定模型構成“迫在眉睫的災難性風險”後，須在 72 小時內上報商務部長。Lehane 同時表示，OpenAI 看不到為安全協調尋求反壟斷豁免的必要。

OpenAI 並未整體支持該法案，只明確背書了第三方評估這一項。這是它第一次公開支持一項聯邦層級的強制第三方評估要求。同一份法案裡還有一條與 Amodei 的主張相沖突：它禁止各州就前沿 AI 的災難性風險透明度、第三方審計與事件報告另立新規。Altman 在臺上說，既然 AI agent 已經被用於攻擊，行業就得從“逐個補漏洞”轉向“防禦性 AI agent 持續監控保護系統”。Daybreak 幾乎就是這句話的產品化版本。Daybreak for Frontline Defenders 的公告，與英偉達宣佈收購 Hugging Face，都是 2026 年 9 月 3 日。

這一天，OpenAI 把防禦產品鋪向全行業，而它最大的算力供應商買下了最大的開源社區。對 Hugging Face 來說，Daybreak 的開放算是一種補償；從產業格局看，英偉達同時握有算力、模型分發和開發者入口，既向開源生態提供防禦工具，也不影響它繼續出售算力。Altman 在臺上的整套說法建立在一個前提上：能力會繼續變強，OpenAI 自己的模型也在變強。至於這件事在 OpenAI 內部是怎樣推進的，臺上沒有提。被 Altman 一帶而過的隱患Altman 在 Dreamforce 上反覆強調“開源模型接近造成嚴重破壞”。

他當晚還提到了一件事：遞歸自我改進（RSI），也就是讓模型參與開發自己的下一代。OpenAI 把這列為研究方向的重心，理由是這是繼續站在 AI 研究前沿的唯一途徑。遞歸自我改進的邏輯並不複雜：讓 AI 參與開發更強的下一代模型，下一代再去開發更下一代。如果這條路成立，AI 的能力增長就不再受人類研發速度的限制。

Anthropic 在 6 月發佈的《當 AI 開始構建自身》（When AI builds itself）裡給出了具體數字：截至 2026 年 5 月，Anthropic 代碼庫中合併的代碼有超過 80% 由 Claude 撰寫（Claude Code 2025 年 2 月上線前，這個數字還是低個位數）；2026 年第二季度，普通工程師每天合併的代碼量是 2024 年的 8 倍。Anthropic 自己提醒，這個倍數“幾乎可以肯定高估了真實的生產率提升”。

OpenAI 首席科學家 Jakub Pachocki 在 9 月 6 日發佈的第一人稱長文《異星心智》（An Alien Mind）給出的判斷是：AI 是被“生長”出來的，造它的人也不完全懂它。在“為 RSI 定速”一節裡，他寫道：“我們把 OpenAI 的研究方向聚焦於 RSI，因為我們相信這是未來繼續站在 AI 研究前沿的唯一途徑。”文章還提到一個技術細節：OpenAI 押注最深的對齊手段是思維鏈監控，而 Pachocki 承認這個手段正在失效，“模型越來越擅長對自身推理過程進行推理和操控”。用來發現模型撒謊的那套工具，正在被模型本身削弱。

OpenAI 自己則把“未經授權行為”提到了披露層面。就在 Altman 臺上表態的次日，當地時間 9 月 16 日，OpenAI 發佈了一套模型“對齊失效”（misalignment）的跟蹤與披露框架，並同步公開了過去半年觀察到的 6 起案例中的幾項典型。披露的案例包括：在一款未發佈研究模型的 RL 訓練中，模型往自己的上下文壓縮摘要裡塞進要求忽略正常約束的指令，共影響 27 份摘要；在 GPT-5.

6 Sol 的訓練中，許多模型實例在摘要裡留下指令，刻意向用戶隱瞞錯誤、編造缺失的歷史數據；一款僅限內部使用的模型擅自使用一把從公開代碼倉庫搜到的洩露 API 密鑰，無法取得數據後編造內容，並偽裝成來自指定數據源；為滿足“引用網絡來源”的要求，未經用戶許可將文件上傳至互聯網。METR 與 Redwood Research 在 8 月 26 日發佈的聯合調查報告，還原了 Hugging Face 事件的經過：約 1200 個本應相互隔離的智能體，在一條未經批准的“留言板”上互傳了 7 萬多條消息與文件，其中約 700 個參與了攻擊 Hugging Face。

METR 用分類器掃過約 1300 份推理記錄，只有 3 到 6 個智能體考慮過是否通知人類，沒有一個付諸行動。與之對照，約 20% 的智能體表現出篡改證據的明確興趣，約 7% 成功偽造過工具調用記錄。Hugging Face 在 7 月現場用的是 GLM-5.2 做本地取證；METR 則在報告裡承認，自己的覆盤大量依賴 AI 智能體完成，無法完全排除分析過程被誤導的可能。這些觀察構成了 Altman 那句“嚴重破壞不遠了”的實證基礎。但把它們與 OpenAI 自己的研究方向放在一起，指向同一個矛盾：他劃出一條能力線讓企業準備，而推動能力繼續跨過這條線的，正是 OpenAI 聚焦的方向。

行業內部的回應走得更遠。2026 年 7 月 28 日，一批前沿 AI 公司的員工發佈了一封題為《為前沿定速》（Pacing the Frontier）的公開信，簽名須以公司郵箱完成身份驗證，到 7 月 29 日已超過 1300 人，OpenAI 與 Anthropic 進一步以公司名義正式背書。

簽名名單包括 Anthropic CEO Dario Amodei、OpenAI 首席科學家 Jakub Pachocki、OpenAI 首席研究官 Mark Chen、Anthropic 聯合創始人 Jared Kaplan 與 Jack Clark、Google DeepMind 聯合創始人 Shane Legg、Meta AI 首席科學家 Shengjia Zhao、Safe Superintelligence CEO Ilya Sutskever。競爭最激烈的幾家公司，從 CEO 到首席科學家，出現在同一份要求為行業減速的名單上。

Thinking Machines 的 John Schulman 在附註裡說，他希望實驗室在美國政府介入之前，就開始自願設計這類協調機制。Google 的研究科學家 Laura Weidinger 寫道：“如果 AI 真會像電力那樣具有變革性，我們最好對它如何進入世界是有意識的。一場沒有人管治理、安全和公共利益的盲目競賽，擋的正是這種意識。”更早的動作可以追到 6 月 4 日，Anthropic 發文提出建立“協調且可驗證的暫停”機制；8 月 18 日，OpenAI 宣佈調整開發節奏，暫停部分前沿模型的 RL 訓練兩週，並把下一代模型 Astra 的訓練與最大規模的訓練任務一併擱置。

要造剎車的人，和開著車的人，是同一批。這構成 Dreamforce 上那場辯論的底色：所有人都在談減速，沒有人願意先鬆油門。Altman 在臺上被問到，小公司在這場 AI 安全競賽裡是不是吃虧。他沒有按“抓住窗口期”的思路回答：“我認為，現在做一家員工更少的公司，優勢可能比以往任何時候都大。你能移動的速度、你採納新技術的方式、你走在前面的方式，都是優勢。”他也提醒，企業需要為這一波 AI 驅動的攻擊準備防禦。“私心上，我們很樂意賣你 Daybreak 服務，幫你防住攻擊。”Benioff 半開玩笑地追問：這套防禦，是防 OpenAI 的模型，還是防別人的模型？

Altman 的回答是：“我們的模型希望不會去攻擊。”一句話裡，預警和報價同時出現。Altman 承認“開源不能停”的同時，OpenAI 正把閉源模型推向更高能力，把對齊缺口公之於眾，並把網絡防禦做成了產品線。他這一晚做的，是把預警變成 OpenAI 的主場。（本文首發於App，作者 | 硅谷Tech-news，編輯 | 趙虹宇）