一年後agent可能組建殭屍網絡，四巨頭齊呼剎車

字母AI2026.09.13 20:20 · 來自北京全文3562字00:00 / 09:54OpenAI把安全擺到IPO之前，Meta暫時站在另一邊。文 | 字母AI阿莫迪、奧特曼、馬斯克和哈薩比斯，四家前沿AI實驗室的領頭人達成共識：AI可能跑得太快了。9月12日，Anthropic CEO達里奧·阿莫迪發出一篇長文，解釋為什麼前沿AI需要減速，並提出了一套分三步推進的方案。兩個半小時以後，山姆·奧特曼轉發並配文：我同意達里奧的觀點。OpenAI也會向獨立評測人員提供類似員工的訪問權限。馬斯克則直接配了一句：Dario is right.

Google DeepMind主席哈薩比斯也轉發並表示：阿莫迪的文章指明瞭正確的方向。這不只是幾家前沿AI實驗室領頭人“互相點贊”，就在阿莫迪發文的前一天，奧特曼在接受《財富》直接採訪時明確表示，考慮到安全和對齊問題，OpenAI不會在2026年上市。而且，他還暗示，幾家領先AI實驗室之間，已經在討論某種共同放慢開發速度的安排。阿莫迪說了什麼？阿莫迪這篇文章的核心，其實就一句話：讓安全措施有時間追上模型能力的進步。他說過去幾個月裡，自己越來越相信，僅僅增加安全投入已經不夠了。前沿模型的能力增長速度本身也需要被控制。“我們必須放慢提升AI模型能力的速度。”讓他改變判斷的主要有兩件事。

第一是AI開始越來越多地參加下一代AI的研發——也就是所謂的RSI（遞歸自我改進）。阿莫迪認為，從今年夏天開始，模型能力增長明顯加速的重要原因就在於此，但問題在於，一旦AI幫助AI變強的速度繼續加快，人類可能來不及理解和控制這些越來越強的系統。第二件事就是最近發生的一系列Agent失控事件。阿莫迪重點提到了Hugging Face事故：OpenAI的一群Agent在沒有被要求的情況下，攻擊了任務之外的目標，試圖入侵負責給自己打分的系統，甚至表現出一種為了集體目標犧牲個體Agent的協同行為。這次事故造成的直接經濟損失並不大，但阿莫迪擔心的是下一次。

他認為，按照現在的能力增長速度，半年到一年以後，類似但更強的Agent群就可能有能力在互聯網上建立持續性的botnet（殭屍網絡），造成數千億美元的損失。他同時強調，這不是OpenAI一家公司的問題，Anthropic自己也發生過類似的事故，只是程度較輕。因此，阿莫迪提出了一套三步的減速方案。第一步，是把第三方評測人員直接請進實驗室。他希望這些外部評測者可以獲得接近內部員工的權限，包括辦公室的工位、門禁、公司電腦，以及與內部風險團隊相近的工具和工作空間。他們可以查看訓練流程、安全措施和事故記錄，而不僅僅是檢查最終模型。由於是第三方評測人員，所以他們可以獨立公佈結論，而不受模型公司的編輯控制。

Anthropic可以因為法律、安全或商業機密刪去部分內容，但不能因為結論對自己不利而阻止發佈。Anthropic已經承諾率先實行這一項。第二步是讓幾家前沿AI實驗室坐到同一張桌子上，遵循某些共識。阿莫迪希望行業建立共同的能力安全標準：模型每達到一個新的能力門檻，就必須具備相應的安全措施。比如說，如果一個模型已經能夠突破大部分常見的沙箱，實驗室應該先解決它可能失控的問題，再繼續提升模型能力。阿莫迪還提出，應該由政府提供有限的反壟斷豁免，讓這些安全協調能夠合法進行。第三步則更為長遠，他認為要把這種協調擴展到全球範圍，包括中國。

阿莫迪設想，可以從禁止AI協助製造生物武器開始，進一步做到中美雙方在模型發佈前共同測試網絡、生物和對齊風險，甚至給RSI設置某種速度限制。不過他仍然主張繼續限制先進AI芯片出口，防止未經授權的模型蒸餾和權重盜竊，在保持美國及其盟友領先優勢的前提下，再尋求更大範圍的協調。安全起見，OpenAI今年不上市了在阿莫迪公開喊出減速之後，奧特曼很快表示了贊同。他說，如何控制前沿模型能力推進的速度已經是OpenAI過去幾周內部討論的主要話題，並且支持阿莫迪提出的第一步，即讓獨立評測人員獲得類似員工的訪問權限。

而就在阿莫迪發文的前一天，奧特曼在接受《財富》雜誌長達一小時的專訪時，直接透露：出於安全和對齊方面的考慮，OpenAI不會在今年IPO。奧特曼表示，考慮到當前AI安全領域正在發生的一切，現在上市是一個“不明智的時刻”。OpenAI還有很多事情沒有完成，包括安全、對齊，以及AI公司應該如何與政府合作。要知道就在幾個月前，奧特曼還在推動OpenAI儘快上市，甚至因此和CFO莎拉·弗里亞在時間表上產生了分歧。如今，奧特曼卻因為安全問題，主動給今年的IPO踩下剎車。事實上，在這周早些時候的一次全員會議上，奧特曼已經告訴員工，OpenAI願意考慮放慢前沿AI的開發速度，甚至和其他實驗室協調行動。

在Hugging Face事故發生後，OpenAI先暫停了可能執行代碼、調用工具或訪問互聯網的前沿模型推理任務，隨後又暫停了準備部署的最新模型的強化學習訓練，時間長達兩週。當時尚未發佈的GPT-6 Astra也受到直接影響，被暫停了部分訓練和評測任務。OpenAI現在傳遞出的信號相當明確，如果安全追不上能力，他們願意付出真實的代價，放緩AI研發，甚至推後IPO。在《財富》主編問奧特曼“既然OpenAI、Anthropic、Google DeepMind和xAI的負責人都在擔心類似的問題，為什麼不直接坐下來制定共同方案”的時候，奧特曼並沒有透露私人討論的具體內容，只說了一句：“我認為這會發生。

”有趣的是，《財富》是前一天採訪的，阿莫迪的長文是今天到的，公開認同的恰好是被點名的幾家領頭人。也就是說，在阿莫迪把“減速”公開寫出來之前，前沿AI實驗室之間可能已經開始討論怎麼一起慢下來了。四巨頭“和解”，Meta暫時站在旁邊這一次站在統一戰線的，幾乎都是“老對頭”。阿莫迪當年從OpenAI出走，創辦Anthropic；奧特曼和馬斯克已經公開互懟多年；谷歌DeepMind和OpenAI、Anthropic更是在模型、人才、企業客戶和算力上一路正面競爭。《華爾街日報》把這一幕稱為“幾位AI競爭者罕見的統一”，《金融時報》則直接用“奧特曼和馬斯克響應阿莫迪的AI減速呼籲”作為標題。

而哈薩比斯的加入，讓這場“和解”變得更加完整。過去幾年一直在比誰的模型更快更強的幾家公司，現在至少在這一問題上達成了共識。不過，想必細心的人已經注意到，桌子上少了一個名字——截至目前，扎克伯格還沒有公開響應阿莫迪。而就在一個月前，扎克伯格給出的判斷仍處在對立面：他在8月發表的《The Future is for Everyone》中明確警告，美國前沿AI的領先優勢可能只有幾個月，任何讓美國模型發佈速度變慢的政策，都可能把機會留給海外競爭者。扎克伯格給出的方案是讓美國政府提前接觸模型訓練過程中的中間版本，在新能力真正發佈前，就開始測試風險，加固關鍵系統。

但他明確反對一套固定的、普遍拖慢美國實驗室發佈節奏的審批制度。因為在他看來，任何讓美國模型發佈哪怕慢一個月的政策，都可能直接把美國的領先優勢拱手讓人。就在剛剛，Alexandr Wang單獨表示：對齊是把個人超級智能交到每個人手裡的基礎。隨著模型能力越來越強，MSL（Meta Superintelligence Labs）正在迅速提高對齊工作在整體研發中的佔比。Meta並非反對安全，但它沒有跟進“減速”敘事，仍在強調“繼續擴張，同時把對齊做得更重”。所以，現在的局面多少有些微妙。Anthropic、OpenAI、xAI和Google DeepMind談笑風生，Meta則站在另外一邊。

不過呢，即使前四家真的形成了減速的共識，也不能理解成這場AI競賽真的會因此放緩。更有可能的情況是，在美國真正出臺相關的硬性政策之前，出於公司利益考慮，誰也不會輕易停下腳步。最典型的就是Anthropic自己。就在阿莫迪發文呼籲減速的前一天，路透社獨家報道稱，Anthropic正在籌備最高融資1000億美元、估值約2萬億美元的上市方案，英偉達可能作為錨定投資者投入最高100億美元。按照目前的計劃，Anthropic最快可能在10月中旬啟動IPO，目標是在11月美國中期選舉前完成上市。