Anthropic CEO又髮長文：1-2年內迎來高階AI，影響力堪比核武器

智東西 編譯 | 劉煜 編輯 | 陳駿達 智東西6月11日消息，今天，Anthropic聯合創始人兼CEO Dario Amodei（達里奧·阿莫迪）發表題為《Policy on the AI Exponential（論AI的指數級發展及其政策應對）》的長文稱，其高度確信，數年之內，AI重塑全球格局的影響力將堪比核武器改寫地緣政治格局。同時，Amodei深度剖析AI指數化發展的現狀，並闡明當下全球亟需採取的聯合行動。 Amodei稱談到，AI領域的Scaling laws預言，只要算力不斷增長，AI的通用認知能力就會呈指數級提升。倘若該趨勢再延續一到兩年，我們或將迎來Powerful AI（高階AI），也就是“一座數據中心內匯聚萬千天才”的形態。 但AI會帶來諸多安全風險，受制於當下的現實困境，Amodei透露，包括Anthropic在內的眾多安全領域倡導者正提倡：相關信息公開立法、芯片出口管制以及統計AI對就業市場影響的數據等。 Amodei還稱，由Mythos級模型引發的網絡安全風險只是開始。未來AI可能被用於研發威脅數百萬生命的生物武器，屆時頂尖AI威脅的不再只是公共安全，而是全人類的存續。 針對這些安全風險，他建議，研發前沿AI模型的企業，必須建立完善的安全規範以保護模型權重，同時定期開展紅隊演練與滲透測試，並配合政府抵禦高級別網絡威脅。 Amodei認為，如果AI在絕大多數腦力工作上全面超越人類，藉助AI加速科研、技術迭代與運營提效的能力，經濟有望迎來高速、穩定的增長。而AI自主迭代、打造更強AI的能力，還會進一步放大這一增長動能。 但相較於歷次技術變革，AI對人類腦力勞動的替代範圍更廣、迭代速度更快。由此Amodei推斷，AI對就業市場的衝擊，會遠超以往歷次技術革命，且影響更具持久性。 除此之外，Amodei還提出，數據中心可能推高能源價格，AI企業應當承擔電價上漲帶來的成本，而Anthropic也已就此作出了公開承諾。 在該文章發出的同時，Anthropic同步推出了兩套方案。該公司為此投入了相應資金，其中，2億美元（約合人民幣13.6億元）用於研究框架，1.5億美元（約合人民幣10.2億元）投向設立獎學金。 文章的核心要點包括： 1、AI發展速度已遠超政府監管速度：Amodei拿《指環王》中的霍比特人與Treebeard（樹須）做比喻，稱當前最大的風險，不是沒有監管AI，而是監管永遠慢半拍。 2、AI已進入國家戰略級風險階段：AI已經從普通技術，演變成具有地緣政治影響力的戰略資源。 3、透明度監管已經不夠：曾經AI帶來的風險尚不清晰，不宜過早制定硬性規則，而現在風險已經顯現，AI治理應從“企業自律”轉向“政府強監管”。 4、未來頂級AI可能像“核材料”一樣被管理：Amodei提出AI監管升級路線，包括更嚴格許可制度、更高等級國家監管以及國際協調控制。當AI足夠強大時，其治理邏輯將更接近核武器，而非互聯網產品。 5、AI將催生“個人獨角獸”時代： AI能讓個人創辦市值數十億美元的企業。目前已出現僅靠數人團隊、依託AI實現年收入數億美元的真實案例。 6、AI時代最大的經濟挑戰：這一挑戰不是經濟增長不足，而是分配失衡。 7、醫療監管體系尚未跟上AI醫療創新： 現行藥審體系基於“候選藥物大概率無效”的保守預設，若不改革，AI帶來的醫療創新浪潮將導致審批機制嚴重擁堵或超負荷。 8、否認有關AI的輿論爭議只是公關問題：Amodei完全不認同這種看法。他認為民眾產生擔憂，是因為民眾真切察覺到AI風險的真實性，並非AI企業高管的態度不夠樂觀。 以下是對這篇長文的編譯： 一、現有監管舉措明顯滯後，前沿模型暴露多重安全威脅 在《指環王》的一個支線故事中，兩個霍比特人試圖喚醒Treebeard，來保衛自己的森林免遭軍隊破壞，他是一棵睿智但行動緩慢的有意識樹。 但問題在於，Treebeard的行動速度與霍比特人完全不同。他僅僅和另一棵樹打聲招呼，就要耗費整整一天，因此要讓他和他的同伴迅速採取行動幾乎是不可能的。 AI與我們的政治機構之間的關係，有點像霍比特人與樹胡的關係。AI發展速度極快，僅僅四年時間，AI模型就從幾乎無法寫出一行連貫代碼，發展到能為主要AI公司撰寫大部分代碼。在生物學、物理學、數學、金融、法律、翻譯以及其他許多領域，AI也取得了類似進展。 AI領域的Scaling laws預言，只要算力不斷增長，AI的通用認知能力就會呈指數級提升。這一規律如今已有十餘年實際數據作為支撐。倘若該趨勢再延續一到兩年，我們或將迎來我所說的Powerful AI，也就是“一座數據中心內匯聚萬千天才”的形態。 與之相對，政策、尤其是立法工作推進得極為緩慢。這一現象往往事出有因。政府手握巨大權力，行事審慎通常是明智之舉，但兩者節奏的嚴重脫節卻令人憂心。 美國國會走完立法流程往往需要數年時間，而在這段時間裡，AI可能就從新奇的娛樂工具，演變為真正意義上“匯聚萬千天才”的強大系統。 自AI成為主流商用技術以來的數年間，我們這群主張對其進行合規治理的人一直陷入兩難境地。 我們能清晰預判指數化發展的走向。我們高度確信，數年之內，AI將成為少數能夠徹底重塑全球政策環境的技術之一。其影響力堪比核武器改寫地緣政治格局，亦如同工業革命顛覆所有經濟與社會議題。 但在最初，僅從AI展現出的能力來看，它不過是一項平平無奇的技術，和當下熱門的消費類應用、加密貨幣相差無幾。想要說服絕大多數政策制定者與企業摒棄自由放任的監管思路，絕非易事。 客觀而言，由於AI的顛覆性影響尚未顯現，且其最終形態難以預判，即便各方有心出臺監管政策，也很難制定出精準有效的規則。 受制於當下的現實困境，包括Anthropic在內的眾多安全領域倡導者，目前主要倡導：保留政策調整空間，為未來快速應對風險做好鋪墊，同時幫助全球各界提前洞悉潛在趨勢。 這一具體方向包括相關信息公開立法、芯片出口管制、統計AI對就業市場影響的數據等。這些舉措遠遠不夠，但已是現階段力所能及的全部選擇。 然而在過去數月，AI超強的能力與潛在風險已然不容辯駁。最具代表性的案例便是Claude Mythos Preview。這類前沿大模型暴露出切實的網絡安全風險，有可能擾亂金融體系、關鍵基礎設施運轉乃至國家安全秩序。 Mythos Preview改變了全球網絡安全格局。而其更深層的意義在於，它無可辯駁地證明，如今的AI模型已然成為具備全球與國家戰略影響力的工具。由Mythos級別模型引發的網絡安全風險，絕不會是我們需要應對的最後一類威脅。 我認為，生物安全風險或將接踵而至，而嚴峻的AI自主失控風險也已近在眼前。 如今，全球各國必須聯合行動，啟動這套運轉遲緩、體系龐雜的政策機制，去應對即將加速蔓延的機遇與風險。 越來越多政策制定者願意主動採取行動，同行們也逐漸認同我們多年來秉持的主張，這一點令人倍感振奮。但我仍心存顧慮，因為當下出臺的初步舉措，相比AI的飛速發展，至少滯後了一年。 本文旨在彌補這一差距：剖析AI指數化發展的現狀，並闡明當下全球亟需採取的聯合行動。 本文圍繞AI時代亟需重新規劃的政策領域展開論述，包括監管與公共安全、宏觀經濟與稅收政策、科技創新。 由於Anthropic是一家美國企業，本文主要以美國政策為探討對象，但文中大部分建議同樣適用於世界其他地區。 伴隨本文發佈，Anthropic同步推出一份針對前沿模型測試的立法提案，以及一套應對崗位流失問題的政策框架，我們計劃為此投入大量資金推進落地（2億美元用於研究，1.5億美元投向設立獎學金）。未來我們還將推出更多舉措，而這兩項內容，是我們展現治理決心的第一步。 二、Powerful AI或將等同核材料，監管需轉向強制約束模式 任何一項新技術、新產品都兼具利弊，創新發展與安全管控之間的矛盾始終存在。對產品實施監管能夠降低危害風險，長久以來為改善全球民生髮揮了重要作用，但同時也會直接削減技術本身的價值，還會間接打擊創新積極性。 奧地利學派經濟學家弗里德里希・奧古斯特・哈耶克（ F.A. Hayek）提出過一個觀點：監管機構往往缺乏足夠信息，難以在複雜的經濟權衡中做出正確決策，這就導致監管措施時常收效甚微，還會徒增行業負擔。 與之相關的Collingridge dilemma（科林裡奇困境）指出，一項技術的負面影響，往往要等到問題難以管控之時才會徹底顯現。 2023至2024年，上述矛盾在AI領域表現得尤為突出。Anthropic早已預判，未來AI有可能被用於研發威脅數百萬人生命的生物武器，或是出現自主失控行為，極端情況下甚至會危及全人類生存。 但那時風險的具體表現形式、有效的風險檢測與緩解方案、實際演化路徑都尚不明確。倘若倉促立法，極有可能收效甚微。這些法規可能最終無法有效應對風險，還會製造無意義或低價值的合規要求，同時遺漏真正關鍵的風險來源。 這一問題並非理論假設。我們在Responsible Scaling Policy等企業自主治理框架中，已多次遇到類似情況。 如果為未來AI模型制定固定、僵化的安全要求，極有可能出現這樣的局面：95%的合規精力耗費在影響微小的條款上，而真正重大的風險源頭，卻完全不在預設清單之內。 企業自主規則可以靈活調整，但立法修改流程十分繁瑣。針對2024年加州SB 1047法案（旨在防範極端風險），我曾先後發佈兩封公開信闡述矛盾態度，原因正是上述困境。 綜合考量後，我們認為當時（2023至2024年）最合理的方案是推行透明度監管。 AI模型研發方必須公開自身的安全管控流程、模型測試細則，並及時上報所有重大安全事故，讓公眾與科研界能夠實時掌握風險動態。待風險形態進一步明晰、特徵愈發明確後，依託透明度監管積累的信息，再製定精準的專項法規，直擊核心風險。 基於這一思路，2025年Anthropic積極推動透明度相關立法，助力加州SB 53法案、紐約州RAISE法案、伊利諾伊州SB315法案（2026年初落地）相繼通過，同時也在聯邦層面倡導建立統一的透明度標準。 時至今日，各類風險已然浮出水面。監管不能再止步於透明度要求，必須針對AI推出更嚴格、具備強制約束力的規則。結合當前AI指數化發展階段來看，最貼切的參照對象是汽車、飛機、藥品，這類技術是現代經濟運轉的基石，可一旦設計或使用不當，便會造成大規模人員傷亡。 因此我認為，AI監管可參照FAA（美國聯邦航空管理局)的模式。前沿AI模型如同飛機，必須經過專業技術檢測與審計；若安全標準不達標，為保障公共安全，相關模型的上線部署應當被叫停或撤銷。 特朗普政府近期發佈的行政令，逐步強化了政府在AI監管中的職能，對此我表示認可，而Anthropic的提案則主張進一步加大監管力度。我們的提案包含以下要點： 算力超過指定閾值的AI模型，必須由具備資質的第三方機構開展強制風險檢測，檢測聚焦四大領域：網絡安全、生物武器、AI系統失控以及可能加劇上述三類風險的自動化研發行為。 若第三方評估判定模型存在不可接受的風險，政府有權阻止或叫停其部署。該權力僅適用於上述四大風險範疇，同時需設置保障機制，杜絕政策偏袒與主觀武斷的決策。 第三方評估主體可選擇兩類：一是類似FAA的政府專職機構；二是經政府授權、常態化接受督查的民間機構，採用監管市場化模式開展評測工作。 研發前沿AI模型的企業，必須建立完善的安全規範以保護模型權重；定期開展紅隊演練與滲透測試；並配合政府抵禦高級別網絡威脅。 上述四大核心領域內發生的安全事故，必須第一時間上報。 或許在不遠的將來，我們需要採取更進一步的監管手段。屆時Powerful AI系統的屬性將不再等同於飛機、汽車，而是更偏向可被用作武器的核材料，它們威脅的不再只是公共安全，而是全人類的存續。 一旦走到這一步，現行監管方案便會顯得力度不足，需要推出更為強硬的管控措施。舉例而言，極端生物安全風險的管控難度遠高於網絡安全風險。防禦方天然處於劣勢，且災難造成的破壞程度也更為慘重。 不過正如2024年難以落地如今這套監管規則一樣，我們也不必超前佈局。政策制定應立足當下已顯現的風險，同時搭建完善體系，確保未來新風險出現時，能夠快速升級應對舉措。 三、Powerful AI打破經濟舊範式，超高增速與就業衝擊同步到來 長期以來，各國政府始終面臨一項難題，即如何在拉動經濟增長的同時，完善公共服務、保障弱勢群體權益。 相關討論中存在一個主流且大體成立的共識，那就是經濟增長本身十分脆弱、來之不易。想要縮小貧富差距，往往就要承受加稅或財政赤字帶來的經濟下行壓力，二者難以兼得。 我認為，Powerful AI或將顛覆這一固有認知。如果AI在絕大多數腦力工作上全面超越人類，藉助其加速科研、技術迭代與運營提效的能力，經濟有望迎來高速、穩定的增長。而AI自主迭代、打造更強AI的能力，還會進一步放大這一增長動能。 但與此同時，相較於以往所有技術，AI對人類腦力勞動的替代範圍更廣，技術變革的節奏也更快。由此可以推斷，AI對就業市場的衝擊，會遠超以往歷次技術革命，且影響更具持久性。 我們或將陷入一種困境：經濟高速增長與貧富急劇分化並行，而這種局面一旦形成，便很難扭轉。在這樣的背景下，政策的核心目標不再是刺激增長，而是讓全社會共享發展紅利。 在本文探討的所有議題中，AI引發的宏觀經濟變化與長期崗位流失問題，受到的社會關注最多，也滋生了最多誤解。在此我明確闡明兩個核心觀點： 第一，長期性崗位流失絕非理想局面，更存在諸多隱患，我們必須盡全力減少、規避這一問題，而非放任其發生。 我在採訪與文章中多次提及崗位流失風險，是希望政策制定者與市場主體提前適應、主動應對，並非刻意扮演“末日預言家”。 作為企業，Anthropic始終攜手客戶挖掘AI全新應用場景、開拓營收渠道，助力企業依託現有團隊提升效能，而非單純削減人力成本壓縮開支。我們也持續探索全新人機協作模式，確保在AI不斷進化的過程中，人類始終佔據核心協作位置。 放眼整個社會，各行各業都應積極嘗試AI新用法，以此催生全新就業形態。不可否認，AI將創造大量全新經濟機遇。我曾預判，AI能讓個人創辦市值數十億美元的企業，如今已有小型團隊依靠AI打造出營收數億美元的公司。 但我們必須正視現實：即便各方全力應對，AI依舊有可能造成大規模、長期性失業。從本質來看，這是因為該技術全面復刻了人類的認知能力。 第二，任何應對AI驅動的就業取代，都需要保障民眾基本經濟收入，更要幫助人們找尋生活的意義、目標與自主價值。後者歸根結底更為重要，它涉及社會架構、人生追求、美好生活定義等深層議題。 我始終保持樂觀，即便未來AI在所有領域都超越人類，人類依舊可以擁有充實的人生，創造震撼人心的美好事物。舉例來說，如今人們仍然把畢生精力奉獻給國際象棋、圍棋或者爬山，儘管機器本可以做得更好，但依舊有人鑽研這些領域，從業者也始終受人尊敬。 但這類議題需要全社會共同探索，並非政策能夠直接解決。政策能發揮的最大作用，是為社會探索爭取時間：延緩失業潮到來，併為受影響人群提供經濟保障。 基於上述思路，以下幾項政策舉措具備一定現實價值： 首先是數據統計與動態追蹤。很多人認為單純的數據收集分析無法匹配問題規模，但脫離真實數據，就不可能制定出有效政策。 Anthropic已持續一年半追蹤用戶使用Claude的經濟數據，而政府掌握著企業無法獲取的海量信息，應當擴充經濟統計維度，精細化追蹤AI對就業的衝擊。 其次是就業扶持激勵政策。多項鼓勵就業的政策可以緩解失業問題，例如，薪資保險政策、留崗稅收優惠（鼓勵企業減少裁員）、職業技能培訓補貼、搭建用工對接平臺以加快勞動力市場適配。 薪資保險的核心作用則是當員工接受降薪轉崗時，保險會補足新舊崗位的薪資差額，以此激勵民眾主動轉型、開啟新的職業道路，即便短期內需要承受陣痛。 具體方案需結合AI引發失業的實際形態而定。即便這類政策會增加成本、帶來一定市場低效，也應當推行，因為AI帶來的生產力提升，足以抵消這些負面影響。 再者是長期宏觀經濟保障。如果AI引發大規模長期失業、市場勞動力需求持續萎縮，僅靠短期激勵政策遠遠不夠，需要為大量勞動者建立長期收入保障機制。 全民基本收入可通過向相關企業徵稅、提高資本利得稅等方式籌措資金，全民資本賬戶也是可行方案之一。總體而言，AI驅動的經濟高速增長，能夠為全民共享繁榮提供稅收基礎。 我之前沒提到的AI經濟關注的一個常見焦點是數據中心，尤其是它們可能推高能源價格。我的觀點是，AI企業應當承擔電價上漲帶來的成本，Anthropic也已就此作出公開承諾。而公眾對數據中心的牴觸情緒，本質上是全社會對AI相關經濟問題焦慮情緒的外化。 各國必須直面這些深層經濟議題，並拿出切實可行的解決方案，否則民眾的負面情緒還會藉由其他載體爆發。 四、AI將全面提速醫藥研發，但漫長藥審流程恐堵截醫療創新成果 我們既要平衡AI自身發展與安全的關係，也要應對AI賦能下其他技術（生物醫療、能源、材料科學等）帶來的同類矛盾。 AI自身帶來的風險全新且演變迅速，人類尚無成熟應對經驗，而被AI加速發展的各類傳統領域，則面臨另一種困境：現有監管體系誕生於創新節奏緩慢的時代，無法承接AI催生的海量新技術、新成果。 同時，AI能夠大幅提升下游技術的安全性與可預測性，這也與FDA（美國食品藥品監督管理局)等監管機構一貫的嚴謹預設相悖。 因此對於AI的下游應用領域，我更擔憂監管體系拖慢創新步伐（監管無法適配技術迭代速度），而非監管缺位引發風險。我們絕不能讓AI的價值潛力被束縛，卻任由其風險不斷累積，相關改革刻不容緩。 不同科技、商業領域面臨的問題與解決方案各有差異，本文選取生物醫療創新作為典型展開分析。一方面，AI有望在醫療領域創造巨大民生福祉；另一方面，該領域的監管體系也最為複雜。 目前我們雖無法預判AI重塑生物醫療的全部細節，但可能出現的趨勢包括： 新藥候選物進入監管流程的速度將顯著提高；依託技術優化與生物學機理深度解析，新藥療效將更強、安全性會更高；為前所未治癒的疾病開發藥物候選物；催生出全新治療手段，如同過去數十年間抗體、多肽、細胞療法逐步成為主流治療方案一般。 部分技術進步可自然縮短審批週期，無需重構監管體系。療效更顯著的藥物，可開展規模更小、成本更低的臨床試驗，適用加速審批通道。但現有監管體系的設計邏輯偏保守，默認候選藥物大概率療效不佳，或是存在嚴重安全隱患，因此設置了多層級、高標準的審查流程。 目前，一款新藥走完FDA與EMA（歐洲藥品管理局)的全審批流程，平均耗時7至8年，這在一定程度上正是源於上述保守預設。若監管體系不改革，AI帶來的醫療創新浪潮將導致現有審批機制擁堵或超負荷。 當然，改革絕不等於放寬標準，我們要杜絕劣質藥物流入市場、避免大規模安全事故。但一系列適度改革，就能讓FDA、EMA等機構適配AI驅動的醫療高速發展。 以往需要高昂成本、漫長週期開展的臨床實驗環節，未來可藉助AI模擬與數據分析完成。監管機構應當提前制定標準，認可這類新型技術手段。待技術成熟後便可直接落地，無需繼續沿用老舊的硬性測試要求。可落地的場景包括： 基於AI的PD和PK（藥效學與藥代動力學)建模分析；毒性預測技術，減少多物種動物毒性實驗；精準劑量測算，縮減臨床試驗的劑量梯度測試環節；依託大數據分析完成生物標誌物驗證；臨床試驗採用虛擬對照組，減少受試者招募數量；研發替代終點指標（對於衰老、神經退行性疾病領域