從數參數到算算力：唐傑談 Scaling Law 的新標尺

AGI-Signal2026.08.22 10:11 · 來自海外全文4521字00:00 / 12:30參數量只是知識的倉庫，真正決定智能的是FLOPs。大模型圈流傳著一句話，參數越多，模型越強。智譜創始人唐傑近日在X平臺發佈長文，對這句話提出了質疑。文章題為《Thoughts About Scaling Law》（關於 Scaling Law 的一些思考）。開篇先拋出發佈會上最常見的那個問題，Scaling 還在繼續，但 Scaling 的到底是什麼？他的回答是，參數量從來不能單獨決定一個模型的能力，數據規模、算力如何分配、推理時在什麼條件下部署，缺一不可。

行業的評價標尺，正在從“數參數”切換到“算算力”。這不是學者一時興起的感慨，而是牽動整個產業判斷的一次重新定調。過去幾年，幾乎所有大模型公司都把參數量當作最醒目的宣傳口徑，從1750億、5300億到上萬億，數字不斷刷新。但真實世界給出的答案恰恰相反。那個把參數量推向極致的標誌性實驗，早在2021年就為“參數失靈”埋下伏筆。萬億參數的岔路時間回到2021年1月。

Google Brain團隊發表論文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》，用稀疏激活的混合專家架構（MoE）訓練出一個1.6萬億參數的Switch-C。該模型包含2048個專家，權重文件達3.1TB，是當時規模最大的語言模型，參數量一舉超過1750億參數的GPT-3。但這裡有一個容易被忽視的細節，1.6萬億是“總參數”，不是每次都會調用的參數。

Switch Transformer的門控網絡每次只把輸入路由給一個專家，一次前向傳播真正被激活的參數，只佔總數的極小比例。這正是MoE的核心設計，它把“知識倉庫的容量”和“一次能調動的算力”分成兩件事。效果很快顯現。Switch-C的預訓練速度比谷歌上一代最大的密集模型T5-XXL（110億參數）快4倍，訓練時間僅為後者的四分之一。更小的Switch-Base對T5-Base實現了7倍預訓練加速。單看這一點，稀疏化讓萬億參數成為可能，是一次紮實的工程勝利。真正值得關注的是論文裡的下游任務數據。

在相同計算量（FLOPs）的對照下，Switch-Base在SuperGLUE上比T5-Base高出4.4分，在Winogrande上高出6.7分，在閉卷TriviaQA上高出6.2分，知識類任務幾乎全線佔優。但在ARC Challenge這類需要多步推理的題目上，Switch-Base以32.8分輸給了T5-Base的35.5分，落後2.7分。這暴露了一個事實，擴大總參數，換來的是“記住更多”，而不是“想得更深”。參數量的膨脹對不同任務的作用是錯位的。知識庫裡的書多了，不代表讀者更會推理。

總參數、激活參數、FLOPs要理解這輪錯位，得先把總參數、激活參數、FLOPs這三個常被混為一談的概念分清。總參數量相當於一座圖書館的藏書總量，決定模型能裝下多少知識、多少事實和長尾信息，是容量的上限。激活參數量是這次閱讀真正翻開的那幾本書。在密集模型裡，每次前向傳播所有參數都會參與，總參數和激活參數是一回事；在MoE架構下，門控網絡只挑選一小部分專家，激活參數可能只有總參數的百分之幾。FLOPs則是讀者真正付出的腦力勞動量，衡量每次“思考”實際消耗的浮點運算次數，是能力與成本的真實標尺。

唐傑在文中打了一個比方，總參數量像模型的倉庫，決定它能裝多少知識；激活參數量與有效深度，才接近模型一次能調動多少能力、能把推理鏈走多遠。他舉了一個安全場景的例子。模型記住更多CVE漏洞，只能說明它見過更多案例；但真正遇到一個新漏洞，它要從異常代碼一路追到觸發條件，再設計驗證方法和利用路徑，連續走完二十步推理，途中不能丟掉任何線索。這種能力，恰恰不在總參數量裡。於是“FLOPs是智能，參數是知識”這句話，成了理解行業口徑失真的關鍵。參數決定模型“知道多少”，FLOPs決定模型“能想多深”。前者是庫存，後者是算力，兩者不在同一個座標系裡。這套錯位並非一開始就被看清，行業是一步步試錯走過來的。

2020年，OpenAI的Kaplan團隊得出結論，參數規模的增長應當快於數據增長，比例約為2.7比1。這個結論帶動了一批超大規模模型的集中湧現，GPT-3、Gopher、MT-NLG接連登場，萬億參數一度被視為通往強智能的必經之路。唐傑事後覆盤說，早期Scaling Law裡的擬合誤差會隨算力量級的提升不斷放大，模型越大，參數與數據之間的資源錯配就越嚴重。轉折發生在2022年。DeepMind的Hoffmann團隊對400多個模型重新實驗，得出結論，在固定計算預算下，最優配比應接近每參數20個Token，參數和數據應當近似同步增長。

這就是赫赫有名的Chinchilla Scaling Law。一個700億參數、以1.4萬億Token訓練的Chinchilla，在絕大多數評測任務上超過了1750億的GPT-3、1780億的Jurassic-1、5300億的MT-NLG和2800億的Gopher，MMLU平均準確率67.5%。這一結果讓行業重新思考方向，參數並非堆得越多越好，而是要和數據配平。但唐傑緊接著又指出，Chinchilla給出的答案也不是終點。它優化的是“訓練一次、評測一次”的模型，而今天的主流模型每天可能被調用數十億次，推理成本在全生命週期裡早已遠超一次性訓練成本。

把推理成本納入目標函數之後，最優解再次移動，向“更小模型、訓練更久”的方向漂移。他拿Llama-2-7B和Gemma-2-9B舉例，兩者的每參數Token數分別約為290和889，遠超Chinchilla時代的20，是刻意“過訓練”的結果。更進一步，2025年Roberts等人的研究顯示，最優的每參數Token數不是一個常數，而是隨任務變化。記憶類任務更依賴參數規模，推理類任務更依賴數據量；在固定每參數Token數的條件下，繼續擴大總參數反而會降低推理能力，激活更多專家才能穩定提升推理表現。這與Switch Transformer的實驗相互印證，把“參數失靈”的結論從經驗上升成了規律。

回過頭看，萬億參數這一輪，是整個領域一起走的一段彎路，走完之後又一起折返。最優 Scaling 的答案問題在於，學術界的認識已經迭代了好幾輪，產業界的宣傳口徑卻還停留在第一輪。一個普遍的現象是，無論國內還是海外，混合專家模型的發佈會幾乎只報總參數量。某某模型5000億參數、某某模型萬億參數，數字越喊越大，但這些數字在MoE架構下早已失真。總參數1.6萬億的Switch-C，每次真正激活的專家極為有限；今天市面上那些號稱數千億參數的MoE模型，實際一次推理調動的參數可能只有幾十分之一。拿總參數去比大小，就像拿圖書館的藏書量衡量一位讀者的思考深度，聽起來聲勢不小，實則答非所問。

更隱蔽的陷阱藏在“Token參數比”裡。既然Roberts等人的研究已經證明這個比值會隨任務變化，那麼任何脫離具體任務、只拿一個參數量做橫向對比的行為，本質上都是營銷話術。記憶類任務裡多參數是優勢，推理類任務裡多參數甚至可能是負擔。廠商只報一個對自己最有利的數字，卻從不說明它針對的是哪類任務、激活了多少專家、推理時消耗多少FLOPs。對投資人來說，這直接關係到估值模型是否需要重寫。過去評估一家大模型公司，先看參數量；今天這個指標已經不夠用了。真正決定產品落地上限的，是訓練算力的分配效率和推理時的FLOPs預算。

一個推理成本更低、FLOPs效率更高的中等規模模型，很可能在產品化和商業化上跑贏一個紙面參數量驚人、卻負擔不起推理算力的龐然大物。用戶購買的終究是“能想多深”，不是“倉庫有多大”。唐傑用一個自己主導的實驗，為這套新標尺提供了實證。他旗下的GLM-5.3，與上一代GLM-5.2共用完全相同的基座、相同的架構、相同的753B總參數（約7530億）和40B激活參數（約400億）。唯一的變量，是增加了一個月的長時域環境Scaling與強化學習（RL）後訓練。結果，GLM-5.3在AA評測指數上從53分升至60分，能力躍升“並非微小”。參數一個沒加，能力實實在在提升了。這幾乎是一次標準的控制變量實驗。

當基座模型的參數規模已經足夠裝下知識，額外的能力提升往往來自其他變量的調整，尤其是後訓練階段，而不是繼續堆參數。唐傑也坦言，選擇後訓練這個變量，是因為它當下改進空間最大，並不代表其他變量已經用盡。基座規模、預訓練數據、單次前向算力投入，都還在他的考量範圍內。這個實驗同時回應了外界對智譜“為何不訓全新基座”的質疑。下一個最值得調整的變量，未必是參數。這套邏輯一旦成立，整個產業的競爭敘事就要改寫。大模型的軍備競賽，正在從“誰參數多”切換到“誰把有限的FLOPs用得更聰明”。訓練階段的算力分配、推理階段的FLOPs預算、後訓練階段的強化學習，每一項都比紙面參數量更接近產品落地的真實上限。

參數量依然重要，它決定了知識的上限，但不再是那個可以單獨拎出來炫耀的標尺。把視角從論文拉回產業，這件事對三類人的意義截然不同。對模型廠商而言，繼續拿總參數做營銷，是在透支行業信任。更審慎的玩家已經開始改變口徑，報激活參數、報推理成本、報針對具體任務的實測表現。誰先誠實地把“FLOPs效率”擺上檯面，誰就在下一輪產品競爭中佔據主動。對投資人而言，盡調清單需要更新。與其盯著總參數量，不如追問三件事：這個模型的激活參數是多少，推理時每Token消耗多少FLOPs，它在目標場景裡的Token參數比是否合理。一個能回答這三個問題的團隊，遠比一個只會強調萬億參數的團隊更值得下注。

對使用方而言，選型時最該警惕那些“大而失真”的宣傳。可以記住那條樸素的判斷，參數決定它知道多少，FLOPs決定它能想多深。實際要看的，是後者。回看這五年，行業先一擁而上堆參數，隨後又集體轉向補數據，如今再把推理成本和後訓練納入賬本。每一次轉彎，改寫的都是同一個答案，所謂“最優Scaling”，其實會隨任務、架構和使用方式不斷變化。衡量模型的能力，重點正轉向算力的分配與使用效率。（本文首發APP，作者 | AGI-Signal，編輯 |秦聰慧 ）