Transformer 架構還能咋改？嚴駿馳團隊提供兩條思路 | CNCC 2026

訓練算力節省1/3。作者丨張璐 編輯丨張馳 增加參數、擴展專家數量、投入更多訓練數據，是大模型提升能力的常見路徑。但對於算力和數據資源有限的高校團隊，沿著這些方向持續擴大規模並不容易。在現有 Transformer 架構之上尋找其他擴展維度，是上海交通大學人工智能學院教授嚴駿馳，在前不久的CNCC 2026演講中分享的研究思路。在題為《大模型新架構探索：JTok & xHC》的報告中，嚴駿馳介紹了兩項工作：JTok 為 token 引入可學習的參數表，通過查表和逐元素運算調製模型更新；xHC 則擴展殘差流，以稠密讀取、稀疏寫回的方式提高模型容量。

兩項研究都關注一個問題：新增容量能否以較低的額外計算代價，帶來持續的訓練收益。嚴駿馳也討論了這些方法的實際限制：小規模實驗中的優勢能否在更大規模上保持，訓練算力的節省如何與推理延遲、訪存開銷相權衡，以及系統工程如何影響架構創新的效果。以下為演講整理。01在現有架構上，尋找新的擴展維度今天分享的是我們在大模型新架構方面的一些探索。把它稱為“新架構”，可能有一點誇大，實際上主要是在現有架構上做調整和改進。為什麼沒有直接去做顛覆性的架構？一方面，我們沒有那麼多算力和能力；另一方面，即使把架構大幅修改，也未必能在工業界真正用起來。

現在從底層硬件、驅動、算子，到上層模型軟件，整個生態都沿著 Transformer 展開。改動太大，生態適配就會面臨困難。所以，我們希望先做一些有限的改動，觀察它們是否有效，為工業界後續更大幅度的創新提供前期探索。大模型常見的擴展方式：一是增加參數、加深模型，但訓練會更困難，因此需要殘差連接、超連接等通路幫助信息傳播；二是把模型做寬，增加專家，通過稀疏激活控制計算量；三是增加數據，開展更大規模的訓練。這三條路對高校都不算友好，因此，我們希望在 Transformer 的基本框架上探索不同的擴展維度。這裡有一個原則，就是儘量保持簡單。

加入很多人為設計的先驗或技巧，可能在小規模模型上有效，但當參數和數據規模擴大後，優勢就被吞掉了。我們要關注的是，這些改動能否隨著規模擴大，持續發揮作用。這次介紹的兩項工作，分別是 JTok 和 xHC。前者沿 token 對應的參數表擴展容量，後者沿殘差流維度擴展容量。它們都嘗試把新增容量放到主幹的大規模矩陣乘法之外。02JTok：用查表擴展容量，讓訓練收益保持下去JTok 的思路很簡單：在 Transformer 主幹旁邊增加一條分支，為每個 token 配置可學習的向量，按照 token 的編號查表，取出向量，再通過逐元素運算調製這一層的前饋網絡更新。

例如，一個 token 有自己的編號，我們就可以直接用編號找到對應向量。向量中的元素是新增參數，可以通過梯度反向傳播更新。這樣就能引入較多參數，同時避免為這些新增參數再進行大規模矩陣乘法。這裡擴展的是 token 對應的可學習參數表。參數量雖然增加了，但調用方式比較便宜：查表、歸一化，再做逐元素乘法。旁路還可以與主幹並行計算，不必等主幹算完後才開始，因此從推理實現上看比較友好。具體來說，取出的向量先經過歸一化，再通過可學習的逐維縮放產生調製信號。門控作用在前饋網絡的殘差增量上，之後再加回主幹。這些操作比較簡單，也便於保留原來的主幹計算。

我們還借鑑了混合專家模型的思路，提出 JTok-M：在查表之外加入路由，動態選擇部分分支參與計算。這會增加一些複雜性，但也能進一步改善模型效果。判斷這種擴展是否有價值，不能只看訓練初期下降得快不快。很多架構改進在前幾個訓練階段看起來很好，損失曲線更陡，但隨著訓練數據增加，幾條曲線最後合到了一起，早期優勢就消失了。我們自己也遇到過這樣的情況。因此，一個重要問題是：當模型和數據規模繼續擴大時，收益還能不能保持？這也是工業界非常關心的事情。我們在不同規模的稠密模型和 MoE 模型上進行了實驗。

報告展示的結果中，JTok 的損失曲線持續低於底座；在兩個 MoE 底座上，JTok-M 又進一步優於 JTok。這種差距在訓練後期沒有消失，說明它的收益不只體現在初期收斂速度上。除了損失，還要看下游任務。預訓練損失降低是一方面，模型能否在實際任務中表現更好，是另一個方面。我們的工作本質上是預訓練方法，也需要通過下游評測和微調，檢驗它是否真正有用。實驗中，多個任務出現了比較明顯的提升，有些任務的改善比單看損失更突出。我們還用規模定律的方式考察它的收益。通常，訓練損失與參與計算的參數量、訓練 token 數有關，訓練算力可以近似看作這兩者乘積的若干倍。

在固定算力預算下，模型大小與訓練數據量之間需要權衡。IsoFLOPs 方法是在每個算力預算下掃描不同的模型大小，找到損失最低的配置，再把各個預算下的最低點連接起來，得到算力最優前沿。比較兩種架構，就可以比較它們的前沿位置。在 MoE 實驗中，底座與 JTok-M 的前沿在對數座標下都呈現很強的線性關係，兩條擬合線的斜率接近，JTok-M 的前沿整體下移。同一算力預算下，損失穩定降低約 2.2%；達到同樣損失時，JTok-M 所需訓練算力約為底座的 65%，也就是節省約 35%。不過，這些規模定律目前主要還是經驗公式，不能把它們理解成已經有了完整的理論解釋。這項工作也有明顯的不足。

雖然訓練端能夠節省算力，但在我們的工程實現中，推理延遲仍增加了約 7%。對於大規模商業應用，這可能是很大的代價。尤其是預訓練技術越來越成熟後，大家會更加關注模型上線後的推理成本。另外，新增參數表也會帶來存儲和帶寬壓力。我們在內存、顯存佔用等方面做了工程處理，但仍有優化空間。現在做大模型，基礎設施非常重要：算法想法再好，如果底層系統支撐不好，很多想法也難以有效驗證。03xHC：殘差流從四路擴展到十六路，怎樣才划算第二項工作是 xHC，也就是 Expanded Hyper-Connections。我個人覺得，這個方向可能還有更大的空間。標準的殘差連接，是給網絡增加一條跳過子層的通路。

Hyper-Connections，也就是 HC，在這個基礎上引入可學習的映射，並把殘差流擴展成多路，讓信息更充分地流動。但這一系列工作有一個值得追問的細節：通常都採用四路殘差流。為什麼是四路？為什麼不是兩路、八路，或者更多？這個擴展維度本身，還需要進一步研究。這裡先介紹 mHC。隨著模型規模變大，使用超連接結構時，訓練可能發生震盪甚至不收斂。mHC 的思路是對映射矩陣施加約束，使其成為雙隨機矩陣，也就是每行、每列的元素之和都為 1。它通過 Sinkhorn 操作，交替對行、列進行歸一化，幫助改善訓練穩定性。但即使有了這樣的約束，殘差流也不是越多越好。

我們的觀察是，mHC 從兩路增加到四路時，收益比較明顯；從四路增加到八路，收益就小了。繼續增加到十六路、三十二路，開銷會很高，投入產出比卻不理想。我們分析，主要有兩個原因。第一個是信息冗餘。新增通路中的更新存在很強的相關性，注入信息的有效維度受到限制。通路看起來增加了，但並沒有帶來同等程度的信息多樣性，因而擴展收益逐漸減弱。第二個是計算開銷。相關映射生成的代價隨通路數呈立方級增長，從四路增加到十六路，成本差別就很大。如果收益又越來越小，這樣的擴展就不划算。因此，我們需要同時改善信息表達和計算方式。xHC 的一個設計，是沿 token 序列做時序特徵增強，讓更新能夠利用更多信息。

具體來說，在 MLP 輸出後引入多尺度因果卷積，形成多個增強分量，讓不同殘差流能夠組合這些分量，提高更新的多樣性。另一個關鍵設計是“稠密讀取、稀疏寫回”。以默認配置為例，我們把殘差流擴展到十六路，每一層讀取全部十六路的信息，但只激活四路參與殘差混合和寫回。其中兩路固定激活，另外兩路由路由器動態選擇；未激活的流繼續傳向下一層。為什麼讀取要保持稠密？如果讀取也稀疏，上一層剛更新的信息，下一層可能讀不到，跨層的信息傳播就可能被切斷。讓讀取覆蓋全部殘差流，同時只更新其中一部分，才能兼顧信息流通和計算代價。

在這個設計下，相關映射只基於激活的流生成，主要計算代價由激活數量決定，而不必隨著全部殘差流數量一起立方增長。讀取與寫回之間的非對稱設計，是保持擴展收益、控制成本的關鍵。實驗表明，這樣的擴展可以帶來持續收益。即使殘差流增加到十六路，xHC 的損失仍能有效下降，新增計算量則相對有限。報告中的訓練曲線顯示，這種優勢能夠在較長訓練過程中保持。在下游評測中，18B MoE 模型的平均分由 mHC 的 44.8 提升到 xHC 的 48.8；28B 模型則由 50.5 提升到 53.6。

在報告對應的規模定律實驗中，達到相同損失，xHC 相對標準 Transformer 節省約 33% 的訓練算力，相對 mHC 節省約 16%。當然，殘差流變寬仍有訪存代價。我們做了稀疏化、Flash 版本和算子融合等工程優化，儘量降低開銷，但十六路 xHC 的訪存量仍高於四路 mHC。完成算子融合等優化後，相比 mHC，吞吐性能的額外開銷約為 1.3%。這讓它在實際應用中更有可能被接受，但也仍有進一步優化的空間。04兩種擴展方式，還可以繼續結合這兩項工作，都是在現有架構上尋找不同的擴展維度。JTok 增加按 token 編號索引的參數表，xHC 增加模型逐層攜帶的殘差狀態寬度。

它們各自面臨的系統約束也不同：前者主要是參數表的存儲和讀取帶寬，後者主要是各子層的訪存量。對高校來說，直接和工業界比較數據量、算力規模很困難，探索新的容量擴展方式，是值得做的事情。但架構設計仍然需要大規模實驗和系統工程支撐，既要看訓練收益，也要看真實任務表現及部署成本。我個人還有一個感受：架構越精巧，可能對訓練 token 的質量要求就越高。接下來，一個自然的方向是把這兩項工作結合起來。它們作用於不同維度，具有一定的正交性。我們也在探索其他架構，希望有興趣的同行一起參與。國際機器人頂會 CoRL 2026 即將召開，歡迎參會的研究者、學生，以及關注 AI 前沿進展的讀者加入我們的交流群。

在這裡，你可以認識同行、交流研究，分享招生信息、科研合作、約飯、投稿、組隊參會等，尋找潛在的合作伙伴。大會期間，我們也會持續帶來現場報道速遞、嘉賓演講解讀、前沿方向梳理和論壇精華。會場見，也在群裡見。?進群傳送門： 掃碼進群或添加微信szhsn610，備註：CoRL+單位/學校+姓名+方向。未經「GAIR DAO」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！公眾號轉載請先在「GAIR DAO」後臺留言取得授權，轉載時需標註來源並插入本公眾號名片。