​ 螞蟻集團周俊：萬億參數模型從“追求數量”邁向“深耕密度”

在日前舉行的 AICon 大會上，螞蟻集團副總裁周俊提出了一個令業界深思的觀點：萬億參數規模的大型語言模型正面臨效率瓶頸，發展重心應從「追求更多 Token 數量」轉向「深耕 Token 密度」。他同時揭露了一個驚人的成本對比——一組萬億參數模型僅僅運行十五分鐘，所消耗的算力成本就與一輛特斯拉汽車的售價相當。這番話立即引發與會者的高度關注，也凸顯出 AI 產業在急速擴張的同時，必須正視運算資源的極限。周俊在演講中指出，當前的智慧體（Agent）時代對模型提出的要求愈來愈高，尤其是處理超長上下文與複雜工具調用時，傳統的注意力機制讓算力成本呈指數級飆升。

如果無法從根本上改善效率，大模型的落地應用將被高昂的運算開銷所拖累。為此，螞蟻集團的技術團隊提出了一套顛覆性的解決方案：以「更高 Token 密度」取代「更多 Token 數量」，也就是讓每一個 Token 承載更豐富的資訊與推理價值，而非一味增加序列長度。這套方案的技術核心是一種名為「7 份 Lightning Attention 加 1 份 MLA」的混合線性注意力架構。Lightning Attention 是一種高效線性注意力機制，能夠大幅降低計算複雜度；而 MLA 則保留了部分傳統注意力的精準度。兩者混合後，團隊成功將處理 256K 長度上下文的成本從原本的指數級別壓縮至線性級別。

換句話說，過去需要耗費大量算力才能完成的長文本理解，現在可以用更少的資源達成，釋放出的運算能力則可用於更深入的推理與思考。除了注意力架構的創新，周俊團隊還引入了名為 Kpop 的演算法。這項技術的核心目的是更精準地區分工具調用（function call）與自然語言 Token。在智慧體應用中，模型時常需要同時處理人類的自然語句以及呼叫外部 API 的指令，如果兩者混淆，不僅浪費 Token，還會導致執行錯誤。

Kpop 演算法能有效辨識兩者，搭配思維鏈剪枝（Chain-of-Thought Pruning）與自蒸餾（Self-Distillation）等技術，使得整體 Token 輸出量減少了約四倍，但模型的推理能力與任務表現並未因此下降。令人振奮的成果反映在多項公開基準測試中。周俊在演講中透露，在 LongBench（長文本理解）與 BFCL（Berkeley Function Call Leaderboard）等權威測試裡，螞蟻集團的千億參數模型（約數百億到千億規模）在智慧體相關任務上已經超越了一些規模更大的模型。更難得的是，這些小型模型的 flash 吞吐率達到了 2.

4 倍，五輪對話所需的算力成本更降低了超過十倍。這證明「深耕密度」的策略不僅可行，而且能讓中小型模型具備超越超大模型的實戰能力。周俊的觀點為當前「參數軍備競賽」的氛圍提供了另一條出路。過去幾年，各大科技公司紛紛推出參數量達萬億甚至更大的模型，認為參數愈多能力就愈強。然而，隨著算力成本急遽攀升，業界開始反思：有沒有可能透過架構創新與演算法優化，讓現有的參數發揮更大效益？螞蟻集團的實踐給出了肯定的答案——聚焦於 Token 密度的提升，而非盲目擴張序列長度或參數量。這場演講不僅是一次技術分享，更帶有產業方向的啟示意義。

周俊強調，未來的智慧體設計必須將效率視為首要考量，否則即便擁有再龐大的模型，也難以在實際應用中持續營運。螞蟻集團的混合線性注意力架構、Kpop 演算法以及多項剪枝與蒸餾技術，已經在內部得到驗證，並且正在逐步對外開放部分成果。業界分析認為，這套思路可能引領下一波大模型最佳化的浪潮。在 AICon 大會現場，與會者對周俊的演講反應熱烈，許多人認為「從數量到密度」的轉變是一個務實且具前瞻性的方向。隨著 AI 應用從實驗室走向生產環境，運算效率不再只是技術選項，而是商業可行的必要條件。

螞蟻集團的這一系列創新，為整個行業提供了一份具體的藍圖：不必一味追求參數量級的突破，只要在架構與演算法上精耕細作，就能用更少的算力換取更高的智慧水準。