280B總參數、14B激活！百度開源文心5.5 Flash Base，拿下同尺寸SOTA

作者 | 三北 編輯 | 漠影 11月5日報道，今日，百度正式發佈並開源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。這款模型採用稀疏MoE架構，總參數量達到280B，每個token僅激活14B參數，在33.5T tokens上從零完成預訓練，最長訓練上下文達到128K，微調與推理支持1M tokens上下文。在同尺寸基座模型的正面交鋒中，它交出了一份頗具競爭力的成績單。根據百度公佈的評測結果，ERNIE-5.

5-Flash-Base與DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等模型同臺競技，在多個能力維度取得領先，拿下同尺寸SOTA（同等規模最優水平），尤其在推理、代碼、學科能力以及長上下文任務上的表現更值得關注。國產基座模型的競爭，正在進入更精細的效率深水區。同等規模下，模型的差異化究竟從哪裡來？拆解文心5.5 Flash Base的技術細節，我們可以發現，文心試圖將效率目標貫穿模型架構、預訓練數據和訓練系統。

從注意力機制到專家路由，再到未來token預測，其主要通過三項“重工”改造，讓激活計算、KV Cache（鍵值緩存）都發揮更大價值。模型目前已開放權重，並聯合vLLM、SGLang等社區提供開源生態支持。HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 技術博客：https://ernie.baidu.

com/zh/release/ernie-5-5-flash-base/ vLLM 插件: https://github.com/baidu/vLLM-ERNIE SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash 一、如何做出同尺寸SOTA，底子來自系統合力 首先來看基準測試成績，正如前文提到，ERNIE-5.5-Flash-Base拿下同尺寸SOTA，推理、代碼與學科尤其突出。基準測試成績背後，文心5.5 Flash Base的預訓練“重工業”屬性拉滿。

據悉，該模型採用280B總參數的稀疏MoE架構，提供了較大的模型容量；每個token激活14B參數，控制了每個token的計算成本；模型共有43層Transformer，Hidden Size為4096，擁有64個注意力頭。這種稀疏設計讓模型有機會在計算預算相對可控的情況下，容納更多專家知識和專業能力。在算法層面，文心5.5 Flash Base重點改造了注意力機制。模型將HCA（重度壓縮注意力）與MLA（多頭潛在注意力）組合成混合稀疏注意力，讓不同層分工處理歷史信息，在壓縮長上下文、降低KV Cache開銷的同時保留精準檢索能力。

此外，模型還在注意力層內部引入低秩門控注意力和VHA（虛擬頭注意力），進一步優化門控計算與不同注意力頭之間的信息融合。預訓練中，文心採用Muon優化器與FP8混合精度，訓練上下文逐步擴展至128K。模型發佈時提供的是預訓練終點的Checkpoint，尚未經過中訓練和後訓練，開發者可以基於這一統一起點，繼續開展領域適配、指令微調、推理強化和Agent訓練。該模型在33.5T tokens上從零完成預訓練，語料覆蓋廣泛的領域與語言，其中重點打造了網頁、代碼、長文數據這“三駕馬車”。首先是網頁數據。

通過大規模多語言網頁抓取、高保真文本抽取，以及模型驅動的多維質量過濾，構建知識覆蓋更廣、有效學習信號密度更高的網頁語料。其次是代碼數據。除了來自代碼倉庫和網頁的靜態代碼，文心還補充了commit、issue、pull request、代碼評審、需求到PR、多commit軌跡、自動生成測試以及經過CI驗證的修復數據。第三是長文數據。文心同時使用經過長程依賴篩選和質量清洗的天然長文檔、拼接天然文本與語義相近干擾文本構造的長序列，以及合成的MRCR式檢索、基於引用的問答和多跳問答數據。這三類數據分別強化知識覆蓋、代碼工程能力和長上下文理解。

其中，倉庫級代碼和長程依賴能力尤其值得關注，因為這類能力往往需要模型在預訓練階段建立足夠紮實的基礎，後續單純依靠補充少量數據很難完全彌補。除模型架構外，文心在Infra層面改進了分佈式Muon優化器，並推出面向大 head dim的注意力算子FlashMask-4，改善大規模訓練中的通信、顯存利用與計算效率。可以看到，同尺寸SOTA來自模型架構創新、數據與Infra優化共同作用的結果。底座能力越紮實，後續微調、強化學習和Agent訓練能夠繼續釋放的空間也越大。

二、把“效率”寫進預訓練，詳解三處硬改造：省緩存、穩專家、早規劃 深挖同尺寸SOTA模型之下的底層技術變化，文心試圖通過一套組合拳，把“效率”當成預訓練的設計變量。簡單來說，這套組合拳覆蓋了模型處理歷史信息、調用專家能力和預測未來token的三個關鍵環節。混合稀疏注意力決定模型如何訪問歷史，Multi-Router Latent MoE（多路由器隱空間混合專家）決定模型如何選擇專家，ECHO（未來token預測機制）則讓主幹網絡提前學習後續token的生成。

再加上MultiMax輸出頭、R2L分詞器等其他模型改進，以及分佈式Muon、FlashMask-4（高性能注意力計算組件）等訓練基建，才算撐起面向Agent時代的前沿模型底座。1、Latent-Gated Sparse Attention：37層省緩存，6層保精準檢索 AI Agent時代，隨著上下文越來越長，模型需要處理和保存的歷史信息就越多，KV Cache與注意力計算成本也隨之攀升。對於需要多輪調用的Agent應用，這筆開銷還會持續累積。文心5.5 Flash Base採用MLA（多頭潛在注意力）與HCA（重度壓縮注意力）組合的混合稀疏注意力，重新安排了不同層訪問歷史信息的方式。

具體來看，模型共43層，其中37層採用重度壓縮注意力HCA，其餘6層採用多頭潛在注意力MLA。HCA層將每128個token壓縮為一條緩存條目，注意力只在這些壓縮條目和最近一小段未壓縮token構成的窗口上計算。這樣，每個HCA層只需全上下文層KV Cache的一小部分，仍能保留對整個序列的全局視野。通俗地說，面對一段很長的歷史對話，模型並不需要每一層都逐字記住全部內容，大部分層看壓縮後的“摘要”就能把握全局。但壓縮也有代價。某些任務需要精準找到歷史中的具體信息，過度壓縮可能損失細節。因此，文心5.5 Flash Base保留了6層MLA，使模型能夠逐token訪問遠距離歷史信息。

為了控制這6層的計算開銷，文心團隊進一步引入DSA（稀疏注意力）。一個輕量級Indexer（索引器）會為每個Query（查詢）的歷史位置打分，核心注意力只在得分最高的Top-K（前K個）位置上計算。這樣，模型可以先篩選出更值得關注的歷史位置，再對這些位置進行精細計算。核心注意力開銷不再隨著上下文長度線性增長。百度披露，採用DSA後，這些層的預訓練Loss（損失值）與稠密注意力持平，訓練速度則顯著提升。文心5.5 Flash Base還調整了KV Cache預算的分配方式。

此前一種組合思路是HCA搭配CSA（壓縮稀疏注意力），即在HCA之外增加大量壓縮稀疏注意力層，先將歷史壓縮4倍，再從中挑選部分信息計算。文心5.5 FlashBase則將這部分預算集中給少數保留全部token的MLA層。在KV Cache預算相當的預訓練對比中，HCA搭配MLA優於HCA搭配CSA。長上下文評測顯示，儘管模型僅保留6 層MLA-DSA，仍在6項長上下文Benchmark上取得不錯效果。除了注意力層之間的分工，文心團隊還在注意力內部做了兩處改造。一是低秩門控注意力（Low-Rank Gated Attention）。傳統門控注意力需要根據當前層的隱狀態計算輸出門，文心5.

5 Flash Base則直接利用注意力層本身生成的低秩Query Latent（查詢潛變量）計算門控。由於Query Latent的維度只有隱狀態的四分之一，門控投影的權重參數量減少了75%。同時，消融實驗顯示，這一設計也帶來了模型效果提升。二是虛擬頭注意力（Virtual Head Attention，VHA）。它在注意力計算之後增加輕量級跨頭低秩混合，並通過增加帶恆等跳連的輕量跨頭低秩混合，增強不同注意力頭之間的信息融合。推理時，這部分計算可以融合進注意力算子，額外開銷極小。

從HCA和MLA的分工，到DSA的稀疏檢索，再到低秩門控和跨頭融合，文心團隊試圖讓注意力機制在歷史信息壓縮、精準訪問和計算效率之間找到更好的平衡。2、Multi-Router Latent MoE：多路由協同決策，提升專家選擇穩健性 傳統MoE只用一個路由器給專家打分，再通過一次硬Top-K選出專家。文心團隊發現，這個打分與專家的實際效用只是弱相關，中深層尤其明顯；落選的專家拿不到該token的梯度，一旦選錯就很難糾正，錯誤會不斷自我強化。因此，文心5.5 Flash Base引入Multi-Router Latent MoE，讓多個獨立初始化的Sigmoid（邏輯函數）路由器共同為專家打分。

這些路由器的偏好會明顯分化：一個專家只要被某個路由器強烈看好，或者同時獲得多個路由器的認可，就有機會被選中。這相當於給專家選擇增加了多個獨立判斷視角。單個路由器出現偏差時，其他路由器仍有機會提供補充信息，從而降低一次錯誤判斷對最終路由結果的影響。更重要的是，這套機制在提升路由穩健性的同時，沒有增加專家計算成本。根據技術Blog，激活專家數、專家FLOPs和通信量均與單路由器完全相同。與單路由器相比，路由打分與專家實際效用的相關性明顯提升，原本相關性最弱的中深層提升最大。

除第一層外，各層FFN（前饋神經網絡）均為MoE塊：512個路由專家選10，外加1個共享專家，負載均衡採用無輔助損失的bias修正方案。專家計算本身也做了壓縮。相較於全寬專家（直接在完整4096維上計算）的計算方式，文心5.5 Flash Base先將token從4096維投影到2048維隱空間，讓專家在這一隱空間中完成計算，再通過一次共享上投影映射回原空間。這一設計使專家FLOPs和Dispatch/Combine（分發與合併）通信量約減半。

此外，MoE模塊還採用Stable LatentMoE（穩定潛在混合專家）設計，通過上投影前的RMSNorm（均方根歸一化）與SiTU-GLU（SiTU門控線性單元）專家激活，讓專家輸出在43層網絡中保持合適的尺度，提升優化穩定性。每個路由專家的路由權重還會乘以該專家自己的可學習標量。從多個路由器共同決策，到2048維隱空間計算，Multi-Router Latent MoE同時處理了專家選擇的穩健性和專家計算成本問題。3、ECHO：複用主幹網絡預測未來 token，提升多步起草質量 第三項創新ECHO，瞄準的是模型訓練中的未來Token預測。傳統語言模型主要通過下一個token預測進行訓練。

為了讓模型學習預測後續多個token，業界也引入了多token預測（MTP）機制，通常會在主幹網絡之外增加專用模塊，負責預測未來token。這種方式能夠提供額外的訓練監督，但也帶來了一個問題：多步預測損失主要作用於新增的MTP模塊，主幹網絡各層仍然主要服務於下一個token的生成。文心的ECHO改變了這一結構。它直接複用主幹網絡自身的最後一層承擔未來token預測，不再需要獨立的MTP Transformer層。多步預測損失也因此直接作用於生成下一個token 的參數，促使主幹網絡提前學習序列的後續展開。百度披露，文心5.

5 Flash Base以單步ECHO完成預訓練，在推理與代碼等任務上帶來明顯收益。這一層還可直接充當投機解碼的內置draft模型：它複用主幹最後一層，不增加額外參數，更值得關注的是，它在預訓練時只學多預測1個token，作為draft模型卻能連續向後起草多個token，接受率高於用同樣方式訓練的外掛MTP模塊。對Agent應用和多步交互來說，這種設計把訓練期的未來預測與推理期的加速連接起來，效率收益貫穿模型生命週期。除了以上三項核心創新，文心5.5 Flash Base還在其他配套基建方面進行了改進。

比如MultiMax輸出頭，其通過可學習的分段溫度，對不同token的輸出進行調製，既壓制不合理token的長尾，又保留合理候選token的多樣性。相關計算在融合的交叉熵Kernel中完成，訓練開銷可以忽略，也不額外增加顯存，同時能夠顯著降低預訓練Loss。再比如R2L分詞器，模型採用全新的BPE分詞器，詞表約20萬。針對數字，採用從右到左、最多三位一組的切分方式，這種設計有助於模型處理算術任務和數字密集型文本。這些改動看起來分散，實際上都在解決模型訓練與推理中的具體效率問題。

三、從堆參數到拼底座，每token效率決定主動權 大模型的效率競爭，正在從單純壓縮激活參數，延伸到模型內部每一個關鍵計算環節。過去，MoE架構通過稀疏激活減少計算量，長上下文技術通過壓縮KV Cache控制存儲成本。如今，百度文心進一步將這些設計組合起來，從注意力的信息訪問、專家路由的決策方式，到主幹網絡的未來token預測，逐層優化每個token背後的計算過程。這種變化與Agent應用的發展密切相關。Agent執行任務時，往往需要反覆調用模型、讀取大量上下文、使用工具並進行多輪推理。單次生成的成本只是其中一部分，隨著任務鏈條拉長，KV Cache存儲、重複計算和推理延遲都會不斷累積。

因此，一款面向未來應用的Base模型，需要同時考慮模型容量、激活計算、長上下文成本和後續訓練的可擴展性。文心5.5 Flash Base的設計思路正是如此。對於開發者來說，開源Base權重的價值也由此進一步凸顯。百度將最新的文心Base模型開源，為不同領域的開發者提供了統一起點，讓開發者可以根據自己的任務需求開展領域適配、指令微調、推理強化和Agent訓練，也能夠在預訓練基礎上對不同訓練方法進行對照評估。從行業競爭來看，同尺寸模型正在比拼每token激活效率、長上下文處理成本以及底座能力的可複用性。誰能把效率設計沉澱到預訓練階段，誰就更有機會在後續模型迭代和應用落地中掌握主動權。

結語：Base即SOTA只是開場，正式版將至 百度此次開源文心5.5 Flash Base，是其在大規模預訓練階段對模型效率的一次系統性探索。從混合稀疏注意力到多路由器MoE，再到ECHO，三項核心技術分別改造了歷史信息訪問、專家選擇和未來token預測。再疊加數據建設、分佈式Muon和FlashMask-4等訓練基建，文心試圖把模型能力與計算效率一起沉澱到Base底座中。獲悉，目前開源的仍是預訓練終點權重，文心5.5 Flash正式版也將於近期發佈。對於開發者和整個開源社區來說，這個Base模型提供了一個新的起跑線。

接下來，如何在這一底座上繼續釋放推理、代碼、長上下文和Agent能力，將是文心 5.5 Flash正式版更值得期待的看點。