百度開源文心5.5 Flash Base，多基準測試刷新同尺寸模型 SOTA

11月5日，百度正式開源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。模型採用MoE架構，總參數量2800億，每個 Token 激活140億參數，使用33.5萬億個 Token 完成預訓練，預訓練上下文長度最高達128K，微調與推理階段支持最長100萬 Token上下文。在知識、推理、數學、代碼、多語言和長上下文等多個基準測試中取得同尺寸模型 SOTA 表現，超過 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。開源地址：https://huggingface.

co/baidu/ERNIE-5.5-Flash-Base 隨著大模型應用從文本問答向長文檔分析、多輪交互和智能體任務延伸，模型需要處理的信息量持續增加，計算和顯存開銷也隨之上升。在保證模型能力的同時提高資源利用效率，已成為大模型研發的重要課題。文心 5.5 Flash Base圍繞“效率”這一設計主線，在注意力機制、專家路由及訓練機制等關鍵環節進行系統性優化，並實現了多項算法創新。在注意力機制上，文心提出 Latent-Gated Sparse Attention，將混合稀疏注意力、低秩門控注意力與虛擬頭注意力結合起來。

其中，模型通過組合HCA與MLA，讓不同注意力層分別承擔壓縮歷史信息和細粒度訪問歷史位置的任務；低秩門控注意力（Low-Rank Gated Attention）則利用已有的低維表示計算信息門控，使門控投影權重參數減少75%；此外，虛擬頭注意力（Virtual Head Attention，VHA）可提升模型表達力與訓練質量，推理時融合進注意力算子，開銷極小。這些設計降低了長上下文處理的資源開銷，同時保留模型對關鍵信息的處理能力。在專家路由上，模型採用 Multi-Router Latent MoE，由多個獨立路由器共同參與專家選擇，改善路由評分與專家實際效用之間的相關性。

相比依賴單一路由器的傳統方案，該設計旨在降低單一評分偏差對專家選擇的影響，同時保持激活專家數量、專家計算量和通信量不變。在訓練目標上，模型引入 ECHO，無需額外增加 MTP 模塊（Multi-Token Prediction），而是複用主幹最後一層，讓主幹自身學習預測後續 token，從而提前規劃序列走向，有效提升推理與代碼能力。文心5.5 Flash 僅採用單步 ECHO 預訓練，複用的最後一層還可作為投機解碼的草稿模型，展現出多步外推能力：同樣只訓練一步，多步起草質量大幅優於輔助 MTP 模塊。除模型架構外，大模型基建創新也十分重要。

文心對分佈式Muon優化器進行了優化，並推出面向大 head dim 的注意力算子 FlashMask-4，改善大規模訓練中的通信、顯存利用與計算效率。模型能力的提升不僅依賴算法本身，也與訓練系統能否高效支撐這些設計密切相關。基座模型不僅承載著預訓練階段形成的通用能力，也是下游模型開發與應用創新的重要基礎。與面向終端用戶的應用模型不同，Base 模型為開發者和企業提供了進一步微調與定製的空間，可基於自身業務需求構建適應不同場景的專業模型與應用。開放基座模型能夠為開發者提供更多技術選擇，降低專業模型開發的訓練成本與技術門檻。當前，大模型的競爭逐漸邁向模型能力、訓練效率與場景創新協同發展的新階段。

隨著推理、Agent等技術與應用加速演進，行業對基座模型的需求也從單一的能力提升，轉向更高效的訓練範式、更靈活的能力拓展，以及更廣泛的場景適配需求。文心5.5 Flash Base在提升模型基礎能力與訓練推理效率的同時，為開發者和社區提供了更具拓展性的技術基礎，推動模型技術走向多樣化的能力探索與應用創新。