OpenRouter周榜全球第二，這個國產模型終於開源了

10月15日報道，剛剛，一款剛登上OpenRouter Token全球使用量周榜第二的大模型，開源了！階躍星辰正式開放Step 5 Preview的模型權重，BF16、FP8兩個版本同步上線HuggingFace和ModelScope。Hugging Face：https://huggingface.co/stepfun-ai/Step-5-Preview ModelScope：https://modelscope.

cn/models/stepfun-ai/Step-5-Preview Step 5 Preview採用稀疏MoE架構，總參數量600B、激活參數僅27B，支持100萬Token上下文窗口。在Artificial Analysis 的Intelligence Index榜單中取得44分，位居全球開源模型前三。正式發佈後，該模型很快進入全球開發者視野。截至2026年10月15日，Step 5 Preview的Token用量在開放模型平臺OpenRouter的周榜、日榜均位列第二，近七日用量約18.8萬億Token。

根據Step 5 Preview發佈時的Artificial Analysis評測數據，其單任務平均成本僅為Claude Opus 5的1/8，前者單次總開銷0.71美元（約合人民幣4.75元），後者為5.86美元（約合人民幣39.22元）。在基準測試方面，據階躍團隊公佈，在公開和內部評估中，Step 5 Preview在複雜的軟件工程任務（包括長程規劃任務）、專業知識工作和金融領域等基準測試中展現出較為均衡的綜合能力。

在Agents’ Last Exam的CLl子集ALE-CLI、金融投資研究評測FrontierFinance，以及跨領域深度研究評測DRACO上優於Kimi K3、GLM-5.3，僅次於 GPT-6 Astra或Claude Opus 5。Step 5 Preview 在榜單和實際使用中展現出的表現，也讓人好奇：這款模型背後，究竟有哪些不同的技術設計？我深扒了Step 5 Preview的技術博客，試圖找到答案。一、92層窄深架構，從架構層面提高計算效率 Step 5 Preview由92個Transformer模塊堆疊而成，模型深度與Qwen 3.

8 Max、Kimi K3等萬億參數級開源大模型相當，但總參數量不足這些模型的1/4，激活參數不足1/3。為什麼深度如此重要？階躍星辰的解釋是：智能體任務中，模型需要不斷調用外部工具，每次調用都可能帶來大量新文本。考慮到Token效率，模型未必有機會通過顯式思維鏈充分推理，因此更加依賴讀取上下文時的“隱式推理”。在Transformer中，信息沿著token時間方向和網絡深度逐層傳播。如果層數不夠，多跳依賴的信息可能還沒完成傳遞就耗盡了網絡深度，長文本中的複雜推理便可能無法完成。行業內還有一條技術路線是通過循環或遞歸結構增加等效深度，階躍星辰則選擇了更直接的做法：加深層數、控制網絡寬度。

這套“窄而深”的設計，一方面是為多跳推理提供更長的信息傳遞路徑，另一方面可以控制參數規模以及響應計算開銷，從而讓模型獲得與萬億級模型相當的長程任務能力。在注意力機制的配置上，Step 5 Preview按3:1的比例交錯佈置兩類注意力層：3/4是高效的Gated滑動窗口注意力層，1/4是稀疏全注意力層。階躍星辰稱，團隊在對比多種線性注意力方案後發現，各方案性能差距其實很小，但滑動窗口注意力結構最簡單，且對投機解碼更為友好。二、用Sparse GQA給百萬token上下文的注意力“瘦身” 模型有了更深的推理路徑，下一步是控制上下文帶來的注意力計算開銷。

當上下文長度達到100萬token時，全注意力層會成為訓練和推理共同的效率瓶頸。階躍星辰的解法是在全注意力路徑上採用一種名為Sparse GQA的稀疏注意力機制，即在標準的分組查詢注意力（GQA）中引入稀疏索引，模型不必對全部歷史信息做注意力計算，而是先篩選、再計算。這一思路並非階躍首創，此前DeepSeek的DSA等工作已做過類似探索。階躍星辰稱，其實際部署中需要跨越三道坎：篩選器本身的開銷、篩選後碎片化計算的GPU利用率、以及篩選精度與數據讀取量之間的權衡。

相比MQA（Multi-Query Attention，多查詢注意力）和 MLA（Multi-Head Latent Attention，多頭潛在注意力）結構，GQA其實會放大這三重矛盾。團隊之所以選擇GQA，是因為該結構在實驗中的長上下文精度更好，且更利於多GPU並行推理。

▲稀疏GQA示意圖1 但這三重矛盾也不能忽視，針對此問題，階躍給出了Sparse GQA具體方案： 將相鄰的歷史位置壓縮為“塊”來降低篩選器成本，塊大小設為8，篩選與選擇環節的成本因此下降8倍； 利用相鄰token語義相近、篩選結果高度重疊的特點，對相鄰token的篩選結果取並集、合併計算，以改善GPU利用率； 經過反覆試驗，確定了每8個token為一組、共篩選4096個token的配置。文本越長，這套方案省下的計算越多，而信息覆蓋率與更精細的參考方案几乎相同（78.06%對79.09%）。

在稀疏機制下，篩選器先將共享的索引鍵壓縮為塊表示，每個KV分組獨立選出相關的歷史塊，主計算路徑只讀取被選中的原始K/V以及當前塊內可見位置。換言之，模型先粗選章節、再精讀原文，避免了對百萬級token全量計算注意力的開銷。▲稀疏GQA示意圖2 三、用三層手段壓住數值爆炸與梯度尖峰，實現更穩定的訓練 前兩步分別處理模型的推理路徑和長上下文計算開銷，但是這些設計要落地，還得讓訓練過程足夠穩定。階躍星辰在訓練中遇到的主要問題之一，就是數值爆炸和梯度尖峰。訓練過程中某些數值突然失控，輕則拖慢進度，重則讓此前的訓練成果作廢。

團隊在FP8低精度訓練框架下，給出了三項應對措施： 第一項是將隱藏狀態轉為FP32精度。低精度訓練速度快、成本低，但模型加深後，少數取值極大的數據點會在低精度格式下迅速失控。改用高精度存儲這部分數據後，極端值下降了近十倍，額外成本則影響不大。第二項是將歸一化層的縮放因子轉為FP32。該模型歸一化層採用零中心RMSNorm，其調節參數在低精度格式下一旦恰好停在臨界值，就會讓某個計算通道反覆“開關”，引發輸出震盪。把這個參數改為高精度存儲後，輸出震盪問題得到明顯緩解。第三項是細粒度梯度鉗制。

團隊觀察到，梯度尖峰並非源自數據噪聲或輸出層，而是起於中間某些層，並在數層之內被放大數個數量級，數據重複似乎也會推波助瀾；其成因可能與層冗餘在反向傳播中反覆放大特定信號有關。由於異常梯度極為稀疏，團隊只需在每層的梯度中挑出極小的一部分（佔比為0.00004%）進行限幅，就能抑制尖峰，讓訓練收斂曲線明顯更平滑。▲細粒度梯度鉗制之前（藍色）和之後（橙色）的LLM損失比較 結語：從架構優化到開放部署，模型能力走向真實任務 回看Step 5 Preview的技術設計，從92層窄深架構，到Sparse GQA，再到深層網絡的訓練穩定性優化，這些選擇分別對應著模型推理、長上下文處理和訓練工程中的不同問題。

它們並非某一項單點技術的突破，而是一系列圍繞模型能力與實際運行效率展開的設計取捨。放到當下的大模型行業，參數、榜單分數只是入門門檻。模型只有扛得住開發者反覆調試，方便企業大規模部署，並且能順利接入真實業務流程，它的能力才能轉化為看得見的生產力。Step 5 Preview從兩條路徑推進落地：面向開發者，官方放出BF16、FP8兩種精度權重，同步上線Hugging Face與ModelScope；面向普通使用者，模型接入騰訊WorkBuddy開放為期兩週的免費試用。兩條渠道並行，讓階躍星辰的覆蓋人群，從Agent開發者延伸到辦公用戶和有本地部署需求的研發人員。

對Step 5 Preview來說，模型權重開放也意味著這些技術設計將接受更多真實部署環境和複雜任務的檢驗，也讓階躍在架構與訓練上的技術探索，有機會進入更廣泛的實際應用場景。模型能力的競爭仍在繼續，但比拼的已不只是模型本身。如何讓前沿模型的能力真正走進實際應用，或許是下一階段大模型競爭中更值得關注的問題。