阿里通義 Qwen3.8-Flash 發佈開源：125B 參數 MoE 模型，訓練成本僅為前代 1/9

作者：問舟 責編：問舟 評論： 8 月 26 日消息，阿里通義千問團隊今晚正式發佈了 Qwen3.8-Flash。通義團隊同時發佈了 Qwen3.8-Flash-Next 的開源權重，Next 新架構將是全新一代 Qwen4 系列模型的雛形。這是一個多模態 MoE 模型，主模型參數量為 125B，額外配備 51B 的 N-gram Embedding，每 token 激活 6B 參數。它原生支持 262,144 tokens 上下文，並可通過 YaRN 擴展至 1M tokens。據介紹，Qwen3.

8-Flash 圍繞四個方向進行了系統升級：在 Attention 方面，採用 GDN（Gated DeltaNet）+ QSA（Qwen Sparse Attention）混合架構。GDN 負責高效壓縮歷史信息，QSA 則通過輕量級 Indexer 在 micro-block 粒度上篩選重要上下文，顯著降低長序列 Attention 開銷。面對 1M token 的超長上下文，QSA 的 Attention Kernel 在 Prefill 和 Decode 階段分別實現最高 7.6 倍和 4.9 倍的加速。

在 Residual 方面，引入 Gated Residual（GR）機制，將殘差流擴展為 4 條並行分支，通過動態 Gate 控制信息讀寫。殘差狀態支持 FP8 存儲，大幅降低訪存開銷。在 Embedding 方面，引入 51B 參數的 N-gram Embedding，利用局部上下文查表擴展模型容量。這些參數可卸載至 Host Memory，通過異步 Prefetch 與模型計算重疊，不長期佔用 GPU 顯存。在 Optimization 方面，採用 Muon Optimizer，並針對正交化精度、參數分工及融合矩陣拆分等策略進行優化。針對新架構重新擬合了 Scaling Law。

性能與成本相比 Qwen3.7-Plus，Qwen3.8-Flash 的訓練成本僅約為前者的九分之一，但在編碼和辦公任務上具備更強能力。在 6B 激活參數下，Qwen3.8-Flash-Next-Base 在 14 個 benchmark 中的 8 個上取得最優結果，包括 MMLU-Pro、SuperGPQA、BBH、SWEBench-Pretrain、MGSM 與 MMMU。模型表現純文本：多模態：模型結構：Base 模型表現：可用性與定價從官方獲悉，Qwen3.8-Flash 即將上線千問 AI 平臺，對外提供 API 服務，定價為每百萬 Tokens 輸入 1 元、輸出 3 元。

模型權重已於北京時間 8 月 26 日 23:00 在 Hugging Face 與 ModelScope 平臺開源，同步發佈 FP8 量化版本。Qwen3.8-Flash-Next 默認支持 1M 上下文並內置官方工具。參考資料：技術報告：https://github.com/ QwenLM / Qwen3.8-Flash-Next / blob / main / techreport.pdf技術博客：https://qwen.ai/ blog?id=qwen3.8-flash-nextHugging Face：https://huggingface.co/Qwen/Qwen3.

8-Flash-Next?spm=a2tyo06.30285417.0.0.1d73c921FsyOPe&file=Qwen3.8-Flash-NextModelScope：https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next?spm=a2ty_o06.30285417.0.0.1d73c921XAP2dV&file=Qwen3.8-Flash-Next 投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮