羅福莉官宣小米 MiMo-V3 採用全新架構，核心 HySparse 2 今日發佈

作者：歸瀧 責編：歸瀧 評論： 9 月 23 日消息，小米 MiMo 大模型負責人羅福莉今日發文，宣佈 MiMo-V3 即將採用全新架構。其核心 HySparse 2 今日發佈，帶來更少的預填充、更小的 KV 緩存、更出色的長上下文檢索。在 1M（100 萬）Token 長度下，預填充計算量（FLOPs）降低 5.02 倍在 1M Token 長度下，KV 緩存縮小 4.5 倍具有更高的 MRCRv2 和 RULER-v2 評分，同時 AgentPPL 和 LongPPL 更低羅福莉表示，智能體（Agentic）推理是一種截然不同的工作負載。

每一輪交互，一個簡短的動作可能會返回需要進行預填充的長文本觀察結果，同時上下文還在不斷增長。這使得預填充成本、KV 緩存大小和檢索準確率同時處於關鍵路徑上。KV 橋接（KV Bridging）：遵循 YOCO 思路，交叉解碼器（cross-decoder）中的全注意力層利用自解碼器（self-decoder）的隱藏狀態構建其 K/V。KV 重用（KV Reuse）：在每個混合塊內，稀疏層複用前一層全注意力層的 KV 緩存和選擇索引。

另外還有兩項改進：採用 Token 級別的選擇來替代塊（block）級別的選擇，並用近期 Token 的強制窗口來替代獨立的 SWA 分支，從而讓本地和全局 Token 共享同一個 KV 緩存。由於所有的交叉解碼器 KV 緩存現在都來自自解碼器，因此預填充在自解碼器完成時即可停止。值得一提的是，昨日凌晨，小米剛剛發佈並開源了全新的 Xiaomi MiMo-V2.6 系列，包含 Pro 與 Flash 兩個原生全模態模型。小米稱這是其探索 RSI（遞歸自我改進）路徑的關鍵一步，通過規模化擴展強化學習算力，讓模型在持續的探索與反饋中拓展智能邊界。附論文地址如下：https://arxiv.

org/pdf/2609.26368小米 18 Pro 系列手機新品發佈會專題廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，包含外鏈的文章均包含本聲明。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：HySparse 2，小米 18 Pro，MiMoV3，小米，羅福莉盧偉冰：在內存成本劇烈上漲的週期下，創新產品才能滿足用戶購機 / 換機需求小米 18 Pro 系列手機新增支持 Apple Watch 互聯：電話 / 通知隨時接收，運動健康數據同步曝小米 18 Pro 系列手機新增「原色」風格影調，支持 Open Gate 片門全開【開箱】小米 18 Pro Max 透明特別版圖賞：紅色透明機身，解鎖旗艦內部美學盧偉冰：大家對小米 18 Pro 系列透明版認可度很高，首批備貨快速售罄小米穿戴產品首次：小米手環 11 率先上線重慶暢通卡・交通聯合版