華為官宣昇騰 0 Day 適配小紅書最新開源大模型 dots3-note preview

作者：歸瀧 責編：歸瀧 評論： 8 月 16 日消息，小紅書 8 月 14 日正式發佈 dots3-note preview 開源大模型。華為官方昨日宣佈，昇騰 Atlas 800 A3、Atlas 900 A3 SuperPoD 超節點已完成 dots3-note preview 的全量適配，並基於 vLLM Ascend 開源推理引擎提供完整的部署與推理能力。據介紹，作為 dots3 系列的首個版本，dots3-note preview 開源大模型以 280B 總參數量、16B 激活參數量構建能力底座，同時具備文本、視覺、語音全模態感知理解能力。

官方表示，該模型在推理、Agent 及多模態感知等能力上進行了全面優化，在多項任務上取得了比肩國內外更大尺寸優秀模型的效果：另外，華為官方表示，在該模型發佈當天，昇騰完成 0 Day 推理部署適配與性能優化，在完整保留模型文本、視覺、語音一體化全模態理解能力的前提下，實現了穩定運行與生成效率提升，為長程複雜任務場景智能落地提供算力支撐。

昇騰此次關鍵適配及優化點如下：全模態端到端適配基於 vLLM Ascend 推理框架，完成 dots3-note preview 文本、圖片、音頻全模態能力的端到端適配，打通視覺編碼器、音頻特徵提取與 LLM 主幹推理的全鏈路，完整保留模型原生多模態理解與交互能力，支持圖文、音文、視頻等多模態輸入場景的穩定推理。

框架深度特性優化，釋放硬件算力潛能FlashComm 通信優化：針對 AllReduce 後 RMSNorm、Dynamic Quant、MLA QKV 降維等列向無關算子的冗餘計算問題，通過數學等價變換將 AllReduce 拆解為 ReduceScatter+AllGather，把列向獨立算子前移至兩階段通信之間執行，徹底消除多卡間的重複計算，有效降低推理時延。

FUSEDMC2 通算融合：啟用 MoE 層 dispatchffn_combine 融合算子，將原本“dispatch、gmm1、swiglu、gmm2、combine”等通信的多段獨立 Kernel 合併為單一大算子，通過減少 Kernel Launch 次數、通信與計算深度流水、中間張量不落盤等手段，顯著提升 MoE 推理吞吐。

MTP 投機推理原生支持，攻堅增量解碼時延瓶頸針對增量推理階段 TPOT（單 Token 生成耗時）這一吞吐核心瓶頸，在 vLLM Ascend 中原生適配 dots3-note preview 的 MTP 投機解碼能力，通過單次前向並行生成多 Token 候選並校驗複用，大幅減少解碼前向次數，有效降低 TPOT、提升整體生成效率，更好滿足高併發在線業務的低時延訴求。附相關鏈接如下：dots3-note preview 昇騰部署指導：https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/Dots3-Note.

htmldots3-note preview 模型權重：https://huggingface.co/dots-studio/dots3-note-prev小紅書官方技術 blog：https://studio.dots.ai/dots/dots3-zh.html廣告聲明：文內含有的對外跳轉鏈接（包括不限於超鏈接、二維碼、口令等形式），用於傳遞更多信息，節省甄選時間，結果僅供參考，包含外鏈的文章均包含本聲明。

投訴水文 我要糾錯 下載APP，簽到賺金幣兌豪禮 相關文章關鍵詞：dots3note preview，小紅書，華為昇騰，華為廣汽啟境 GT7 今晚面向 L3 級架構全球首拆，華為靳玉志現場見證一鏡到底打破質疑：嵐圖追光 S 汽車 360° 隧道穿越多角度實錄視頻放映奕境 X9 旗艦大六座 SUV 預售發佈會定檔 8 月 18 日，全系搭載華為乾崑智駕 ADS 5追光 S 隧道 360° 大回環被疑 AI 造假，嵐圖汽車宣佈發佈會一鏡到底回應質疑全新深藍 G318 官宣搭載華為乾崑 ADS 5 Pro，擁有 27 個傳感器融合感知系統鴻蒙智行享界 G9“寰宇紅”實車曝光：新車 8 月 20 日發佈，預售價 43.

98 萬元起