讓Token生產更高效：異構混推的關鍵技術演進與創新實踐
商湯大裝置異構混推創新實踐與技術演進 Token經濟加速爆發，算力需求發生結構性反轉，推理需求已取代訓練，成為算力增長主引擎。隨之而來的，是AI基礎設施面臨的全新命題與挑戰：當Token調用量邁向千倍級增長，推理系統如何承接持續攀升的需求？如何通過異構算力實現高效、穩定的Token生產？在近日舉辦的“2026全球AI芯片峰會·Token工廠異構混訓混推技術研討會”上，商湯大裝置資深技術專家羅偉以《Token工廠：以異構算力構建新一代Al基礎設施》為主題發表演講，深入剖析規模化推理面臨的系統挑戰，並分享商湯大裝置在異構推理架構、模型適配及關鍵技術演進等方面的實踐與探索。
01行業挑戰：Agent時代，推理負載瓶頸貫穿整套系統 Agent時代的負載特徵，和傳統單輪對話的推理需求有明顯不同。首先是長上下文，帶來了輸入計算和KV Cache佔用的持續增長；其次是連續多輪的對話，意味著前綴複用和熱點不斷變化；再者是突發與長尾需求多，意味著流量和長度的分佈會持續波動。羅偉表示，面對這些變化，商湯大裝置的底層邏輯已經轉向“以Token、狀態與時延預算為中心”，所有設計都圍繞Token的生產效率、交付質量與單位成本，進行資源的組織和利用。這一以Token為中心的系統設計，也支撐商湯大裝置持續提升規模化Token生產與服務能力。
如今，商湯大裝置的日均Token服務量，已經從年初2月的0.46萬億，增長至8月4.5萬億。02創新實踐：橫向串資源、縱向拉效率，系統級提高Token產能 如何把單點效率組織成系統級Token產能？羅偉分享了商湯大裝置的兩條主線：“橫向編排”與“縱向優化”。兩條主線最終指向共同目標：模型質量達標、SLO達標、有效吞吐提升、單位產能成本下降。橫向串資源：讓不同算力各展所長 所謂“橫向編排”，目的是資源協同，讓平臺知道哪些模型、哪些版本能運行在哪些算力上，哪些Prefill與Decode組合能做KV Cache交接，當前請求應該進入哪條路徑，負載變化時如何自動調整。
針對不同品牌、不同規格的算力，商湯大裝置構建了統一的資源畫像，覆蓋計算吞吐、KV Cache的容量、有效帶寬、模型兼容性等，讓不同算力進入同一個編排視角。在此基礎上，平臺對推理請求進行全生命週期管控。從准入配對、Prefill執行、KV Cache狀態交接，到Decode接管，每一個環節都有標準化的協同機制，保障服務穩定性。“我們不會把某一類芯片永久固定為P節點或D節點。”羅偉強調，平臺會根據模型、批量、上下文長度的瓶頸變化，動態調整不同芯片的角色分工，實現更高的可用性、靈活的組合和配比。
縱向拉效率：讓整條路徑性能最大化 在橫向打通資源的同時，商湯大裝置持續深化“模型×引擎×芯片”三層縱向優化，從模型適配到芯片運行時，充分釋放整條執行路徑的性能。其中，在模型層，針對權重量化、顯存預算進行精細化調優，平衡精度與吞吐；在引擎層，針對Attention、GEMM等核心算子進行並行優化；在芯片層，深度適配編譯、訪存調度與內存管理。而所有優化結果都會在真實負載中進行系統驗證，規避單點效率的瓶頸。03技術演進：從動態池化到模塊拆分，持續提升Token生產效率 在成熟實踐的基礎上，羅偉進一步分享了異構協同走向更高效率、更高靈活性的兩大關鍵技術演進方向。
技術演進方向一：從固定P/D到動態資源池 在資源調度層面，商湯大裝置正在從固定P/D配比走向動態資源池化。不同業務、不同時間段的輸入輸出長度和流量熱點不斷變化，靜態P/D組合容易造成局部排隊和資源錯配。為此，商湯大裝置分別構建Prefill Pool和Decode Pool，根據實時負載、KV Cache狀態及節點健康度，動態完成請求路由和P/D資源匹配。當長輸入導致Prefill壓力升高時，系統可動態增加P節點；當長輸出推高Decode負載時，則增加D節點，甚至通過角色切換實現P/D節點靈活轉換，讓資源跟著負載動態調整，在保障SLA的同時提升整體算力利用效率。
技術演進方向二：從P/D走向模塊級資源池 面向未來多模態、MoE模型的發展，傳統按P/D兩階段劃分資源的方式將顯現瓶頸。商湯大裝置的架構演進方向，是進一步走向模塊級資源池化：將Encoder、Attention、FFN、視覺編碼等不同模塊拆分為獨立資源池，各自按負載特點彈性擴縮容，讓資源匹配更精準、利用率更高。演講最後，羅偉表示，面向未來，作為“最懂大模型的AI基礎設施”，商湯大裝置將持續推動產品與技術迭代，與生態夥伴共同加速AI基礎設施持續升級，推動普惠AI，智造美好未來。
Related
相關文章
4.7 萬條假名人內容被清：網信辦給 AI 換臉帶貨踩剎車
通報點名的四類典型，幾乎都奔著"變現"去：一是未經授權用 AI 仿名人肖像聲音、甚至盜用其家屬照片帶貨引流；二是盜肖像配 AI 特效編造"患病"等謠言誤導公眾；三是以第一人稱冒充名人發表觀點、情感話術誘人關注；四是生成名人跳低俗舞蹈、親密互動的畫面吸粉牟利，涉及微信、抖音、小紅書、B 站、快手等多平臺。
申通快遞和千問辦公達成戰略合作，推動物流服務智能化升級
今日消息，申通快遞與千問辦公正式達成戰略合作。雙方將圍繞快遞核心場景打造 AI 辦公體系，以Agent能力支撐申通快遞全國網點的增長戰略落地，推動AI從總部管理向末端網點規模化輸出，加速物流服務智能化升級。申通快遞總裁韓永彥與千問辦公CEO陳宇森等共同見證簽約。 圖示 申通快遞和千問辦公戰略合作簽約現場 申通快遞作為中國頭部快遞企業，擁有覆蓋全國的轉運、網點及末端派送網絡，聚焦快遞主業，為超過40個行業提供定製化解決方案，搭建一體化倉配供應鏈服務體系，網絡覆蓋廣、區域佈局縱深、網點多級協同運營，沉澱了深厚的快遞場景經驗與運營積澱。 面對鏈路長、協同要求高的物流場景，申通快遞對高效率、可落地、安全可控的企業級 AI 生產力工具存在深層次需求。千問辦公本次和申通快遞合作，將把 Agent 套件能力與申通快遞的行業經驗深度融合，共同打造快遞行業 Agent 規模化落地標杆，沉澱出可供整個物流行業持續複用的數字資產。 此前，千問辦公已在申通快遞安全管理、人力資源、行政運營等場景率先落地。以安全管理為例，過去員工的安全諮詢與預警動態均依賴人工處理；如今依託千問辦公，常見安全問題能由Agent自動響應，預警信息每日定時推送。此外，安全團隊還藉助千問辦公搭建管理後臺，將事件監控、實時臺賬與趨勢分析匯成統一視圖，推動安全管理從“被動響應”轉向“主動管理”。這一變化，也與申通快遞推動網點運營從“經驗驅動”向“數據驅動”轉型的方向一致。 未來，申通快遞將在全國網點推進千問辦公落地，重點提升網點管理與運營效率，並在電商場景共同打造智慧物流，幫助商家增強運營和服務能力，提升消費者購物體驗。 據公開資料，千問辦公是阿里旗下企業級通用Agent產品，是AI辦公賽道增長最快的產品之一，目前行業頭部企業均已接入千問辦公。
Thinking Machines Releases Inkling 2 Small, a 594B MoE With 17B Active
Thinking Machines Lab has released Inkling 2 Small, the first model of its second Inkling generation.The Inkling 2 Small model is a sparse Mixture-of-Experts (MoE) with 594B total and 17B active parameters.
月之暗面放大招！Kimi Hosted Agents 正式發佈
Kimi Hosted Agents 正式發佈發布於AI新閒資訊時間 :Nov 6, 2026閱讀 :1分鐘11月5日，人工智能前沿企業月之暗面（Moonshot AI）官方正式宣佈推出全新的 Kimi Hosted Agents(託管智能體) 服務。
解讀丨王騰創業一年，正把小米模式搬進臥室
手機行業過去的最強“話題製造機”，這次沒聊手機。作者丨陳玘凡編輯丨吳優2026年10月29日，北京嘉瑞文化中心二樓。王騰站在臺上，手裡拿著一枚戒指。這一天，距離他正式離開小米，剛過去一年零五十天。手機行業曾經最會製造話題的市場操盤手之一，這次沒有講手機，而是以今日宜休之名發佈了兩個最"安靜"的產品：一枚智能戒指，一張以床笠形態加裝在床上的溫控系統。但問題是：在智能戒指已經殺成紅海、智能床罩由Eight Sleep佔據先機的賽道里，這兩款售價1799元起的戒指和9999元起的床笠，到底有什麼不一樣？
獨家解讀 | 大疆老兵研發運動硬件，如何一年做出兩款產品？
成立兩年發佈兩款產品，累計融資千萬美元。作者丨陳玘凡 編輯丨吳優侯昊翔、曹曦、張津劍，三位 85 後頂流投資人的名字，出現在同一份股東名單上，本身就是一件值得琢磨的事。侯昊翔，厚雪資本創始合夥人兼總裁，福布斯 2024 創投人 100 榜上榜者，主導過壁仞科技等明星項目；曹曦創辦礪思資本（Monolith），投出了月之暗面、DeepSeek；張津劍與綠洲資本投出過MiniMax、逐際動力。把三位聯繫在一起的，是一家成立僅兩年半的運動科技公司皓翊星辰（LUMISTAR）。01造過 200 萬臺無人機的人，來造網球機皓翊星辰由厚雪資本孵化，日常經營交給專業團隊獨立運轉，核心成員來自大疆、字節、小紅書等公司。公司目前約80人，產研人員超過一半。網球發球機看似只是"一臺會發球的機器"，實際是一門重結構的硬件生意。高速發球對機身強度、供球機構的可靠性、整機重量都提出了苛刻要求，任何一塊短板都有可能變成用戶手裡的故障。行業從業者告訴雷峰網·鯨犀，發球機殼體壁厚低於 2mm、被 70-80 公里/小時的球速擊打，很容易損壞，有網球發球機器人產品為追求便攜犧牲了結構強度，曾在體驗活動中被用戶打出的球擊破外殼。（想了解更多網球機器人行業內幕，歡迎添加作者微信 IvarQFC 交流）做網球發球機，需要一個結構能力過硬的研發負責人。皓翊星辰的硬件負責人正是結構工程師出身，擁有多年消費電子經驗。他曾參與研發 Mavic Mini 一代，這是大疆首個銷量破 200 萬臺的產品；還參與Insta360 GO系列拇指相機、雲鯨掃地機等產品。懂硬件的人來做網球機，落在產品上是一連串明確的取捨。公司此前有面向B端測試機，系統複雜且不可靠。團隊覆盤後轉向C端，核心洞察是“物理阻力”的問題。個人用戶買網球機，除去價格，最大的障礙就是把幾十公斤的機器從家搬到球場。誰把機器做得便攜、可靠、好用，誰就能打開C端市場。