IT之家模型更新

北大與 DeepSeek 聯合開源 DSpark:破解 AI 大模型高併發推理瓶頸,速度提升 60% 至 85%

2026年6月27日 15:47
北大與 DeepSeek 聯合開源 DSpark:破解 AI 大模型高併發推理瓶頸,速度提升 60% 至 85%

重點摘要

針對大模型推理延遲高、併發效率低的痛點,DSpark 框架通過半自迴歸候選生成與置信度調度驗證兩項創新,在保證生成質量的同時,將單用戶生成速度提升 60% 至 85%。該框架已部署於 DeepSeek-V4 系列預覽版服務中,相關代碼與模型已在 GitHub 開源。#大模型#AI 推理#開源

站內 AI 整理稿

近日,北京大学与 DeepSeek 联合宣布开源 DSpark 框架,这一框架聚焦大模型推理中的高延迟与低并发难题,通过两项核心技术实现了显著突破。实验表明,在保证生成质量的前提下,单用户生成速度提升 60% 至 85%,相关代码与模型已在 GitHub 开源,并部署于 DeepSeek-V4 系列预览版服务中,为 AI 推理效率的优化提供了全新思路。

大模型在实际落地中,推理效率一直是关键瓶颈。随着参数规模增长,传统的自回归解码方式需逐词生成,顺序执行导致计算资源利用率低,响应时延高,并发能力不足。这种限制使得模型难以在实时交互、大规模服务等场景中充分发挥潜力,也推高了部署成本。DSpark 正是从生成与验证两个环节入手,打破传统范式,寻找效率与质量的平衡点。

DSpark 的第一项创新是半自回归候选生成。不同于完全自回归的逐 token 解码,该方法允许模型在一次前向传播中同时生成多个候选 token,有效提升推理吞吐量。这种方式在保证上下文依赖的前提下,大幅减少了串行步骤,让计算过程更加紧凑,从而缩短整体生成时间,为提速奠定了底层基础。

第二项创新是置信度调度验证。候选生成后,系统会评估结果的置信度,并动态调整后续验证的强度。对于高置信度的候选,可适当降低验证开销;对于低置信度的候选,则投入更多资源以确保质量。这种差异化策略既避免了冗余计算,又不牺牲生成准确性,在不影响模型输出质量的前提下进一步缩减了延迟。

在实际测试中,DSpark

Related

相關文章

鈦媒體模型更新

【數智周報】DeepSeek:計劃將所有部門的規模擴大至少一倍;黃仁勳股東大會放言:本輪AI基建週期長達數十年;字節豆包Seedance 2.5將在7月初正式發佈

(5月22日-27日)AI推動HBM供不應求,美光預計供應緊張將持續至2027年以後;華為汪濤:2030年全球各類智能體將突破千億規模,2040年或達萬億規模;字節新一代豆包手機供應鏈信息曝光,發佈時間或延遲;英偉達宣佈Vera Rubin NVL4系統Q4起供貨;Groq完成6.5億美元融資,加速擴建AI推理雲並目標2027年底達200兆瓦;IDC:到2027年推理將佔智能算力需求70%以上...

剛剛
智東西模型更新

剛剛,“宇宙級”GPT-5.6突襲!Mythos 5被解禁

這篇消息聚焦「剛剛,“宇宙級”GPT-5.6突襲!Mythos 5被解禁」。原始導語提到:GPT-5.6預覽版三箭齊發。 從 AI 情報角度來看,這類內容值得關注其背後的技術進展、產品落地、產業競爭與後續市場影響。

剛剛
鈦媒體模型更新

Edge AI Daily 早報(6月27日)

OpenAI發佈GPT-5.6系列採用Sol/Terra/Luna三層品牌矩陣,最強旗艦Sol僅對約20家經美國政府審批的合作伙伴開放,標誌著AI模型發佈進入逐客戶審批時代。蘋果Vision產品集團負責人Paul Meade離職加入OpenAI,折射AI公司從純軟件向軟硬件綜合體進化。

37 分鐘前
雷峰網模型更新

打造AI輕辦公神器 vivo X Fold6摺疊旗艦新品正式發佈

2026年6月26日,vivo正式發佈新一代摺疊旗艦vivo X Fold6。聚焦“大屏+AI生產力”,為AI創造任務空間,全新vivo X Fold6不僅是對摺疊屏手機核心價值的一次重新定義,更是vivo X Fold系列開啟摺疊新篇章的里程碑之作。vivo X Fold6搭載了行業首個專為摺疊大屏深度定製、為任務流而生的OriginOS 6Fold操作系統,從底層重構,帶來大屏多線程全新交互,讓原子工作臺實現一屏五用「串行」模式與四窗口同時運行的「並行」模式兼顧,讓AI隨時加入任務流;搭載行業首個為摺疊大屏AI任務流和多場景端側AI深度定製的藍晶x天璣9500超能版旗艦芯片,不僅帶來高性能低功耗的極致性能體驗,還強力支撐AI文件管家、AI會議助手等端側AI體驗。軟硬件一體深度協同,讓vivo X Fold6成為用戶可以同屏流暢運行AI任務流的超能“AI搭子”。自摺疊屏誕生以來,在輕薄、可靠性、影像、續航等方面不斷精進,完成了以硬件成熟為標誌的“第一次進化”;如今,摺疊大屏與AI任務流組合,為重構摺疊屏手機價值帶來了可能。“摺疊屏的第一次進化,是展開一塊大屏幕,摺疊屏的第二次進化,應該是展開一個AI工作臺,完成一個複雜大任務。”,“藍廠要做的,是基於用戶對AI多任務的使用需求,打造一個真正為移動AI而生的軟硬件平臺,讓用戶爽用AI”vivo副總裁黃韜在發佈會上表示。vivo X Fold6已經全渠道開啟預售,並將於7月1日正式開售,售價7999元起。 原子工作臺+AI:向AI任務流進化摺疊屏的第二次進化,首先體現在交互方式的進化:由傳統的“一屏一應用”,演進為“一屏一個AI大任務”。vivo X Fold6搭載的獨家功能——原子工作臺,在前代產品的「串行」模式基礎上新增「並行」模式,讓摺疊大屏變成一個真正圍繞AI任務運轉的空間,實現了交互方式的躍遷。用戶可通過輕彎折或三指

6 小時前