梁聖大氣！DeepSeek推理框架全開源，公佈日均吞吐和毛利，真正的OpenAI來了
作者 | 王涵 編輯 | 心緣 梁聖又來送福利了！10月20日報道，剛剛，DeepSeek開源了其內部使用的、大規模雲服務推理框架DeepInfer和生產級token編解碼組件deepseek-recipe。DeepInfer框架集成了高性能算子和深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，可在英偉達與華為昇騰平臺上運行。據DeepSeek團隊公佈，DeepSeek V4.1 Flash的高吞吐、低延遲大規模推理服務就是基於該框架實現的。
目前，其單一集群的服務吞吐是155萬億Tokens/天，整體收入按照谷價計算是每卡每小時38美金（約合人民幣253.81元）。這個數字是什麼概念？按這個數字粗略計算，一張卡24小時滿負荷運行，每天收入為6091.38元；一個月按照30天計算，那月收入就有185711.4元。生產級Token編解碼組件deepseek-recipe則支持主流大模型API協議與模型Tokens之間的編解碼，處理邏輯與DeepSeek官方API完整對齊，可以確保第三方部署能獲得與官方部署一致的API體驗。同時，DeepSeek在知乎發佈了更加詳細的技術報告，介紹了DeepSeek V4.
1 Flash推理系統的整體架構與關鍵實現，以及今天開源的兩部分的設計細節。技術報告篇幅很長，我們用最新發布的DeepSeek-V4.1-Flash-1017模型總結了要點： 吞吐線：把GPU空轉壓到最低 1、節點內MoE專家並行（EP）：增大batch size，提高GPU矩陣乘效率。2、並行度取值相反：Prefill用EP2～8/DP2～8（8卡機，顯存夠就取小）；Decode用EP64～128/DP64～128 Wide-EP（64～128卡超節點，卡夠就取大）。3、四類負載均衡器： Prefill：四級調度共用一張代價模型，所有決策最終落到compute-quota；moelb 1.
0320（EP2/DP2）、1.0618（EP4/DP4）。Decode：兩維均衡，moelb 1.090。Vision Encoder：按patch粒度分配，一般單卡部署。EP：冗餘專家參數+動態重排。DSpark 變長驗證：低秩logit bias校正草稿模型偏差，Confidence Head 按置信度決定驗證長度，替代固定驗證5token，吞吐+6%。4、異步調度：用CPU側邏輯填滿decode各步之間的GPU空檔，做流水線重疊。5、容錯：不靠加快重啟，靠多留機器、請求重路由、降級重啟。
成本線：把重複prefill降到最低 1、KVCache長期留存：設計目標72小時以上；線上TTL為agent 3天、chatbot 7天（3天TTL會讓chatbot命中率下降0.5%–1%）。2、Block KVCache不進本機內存：按128token切塊、4層mainKV，落獨立3FS集群——約100PiB SSD，讀10TiB/s、寫約850 GiB/s（面向約112 KiB block粒度隨機讀寫）。換來的是「任意prefill機器可命中任意前綴」，代價是放棄前綴親和路由。
3、SWA：20層×134的ring，只留本機內存、不持久化，TTL約180秒，命中率98%以上；未命中由Bounded Replay重算。4、SWA Bounded Replay：V4把SWA落盤，佔掉持久VCache近一半容量卻換不到命中收益；V4.1改為只重算最近128 token，Decoder側總prefill計算量近乎減半。5、硬件成本：常見硬件組網（8卡機+超節點），兼容多廠商芯片，可在英偉達與華為昇騰運行。延遲線：TTFT與TBT分別優化 1、編碼器/Prefill/Decode分離部署：解耦資源分配，Prefill側優化TTFT，Decode側優化TBT。
2、chunk size按時間預算反解：由目標時延倒推每個chunk的大小。3、分詞不拖TTFT：分詞從線性改為分段並行——special token之間的普通文本獨立編碼，再按序拼接；核心路徑用Rust實現。4、邊生成邊返回：跨chunk狀態機緩衝不完整UTF-8碼點，按思考/正文/工具參數分階段維護狀態，KMP增量匹配分隔標記，不回溯已確定文本。5、工具參數不整體構造：按DSML邊界直接輸出JSON片段，字符串逐段轉義，縮短首個參數片段的等待時間。6、投機解碼同時壓延遲：Confidence Head按接受率分配驗證算力，避免固定長度驗證帶來的無效等待。
技術報告地址： https://zhuanlan.zhihu.com/p/2095560295930508953 開源地址： DeepInfer: https://github.com/deepseek-ai/DeepInfer deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe DeepSeek團隊補充說明稱，由於推理系統中的KVCache管理與負載均衡組件因與內部基礎設施耦合較深，相關代碼目前尚未完整開源。未來，DeepSeek新模型的推理代碼及後續性能優化也將在DeepInfer中持續開源。
Related
相關文章
杭州創企連推三款AI母嬰硬件，已融資超2億，擬衝刺港股IPO
作者 | 江宇 編輯 | 心緣 10月20日報道，今日，AI母嬰科技公司兩隻兔子（Buddy Buzzy）集中發佈了3款AI智能硬件：求知3 AI安全座椅、Ori Ring靈犀智能指環和FreeAir AI免手扶吸奶器。三款產品分別瞄準兒童出行、女性健康和哺育場景。
DeepSeek 再掀開源浪潮：內部推理框架 DeepInfer 全面公開，劍指"大模型普惠"
這家公司想補上的，是一個長期躲在聚光燈之外的環節——推理框架。在 DeepSeek 的定義裡，模型的能力上限由模型本身決定，但"怎樣以合理成本把超大規模模型供出去"，靠的是這層中間架構。訓練讓模型學有所成，推理才讓它為人所用。當海量用戶同時調用，推理框架負責統籌調度龐雜的算力集群，其效率高低，直接撬動著 AI 服務的算力開銷與耗電——它既不像模型權重那樣吸睛，卻是把實驗室能力搬進現實的關鍵閘口。
DeepSeek 開源內部推理框架 DeepInfer，要把大模型服務的成本打下來
這家公司點明瞭一個長期被公眾忽視的中間層:大模型的能力上限由模型本身劃定，但如何以合理成本撐起超大規模的模型服務，真正取決於推理框架。訓練讓模型"學有所成"，推理則讓模型"為人所用"。面對如今海量的用戶調用，推理框架負責統籌調度龐大的算力集群，它的效率直接決定了 AI 服務的算力成本與電力消耗。
DeepSeek 開源推理框架 DeepInfer:推理成本成為 AI 普惠的關鍵一層
官方指出，大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模模型服務，還取決於推理框架這一中間層——它統籌調度龐大的算力集群，其效率直接決定 AI 服務的算力成本與電力消耗。DeepInfer 集成高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，同時兼容英偉達與華為昇騰平臺。
Gartner 潑冷水：7 萬億美元 AI 基建到 2030 年只能回本約一半
然而到 2030 年，這些重金堆出的資產最多隻能產出 3.6 萬億美元收入——換句話說，投出去的錢，屆時連一半都收不回來。高級總監分析師 Will Sommer 算了一筆更嚴苛的賬：把融資成本和 12% 的投資回報率一併計入，要與 7 萬億美元的投入相抵，實際需要的收入高達 8.
奇瑞 CheryMind 垂域基礎大模型發佈，宣稱"為物理 AI 而生"
奇瑞給出的落地數據相當紮實:超過6萬名員工每天都在使用 CheryMind，模型已經覆蓋200多個業務場景，打通了400多套企業系統，啃下了700TB 的企業知識庫和200PB 的工程數據。在奇瑞的描述裡，這不再是實驗室裡的 Demo，而是一套正在重塑企業運轉方式的真實基礎設施——它把散落在各部門、各系統裡的數據和方法，收攏進同一個會思考的底座，去驅動一家車企的日常經營與研發。