DeepSeek 開源內部推理框架 DeepInfer，要把大模型服務的成本打下來
AI資訊AI新閒資訊正文DeepSeek 開源內部推理框架 DeepInfer，要把大模型服務的成本打下來發布於AI新閒資訊時間 :Oct 20, 2026閱讀 :1分鐘DeepSeek 在10月20日官宣，在已經陸續開源一系列大模型、TileLang 編譯工具以及推理算子庫之後，決定再往前邁一步——把自家的內部推理框架 DeepInfer 全面開源。這家公司點明瞭一個長期被公眾忽視的中間層:大模型的能力上限由模型本身劃定，但如何以合理成本撐起超大規模的模型服務，真正取決於推理框架。訓練讓模型"學有所成"，推理則讓模型"為人所用"。
面對如今海量的用戶調用，推理框架負責統籌調度龐大的算力集群，它的效率直接決定了 AI 服務的算力成本與電力消耗。DeepSeek 想通過公開內部的部署經驗，幫開發者與企業組織優化大規模推理的吞吐量與延遲，從而更高效地搭建私有化或公有云部署，壓低算力成本、減少能源消耗，讓智能以更低的價格觸達更廣泛的人群，實現它口中的"大模型普惠"。基於 DeepInfer，DeepSeek 官方已經跑通了 DeepSeek V4.1Flash 的高吞吐、低延遲大規模推理服務;往後，新模型的推理代碼和後續優化也會在這個框架裡持續更新。
具體來看，DeepInfer 推理框架集成了高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，並且同時兼容英偉達與華為昇騰兩套平臺。與之同步開源的，還有 deepseek-recipe 編解碼組件——一個生產級的 Token 編解碼模塊，與 DeepSeek 官方 API 的處理邏輯完整對齊，確保社區拿到的 API 體驗和官方部署保持一致。對想自己搭建推理服務的人來說，這意味著不必再從零摸索，直接站在 DeepSeek 的部署經驗之上。
相關推薦DeepSeek 再掀開源浪潮：內部推理框架 DeepInfer 全面公開，劍指"大模型普惠"DeepSeek官宣將內部推理框架DeepInfer全盤開源。此前其已陸續發佈大模型、TileLang編譯工具和推理算子庫。DeepSeek認為，模型能力上限由模型本身決定，但如何以合理成本向海量用戶供給超大規模模型，取決於推理框架這一長期被忽視的中間架構。訓練讓模型學有所成，推理才讓它為人所用。Oct 20, 202692.
7kDeepSeek 開源推理框架 DeepInfer:推理成本成為 AI 普惠的關鍵一層10月20日，DeepSeek宣佈全面開源內部推理框架DeepInfer，繼系列大模型、TileLang編譯工具和推理算子庫後再度開放。官方稱，模型能力邊界由模型劃定，但以合理成本服務超大規模模型，關鍵在推理框架這一中間層；它調度龐大算力集群，效率直接決定算力成本與電力消耗。DeepInfer集成高性能算子與深度優化推理引擎。Oct 20, 2026104.9kAI日報：騰訊開放元寶搜索；MiniMax 更新 M3.1Flash；螞蟻百靈開源 Ming-3.
0 語音系列AI日報聚焦人工智能熱點、技術趨勢與創新產品應用。本期重點：騰訊正式開放元寶搜索，以千億級索引支持AI智能體調用，並通過Skill、MCP、API三種方式服務開發者；該搜索接入157個行業權威信源，為開發者提供更豐富的搜索能力。Oct 20, 2026104.0k日本演員協會發布首版生成式AI準則，復刻演員聲音須全程獲授權日本演員協會上週發佈首版生成式AI使用準則，規範未經授權以AI復刻演員聲音。準則適用於語音合成、深度學習、機器學習等技術生成的仿聲音頻，要求聲音復刻各環節均須取得演員本人同意；AI企業將演員聲音用於模型訓練，須獲表演者許可。
經授權生成的AI語音被視為“表演”，企業應向演員支付報酬。Oct 20, 202670.2k奇瑞 CheryMind 垂域基礎大模型發佈，宣稱"為物理 AI 而生"在2026奇瑞全球創新大會上，奇瑞發佈面向垂直領域的基座模型CheryMind，定位“為物理AI而生”。該模型已有超6萬名員工日常使用，覆蓋200多個業務場景，打通400多套企業系統，接入700TB企業知識庫和200PB工程數據。奇瑞稱其已非實驗室Demo，而是正重塑企業運轉方式。Oct 20, 202680.5k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026
Related
相關文章
梁聖大氣！DeepSeek推理框架全開源，公佈日均吞吐和毛利，真正的OpenAI來了
作者 | 王涵 編輯 | 心緣 梁聖又來送福利了！ 10月20日報道，剛剛，DeepSeek開源了其內部使用的、大規模雲服務推理框架DeepInfer和生產級token編解碼組件deepseek-recipe。 DeepInfer框架集成了高性能算子和深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，可在英偉達與華為昇騰平臺上運行。 據DeepSeek團隊公佈，DeepSeek V4.1 Flash的高吞吐、低延遲大規模推理服務就是基於該框架實現的。
DeepSeek 再掀開源浪潮：內部推理框架 DeepInfer 全面公開，劍指"大模型普惠"
這家公司想補上的，是一個長期躲在聚光燈之外的環節——推理框架。在 DeepSeek 的定義裡，模型的能力上限由模型本身決定，但"怎樣以合理成本把超大規模模型供出去"，靠的是這層中間架構。訓練讓模型學有所成，推理才讓它為人所用。當海量用戶同時調用，推理框架負責統籌調度龐雜的算力集群，其效率高低，直接撬動著 AI 服務的算力開銷與耗電——它既不像模型權重那樣吸睛，卻是把實驗室能力搬進現實的關鍵閘口。
DeepSeek 開源推理框架 DeepInfer:推理成本成為 AI 普惠的關鍵一層
官方指出，大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模模型服務，還取決於推理框架這一中間層——它統籌調度龐大的算力集群，其效率直接決定 AI 服務的算力成本與電力消耗。DeepInfer 集成高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，同時兼容英偉達與華為昇騰平臺。
Gartner 潑冷水：7 萬億美元 AI 基建到 2030 年只能回本約一半
然而到 2030 年，這些重金堆出的資產最多隻能產出 3.6 萬億美元收入——換句話說，投出去的錢，屆時連一半都收不回來。高級總監分析師 Will Sommer 算了一筆更嚴苛的賬：把融資成本和 12% 的投資回報率一併計入，要與 7 萬億美元的投入相抵，實際需要的收入高達 8.
奇瑞 CheryMind 垂域基礎大模型發佈，宣稱"為物理 AI 而生"
奇瑞給出的落地數據相當紮實:超過6萬名員工每天都在使用 CheryMind，模型已經覆蓋200多個業務場景，打通了400多套企業系統，啃下了700TB 的企業知識庫和200PB 的工程數據。在奇瑞的描述裡，這不再是實驗室裡的 Demo，而是一套正在重塑企業運轉方式的真實基礎設施——它把散落在各部門、各系統裡的數據和方法，收攏進同一個會思考的底座，去驅動一家車企的日常經營與研發。
開源工具 Strata 0.2 重磅發佈：硬件門檻再降 16GB，本地流暢跑千億大模型
作為一款致力於讓普通家用電腦流暢運行 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B 等大語言模型的開源利器，Strata 在本次升級中不僅推出了全新的獨立圖形界面，還進一步大幅降低了本地部署的硬件門檻。在硬件配置要求上，新版本對內存與顯存（RAM + VRAM）的綜合佔用進行了深度優化。