DeepSeek 開源推理框架 DeepInfer:推理成本成為 AI 普惠的關鍵一層
AI資訊AI新閒資訊正文DeepSeek 開源推理框架 DeepInfer:推理成本成為 AI 普惠的關鍵一層發布於AI新閒資訊時間 :Oct 20, 2026閱讀 :1分鐘DeepSeek10月20日宣佈全面開源內部推理框架 DeepInfer，這是繼此前開源系列大模型、TileLang 編譯工具與推理算子庫之後的又一次開放。官方指出，大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模模型服務，還取決於推理框架這一中間層——它統籌調度龐大的算力集群，其效率直接決定 AI 服務的算力成本與電力消耗。
DeepInfer 集成高性能算子與深度優化的推理引擎，支持分佈式推理、推測解碼、SWA Bounded Replay、結構化輸出等能力，同時兼容英偉達與華為昇騰平臺。基於該框架，DeepSeek 已實現 DeepSeek V4.1Flash 的高吞吐、低延遲大規模推理服務，未來新模型的推理代碼及後續優化也將持續在此更新。配套同步開源的 deepseek-recipe 是生產級 Token 編解碼組件，與 DeepSeek 官方 API 的處理邏輯完整對齊，確保社區獲得與官方部署一致的 API 體驗，兩部分代碼均已在 GitHub 開放，DeepSeek 另在知乎發佈了完整技術報告。
官方表示，開源推理框架的目的一在於幫助開發者與企業組織優化大規模推理的吞吐與延遲，高效構建私有化與公有云部署，從而降低算力成本、減少能源消耗，讓智能以更低價格觸達更廣泛人群，並將繼續支持社區進行大規模部署優化。模型、算子庫與推理框架的逐層開放，延續了國產大模型以開源生態降低推理門檻、推動智能普惠的行業路徑。開源倉庫DeepInfer: https://github.com/deepseek-ai/DeepInferdeepseek-recipe: https://github.
com/deepseek-ai/deepseek-recipe相關推薦AI日報：騰訊開放元寶搜索；MiniMax 更新 M3.1Flash；螞蟻百靈開源 Ming-3.0 語音系列AI日報聚焦人工智能熱點、技術趨勢與創新產品應用。本期重點：騰訊正式開放元寶搜索，以千億級索引支持AI智能體調用，並通過Skill、MCP、API三種方式服務開發者；該搜索接入157個行業權威信源，為開發者提供更豐富的搜索能力。Oct 20, 202698.3k日本演員協會發布首版生成式AI準則，復刻演員聲音須全程獲授權日本演員協會上週發佈首版生成式AI使用準則，規範未經授權以AI復刻演員聲音。
準則適用於語音合成、深度學習、機器學習等技術生成的仿聲音頻，要求聲音復刻各環節均須取得演員本人同意；AI企業將演員聲音用於模型訓練，須獲表演者許可。經授權生成的AI語音被視為“表演”，企業應向演員支付報酬。Oct 20, 202681.4k奇瑞 CheryMind 垂域基礎大模型發佈，宣稱"為物理 AI 而生"在2026奇瑞全球創新大會上，奇瑞發佈面向垂直領域的基座模型CheryMind，定位“為物理AI而生”。該模型已有超6萬名員工日常使用，覆蓋200多個業務場景，打通400多套企業系統，接入700TB企業知識庫和200PB工程數據。奇瑞稱其已非實驗室Demo，而是正重塑企業運轉方式。
Oct 20, 202675.8k開源工具 Strata 0.2 重磅發佈：硬件門檻再降 16GB，本地流暢跑千億大模型開源本地AI大模型運行工具Strata發佈0.2.0測試版，新增獨立圖形界面，繼續降低本地部署硬件門檻。新版本深度優化內存與顯存綜合佔用，RAM+VRAM合計最低僅需27.6GB即可流暢運行Qwen3.8-Flash-Next、Qwen3.6-35B-A3B等大語言模型，讓普通家用電腦也能更輕鬆地本地運行大模型。Oct 20, 2026112.
4kGartner 潑冷水：7 萬億美元 AI 基建到 2030 年只能回本約一半Gartner 14日預測，2026至2030年全球AI基礎設施投資總額將達7萬億美元（約46.86萬億元人民幣），但到2030年最多僅產出3.6萬億美元收入，連一半成本都收不回。高級總監分析師 Will Sommer 更算了一筆嚴苛賬：計入融資等成本後，AI基建投資回報壓力更大。Oct 20, 2026103.0k智啟未來，您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026
Related
相關文章
DeepSeek 再掀開源浪潮：內部推理框架 DeepInfer 全面公開，劍指"大模型普惠"
這家公司想補上的，是一個長期躲在聚光燈之外的環節——推理框架。在 DeepSeek 的定義裡，模型的能力上限由模型本身決定，但"怎樣以合理成本把超大規模模型供出去"，靠的是這層中間架構。訓練讓模型學有所成，推理才讓它為人所用。當海量用戶同時調用，推理框架負責統籌調度龐雜的算力集群，其效率高低，直接撬動著 AI 服務的算力開銷與耗電——它既不像模型權重那樣吸睛，卻是把實驗室能力搬進現實的關鍵閘口。
DeepSeek 開源內部推理框架 DeepInfer，要把大模型服務的成本打下來
這家公司點明瞭一個長期被公眾忽視的中間層:大模型的能力上限由模型本身劃定，但如何以合理成本撐起超大規模的模型服務，真正取決於推理框架。訓練讓模型"學有所成"，推理則讓模型"為人所用"。面對如今海量的用戶調用，推理框架負責統籌調度龐大的算力集群，它的效率直接決定了 AI 服務的算力成本與電力消耗。
Gartner 潑冷水：7 萬億美元 AI 基建到 2030 年只能回本約一半
然而到 2030 年，這些重金堆出的資產最多隻能產出 3.6 萬億美元收入——換句話說，投出去的錢，屆時連一半都收不回來。高級總監分析師 Will Sommer 算了一筆更嚴苛的賬：把融資成本和 12% 的投資回報率一併計入，要與 7 萬億美元的投入相抵，實際需要的收入高達 8.
奇瑞 CheryMind 垂域基礎大模型發佈，宣稱"為物理 AI 而生"
奇瑞給出的落地數據相當紮實:超過6萬名員工每天都在使用 CheryMind，模型已經覆蓋200多個業務場景，打通了400多套企業系統，啃下了700TB 的企業知識庫和200PB 的工程數據。在奇瑞的描述裡，這不再是實驗室裡的 Demo，而是一套正在重塑企業運轉方式的真實基礎設施——它把散落在各部門、各系統裡的數據和方法，收攏進同一個會思考的底座，去驅動一家車企的日常經營與研發。
開源工具 Strata 0.2 重磅發佈：硬件門檻再降 16GB，本地流暢跑千億大模型
作為一款致力於讓普通家用電腦流暢運行 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B 等大語言模型的開源利器，Strata 在本次升級中不僅推出了全新的獨立圖形界面，還進一步大幅降低了本地部署的硬件門檻。在硬件配置要求上，新版本對內存與顯存（RAM + VRAM）的綜合佔用進行了深度優化。
日本演員協會發布首版生成式AI準則，復刻演員聲音須全程獲授權
準則適用於通過語音合成、深度學習、機器學習等技術生成的演員仿聲音頻，要求相關主體在聲音復刻流程的每個環節均須取得演員本人同意。AI 企業若將演員聲音用於模型訓練，必須獲得表演者許可;經授權生成的 AI 語音則被視為一種“表演”，企業應向演員支付報酬或版稅。