DeepSeek之後，StartLux再來：開源首個決策模型推理引擎，推理快至5.3倍

作者 | 王涵 編輯 | 漠影 近期，大模型行業掀起一股開源自研推理引擎的浪潮。10月20日，DeepSeek正式開源生產環境實際使用的推理框架DeepInfer。幾乎同時，10月22日，國內AI創業團隊StartLux原點星輝也對外開源了其自研推理引擎Prism。同樣是自研推理系統，DeepSeek的DeepInfer服務於自家通用大模型的雲端大規模業務；而Prism則聚焦“決策模型”，據公開資料，其也是首款專門面向決策模型打造並對外開源的推理引擎。決策模型是近段時間快速走紅的大模型新賽道。

不同於主打對話、內容創作的生成式大模型，決策模型不需要輸出大段文本，在讀取材料之後，直接輸出判斷結果，給出是/否、選項選擇、風險等級打分這類概率化結論。自今年9月Jev模型爆火之後，決策模型迅速成為行業焦點，微軟、AWS、Cloudflare等企業也相繼入局佈局。在國內決策模型賽道，成立尚不足五個月的StartLux原點星輝已經跑出了不錯的成績。10月16日，該團隊推出新一代決策模型StartLux‑Decision-v1.1，以69.1分登上Hugging Face的Decision Index 0.3.2榜單首位，在173個公開可復現模型中排名第一。

截至目前，StartLux決策模型累計下載量超18萬，決策模型API已累計響應來自全球超300萬次決策請求。Github 推理引擎： https://github.com/StartLuxLabs/StartLux-Prism Github 決策模型： https://github.com/StartLuxLabs/StartLux-Decision Github 決策模型榜： https://github.com/StartLuxLabs/DecisionPivot Huggingface 決策模型： https://huggingface.co/papers/2610.

17309 Huggingface 決策模型榜： https://huggingface.co/papers/2610.28522 不過，即便模型能力實現突破，落地環節仍存在現實瓶頸。在此之前，StartLux-Decision-v1.1運行在基於vLLM 0.31的通用推理框架之上。然而，vLLM這類主流框架原生面向聊天、續寫文本這類逐token生成場景設計，並不適配決策模型，模型的實際能力很難充分釋放。Prism就是StartLux給出的解法：按決策模型的需求重寫推理引擎。實測其在單張H200顯卡上，Prism處理單個短問題比原方案快2.8倍，同一份材料連問三個問題，最快可提速5.3倍。

這套專為決策模型重構的推理引擎，到底做了哪些關鍵改動？各項性能數據的實測結果如何？為何越來越多AI企業選擇自研推理框架，而非直接使用社區通用方案？本文將圍繞以上問題展開解讀。一、StartLux用四大創新，破解推理效率難題 想要看懂Prism的優化思路，首先要釐清決策模型的運行邏輯。例如有一位客戶投訴：“訂單被扣了兩次錢，App裡卻還顯示未付款。”接到這個投訴，系統需要同時判斷：工單交給哪個部門、今天是否必須回覆、問題有多嚴重。決策模型需要讀完材料，分別給每道題的備選答案打分，返回各選項的概率。反觀vLLM、SGLang等通用推理框架，其設計初衷服務於文本生成任務。

如果用它們跑決策模型，每一道問題都要被拆解成獨立請求，分別完成網絡請求、分詞、調度，並且重複執行龐大輸出層的計算。Prism的全部優化，都圍繞一個核心目標：完成一次決策，只執行必不可少的計算。優化一：收斂輸出計算範圍 以27B參數量的 StartLux‑Decision 模型為例，它的輸出層包含12.7億權重，通用引擎需要對24.8萬個候選詞做完整打分，但決策任務只用到A‑Z共26個字母作為輸出選項。Prism將輸出層計算範圍壓縮至原先的0.01%，模型依舊完整完成材料理解，只是在輸出判斷結果階段，跳過大量無關候選詞的計算。優化二：“森林式”計算 業務場景中經常出現同一份材料對應多項判斷需求。

比如一份客戶工單，需要同時判定歸屬處理團隊、是否需要當日回覆、故障嚴重等級。傳統框架每解答一道題目，就要重新完整處理一遍工單材料。Prism創新性地將批量任務構建成“森林式”計算結構：通用指令作為樹根，共用的參考材料作為樹幹，各個獨立問題作為分支樹枝。樹根、樹幹對應的計算只執行一次，不同問題僅處理自身新增部分。針對同一份材料的多輪追問同樣可以複用已有計算結果。優化三：採用整數運算 在和大語言模型互動的時候，我們常常會遇到一個問題：同一個問題，大模型每次給出的答案都不盡相同，有時候甚至完全相反。這一點在決策模型上是十分致命的，因為決策模型輸出的概率值會直接指導業務系統執行後續動作。

Prism通過整數運算，解決結果漂移問題：相關矩陣運算全部使用int8精度，在int32精度下完成累加。因為整數加法不受計算順序影響，計算結果不會受批大小、調度順序干擾。優化四：混排調度 StartLux‑Decision-v1.1支持AutoThink自動思考模式，模型把握充足時直接輸出答案，把握不足則先生成最長4096 token的推理思考過程。但這也帶來了調度層面的難題：如果簡短請求和長思考請求進入同一個任務隊列，簡單任務就會被長耗時請求阻塞。

Prism為此設計了一套混合調度機制：思考類任務的提示詞併入直接輸出批次完成預處理，後續解碼步驟預編譯為CUDA圖，最多支持64條思考任務與直接輸出任務分時佔用顯卡資源。新接入的簡單請求最多等待1‑2個解碼步驟就可以插隊執行。二、推理最高快5.3倍，231 題均速僅41毫秒 這樣優化後，性能有著怎樣的提升呢？StartLux對此進行了一系列對比測試。（注：以下數據來自StartLux在不同模型版本及測試條件下的實測結果。其中，5.3倍加速測試使用StartLux-Decision-v1.

1-27B AutoThink模型；231題跨引擎性能對比及吞吐量測試使用StartLux-Decision-v1-27B模型。具體測試配置與結果均已在GitHub公開。） 第一題：單請求延遲 測試結果顯示，單道短問題場景下，Prism耗時19毫秒，原方案為53.1毫秒，提速2.8倍。針對同一份材料連續處理三道問題，Prism僅需17.4毫秒，原方案則要92.9毫秒，提速幅度達到5.3倍。如果在三道問題基礎上開啟思考模式，Prism耗時785毫秒，原方案為1296毫秒，提速1.7倍。面對單條約8192 token的長問題，二者的性能差距收窄至1.2倍。

在更加直觀的視頻理解測試中，StartLux-Prime的速度比vllm快3.38倍，且輸出的概率基本一致。第二題：跨引擎延遲 研究團隊選取JevBench測試集共231道題目，將Prism與vLLM、SGLang、llama.cpp等主流開源推理框架做橫向對標。結果顯示，Prism單題平均延遲41毫秒，在所有參測框架中排名第一。緊隨其後的decider編譯版為66.8毫秒，SGLang為75.6毫秒，vLLM達到112.7毫秒，llama.cpp耗時最長，單題平均589毫秒。在同為8位精度的同等條件下，Prism的延遲比次快的框架低約40%。

這裡有兩點測試前提需要說明：decider和JevK5兩款引擎無法直接搭載StartLux原生模型，測試使用了結構一致的替代模型，僅對比速度不考核準確率；另有部分框架不支持8位量化，只能以更高精度運行。第三題：吞吐量 高併發吞吐測試中，64路併發跑滿顯卡時，Prism相對競品的優勢收窄到17%到22%。這一階段瓶頸出在硬件算力層面，雙方都已經將H200的性能拉滿，軟件優化很難再帶來明顯提升。但決策類業務最常見的並非極限滿載場景，而是高頻出現的小型請求。在這種日常典型負載下，Prism每秒可以處理100道請求，表現最優的競品為每秒38道，Prism領先2.6倍。

換言之，Prism的性能優勢恰好落在企業真實高頻使用的業務區間，這也是專用推理引擎最核心的價值。第四題：多卡部署靈活適配 多卡部署層面，Prism支持數據並行與張量並行兩種模式，也可以組合使用，適配不同的業務需求。以27B版本模型為例，四張H200採用數據並行模式，各自獨立接收請求，合計每秒可處理121個請求，約為單卡吞吐的3.92倍。如果四張卡採用張量並行模式合力計算同一道題，單題延遲可以從41毫秒降到29毫秒。兩組雙卡混合部署則可以兼顧吞吐與延遲，實現每秒86道請求、單題36毫秒的表現。無論採用哪種部署方式，輸出結果都與單卡運行時逐位一致。

第五題：精度與部署門檻 提速之外，模型的推理精度並未出現折損。在覆蓋七個評測集、共12351個決策樣本的帶思考測試中，Prism int8版本的平均準確率為92.94%，原引擎FP8版本為92.83%，未做量化的BF16原版為92.97%。Prism量化版本與滿血原版的準確率差距僅0.03個百分點，甚至略優於原有引擎的量化版本。部署門檻也比預想中更低。該模型有16.55GB的壓縮版本，單塊32GB顯存的RTX 5090消費級顯卡就可以運行，輸出效果對標專業級顯卡H200。在這個壓縮版本上，Prism比主流開源框架llama.cpp快3.9 倍。

三、推理系統拉開身位，模型企業開始自研推理引擎 短短兩天之內，DeepSeek與StartLux先後開源自研推理引擎，折射出大模型行業的共同轉向：模型能力的比拼之外，推理工程的重要性正在快速抬升。無論是通用大模型還是垂直領域的決策模型，一旦嵌入業務核心流程，每一次調用的延遲、每萬次請求的算力開銷都會直接體現在業務成本中。同款模型的落地成本、響應速度、運行穩定性，開始成為決定其商業化空間的關鍵因素。而通用推理框架需要適配不同結構的模型、覆蓋千差萬別的應用場景，必然要在專用性上做出妥協，只有模型廠商自身最清楚自家模型的接口特性與優化空間。

StartLux走的正是這條自研路徑，同時又在決策模型這個細分賽道走出了自己的開放風格。和很多廠商僅開源模型權重或推理代碼不同，StartLux的每一次產品發佈，都同步輸出底層方法論與配套工具鏈，把自身的實踐經驗轉化為行業可以複用的公共資產。此前發佈 StartLux-Decision 決策模型時，團隊就同步公開了RLCD²強化學習訓練算法，系統性解決了決策模型“何時啟動思考、何時終止思考”的訓練難題，填補了決策模型訓練方法論的空白。同時推出的DecisionPivot評測基準，也補上了行業對決策模型細節識別能力的評測標準缺口，為全行業提供了統一的對比參照。

本次Prism推理引擎的開源，同樣延續了這一思路。團隊不僅放出了完整的引擎代碼，更公開了針對決策模型推理的全套優化邏輯，相當於把決策模型推理工程的核心設計思路完整開放給行業。DeepSeek與StartLux這類開源AI廠商，把推理工程從單家廠商的內部能力，變成行業可複用、可驗證的公共基礎設施。對於尚處發展初期的決策模型賽道而言，這種“模型+方法+工具”的開放模式，直接降低了全行業的試錯成本，讓更多團隊不用從零開始搭建訓練、評測、部署的完整鏈路，可以聚焦於上層的場景創新與效果優化。

結語：決策模型的競爭，推理層將是勝負手 想要把決策模型真正用在風控、內容審核、業務工單路由等真實業務當中，僅有高性能模型遠遠不夠。Prism的本質，是針對決策模型重新核算整套推理計算邏輯。當大模型的輸出從長篇文本，轉變為一組概率判斷，過去文本生成時代推理引擎的各類默認假設，都有重新審視、重新優化的空間。未來決策模型賽道的競爭，也會朝著這個方向演進：模型架構的差距會不斷縮小，但推理工程層面的壁壘會變得更顯著，而後者無法依靠堆更大參數量的模型簡單補齊。這其實讓決策模型和整個模型領域的競爭核心變得更突出，也讓外界更加期待，誰能跑得更遠，做的最深。