What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models
The vLLM Semantic Router team has released Decision 3.0, a family of multimodal decision models.Decision 3.0 multimodal decision models read text, JSON and images, then answer typed questions about them.There are 5 sizes, from 0.8B to 27B, all under Apache-2.0.
For developers, this is a fast way to classify, route and gate requests without parsing generated text.TL;DR Size: 5 models: d3-lite (0.85B), d3-nano (2.21B), d3-mini (4.54B), d3-flash (8.39B), d3 (26.09B).Context length: not disclosed.Runs on: latency measured on 1 AMD Instinct MI325X GPU.
BF16 weights; no official quantized variants listed.Performance: the 27B d3 leads both the text and vision tables in its card, but on internal evaluation.Best: 97.7 on KIE (CORD+FUNSD) document extraction (d3).Worst: 34.1 on R-Bench-M (d3).
Bottom line: Best: a 9B model now beats last generation’s 27B.Worst: scores are self-reported against live board data.What is Decision 3.0?Decision 3.0 is a set of open decision models from vLLM Semantic Router that return probabilities instead of text.
You pass a state (text or JSON), optional images, and named questions.Each question is a Choice, a Yes/No, or a Score on a scale.The model answers all questions in one call and returns a probability for every answer.This is the ‘system one’ pattern for routers and guardrails.
Instead of prompting an LLM and parsing its output, you get calibrated scores you can threshold.How does d3 work?Each model is a fine-tune of a Qwen base.The 27B d3 is built on Qwen3.8-27B.The smaller 4 build on Qwen3.5 checkpoints at 0.8B, 2B, 4B and 9B.Every size carries a vision encoder: 0.
10B in d3-lite, 0.33B in d3-nano and d3-mini, and 0.46B in d3-flash and d3.Requests accept several PNG, JPEG or WebP images, each read at up to 1.6 megapixels.Every question sees all images.Each question gets its own forward pass over the input.Install targets transformers==5.17.
0, and the optional flash-linear-attention package speeds up the linear-attention layers.Loading needs trustremotecode=True.How does Decision 3.0 perform on benchmarks?Through the model card, the research team state the Jev Decision Index 0.3.
1, a board that ranks open reproductions of TypeSafe’s Jev decision system.d3 numbers are the team’s internal evaluation.On text, d3 scores 64.1, ahead of Perplexity Decider v1.1 (62.8) and Jev (60.1).One caveat: Torchcast Decision 27B posts a higher public-suite score (65.1 vs 64.9).
On the vision board, d3 scores 71.6 against 70.6 for Perplexity Decider v1.1.The size story is the strongest part.d3-flash (9B) scores 59.0, above Decision 2.0’s 27B at 55.9.On the public suite, gains over Decision 2.0 range from +8.0 (27B) to +15.1 (0.8B).
Class leadership is not uniform, though: d3-mini (4B) and d3-flash (9B) lead both their text and vision tables.d3-lite (0.8B) leads on text but ranks 3rd on vision (41.1, behind JPT-0.8B at 42.1).d3-nano (2B) leads its vision table but trails LiquidAI d1-3B on text (35.8 vs 40.1).
On public vision tasks, d3 scores 97.3 on InfographicVQA and 89.9 on Mind2Web, both approximate rebuilds.It is weaker on MMMU-Pro vision (46.2) and Hateful Memes moderation (44.6).#mtp-d3x-wrap{max-width:880px!important;margin:24px auto!important;background:transparent!important;border:0!
important}#mtp-d3x-wrap iframe{display:block;width:100%!important;height:600px;border:0!important;background:#0b0f17!important;border-radius:16px}#mtp-d3x-wrap p:empty,#mtp-d3x-wrap hr,#mtp-d3x-wrap del,#mtp-d3x-wrap s{display:none!important} (function(){var f=document.
getElementById('mtp-d3x-frame');window.addEventListener('message',function(e){if(e.source===f.contentWindow&&e.data&&e.data.mtpD3xHeight){f.style.height=Math.ceil(e.data.mtpD3xHeight)+'px';}});})(); How fast are the models?
Medians below are for 1 request at a time on 1 AMD Instinct MI325X, per each card: d3-nano: 21.7 ms text, 92.0 ms with an image d3-lite: 23.5 ms text, 60.7 ms with an image d3-mini: 28.5 ms text, 115.0 ms with an image d3-flash: 29.7 ms text, 171.
8 ms with an image d3: 84 ms text, 342 ms with an image All models were trained on AMD Instinct MI325X GPUs.How does d3 compare with other decision models?Featured3 (vLLM SR)Perplexity Decider v1.1Decision 2.0 Vega-27BLiquidAI d1-3BParameters26.09B26B (HF listing)29.37B3.12BBase modelQwen3.
8-27BQwen3.8-27BQwen3.8-27BLFM2.5-VL-3BInputsText, JSON, imagesText, imagesText, JSONText, JSON, imagesContextNot disclosed8,192 tokens per decision32,768 tokens32,768 tokensLicenseApache-2.0Apache-2.0Apache-2.0LFM 1.0Decision Index (own card)64.1 (v0.3.1, internal)61.56 (version not stated)56.
5 (v0.2.1)48.57 (v0.2.1)Index 0.3.1 board (per d3 cards)64.162.855.940.1Vision board 0.3.171.670.6Not disclosed (text only)Not disclosedMedian latency (own card)84 ms text, 1 MI325XNot disclosed71.4 ms, 1 GPU9 ms, 1 MI325X Key Takeaways 5 Apache-2.0 decision models, 0.
8B to 27B, all with image input.d3 (27B) tops its text (64.1) and vision (71.6) tables, on internal evals.The 9B d3-flash (59.0) beats Decision 2.0’s 27B (55.9).The 0.8B and 2B models do not lead every board.Median text latency runs 21.7 to 84 ms on 1 MI325X.
Check out the Hugging Face collection, the d3 model card and the vLLM Semantic Router GitHub repo.All credit goes to the researcher of this project.Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter.Wait!are you on telegram?
now you can join us on telegram as well.The post What is Decision 3.0?vLLM Semantic Router’s New Open Decision Models appeared first on MarkTechPost.
Related
相關文章
認識 Voxel51 3.0：為實體 AI 打造的統一多模態資料平臺
Voxel51 已發布 Voxel51 3.0，這是其資料平臺的一次重大更新。Voxel51 3.0 是一個端對端的多模態資料平臺，將搜尋、篩選、標註和評估整合於單一系統中。該平臺鎖定針對機器人、車輛和工廠感測器資料進行模型訓練的團隊。此次發布新增了 Voxel51 Agent、資料溯源層及免費的自助式存取。重點摘要：規模：Voxel51 Agent 內建超過 45 個 MCP 工具、80 多個運算子及 18 個開源技能。執行環境：可於 app.voxel51.com 使用託管網頁應用程式，或於雲端、混合、地端及隔離環境中自行部署。未揭露本機 GPU 需求。效能：未發布產品基準測試。Voxel51 引用其自身調查數據作為依據。最佳亮點：免費方案包含 Voxel51 Agent、每月 30,000 次推論請求及 30 個運算小時。
本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目，幫助讀者快速瞭解當天的重要動態
導航SecureDoc // EncryptionActive本期AI資訊彙總2026年10月18日的產品更新、前沿研究、行業趨勢與開源項目，幫助讀者快速瞭解當天的重要動態。
下一概念建模把文本生成提速最高31倍
斯坦福等聯合提出全新文本生成範式 NCM，生成速度狂飆 31 倍AIbase基地發佈於AI新聞資訊 · 1 分鐘閱讀 · Oct 16, 202633人工智能領域的文本生成技術迎來顛覆性創新。斯坦福大學與 Together AI 的研究人員近日聯手推出了一種截然不同於傳統自迴歸和擴散模型的全新文本生成範式——Next-Concept Modeling（簡稱 NCM，即“下一概念建模”）。該方法巧妙借鑑了圖像生成領域中“下一尺度預測”的思路，有望為未來的文本生成技術開闢全新的發展路線。在技術實現路徑上，NCM 模擬了人類“先構思宏觀大綱、再動筆填充細節”的寫作邏輯。整個系統通過兩階段訓練來完成:首先訓練多尺度殘差 VQ-VAE，從而得到能夠逐層補充信息的多層離散文本編碼;隨後凍結該系統，訓練 Transformer 模塊去預測下一層的編碼。在生成文本時，模型會先並行生成概念層面的宏觀大綱，接著逐層並行填充具體細節，最終組合成完整的文本內容。在實際測試表現中，NCM 交出了令人矚目的成績單。實驗數據顯示，在保持相近甚至更優生成質量的前提下，NCM 相對傳統的擴散語言模型實現了10到31倍的生成速度飛躍，並且在訓練過程中所需消耗的 token 數量也大幅減少。此外，在數獨等複雜推理任務上，它的表現也明顯優於傳統的自迴歸和擴散基線模型，同時還支持通過多生成候選挑選機制來進一步優化最終輸出效果。儘管目前該研究所使用的模型參數規模依然相對有限，其在擴大模型規模後的表現、精確文本以及長篇內容的生成能力仍有待後續驗證，但這一創新思路無疑打破了長期以來的技術慣性，為人工智能高效生成文本提供了充滿想象力的全新解法。本文來自AIbase日報掃碼查看歡迎來到【AI日報】欄目!這裡是你每天探索人工智能世界的指南，每天我們為你呈現AI領域的熱點內容，聚焦開發者，助你洞悉技術趨勢、瞭解創新AI產品應用。
Claude自主優化八類量子電路設計
ScienceDesigning more efficient quantum circuits with ClaudeOct 16, 2026Quantum computers will need carefully designed circuits to run useful algorithms on limited hardware.
12.88萬起、華為電驅+L4同源智駕，Ray7能成為埃安年輕化的答卷嗎？
12.88萬起、華為電驅+L4同源智駕，Ray7能成為埃安年輕化的答卷嗎？ 本文作者： 倪萍 2026-10-17 22:42 導語：10月17日，埃安轎跑Ray7正式開啟預售，預售價12.88 萬起。新車車長4.9米，軸距2.9米，車頭部分搭配3.25米的超長雙環燈帶，是埃安10年煥新的家族 10月17日，埃安轎跑Ray7正式開啟預售，預售價12.88 萬起。新車車長4.9米，軸距2.9米，車頭部分搭配3.25米的超長雙環燈帶，是埃安10年煥新的家族式標識。 新車採用寧德時代電池以及廣汽自研的彈匣電池2.0技術，能夠在充分釋放續航能力的同時，監控電池健康狀態。提供45.58kWh和62.98kWh兩種規格，續航可達702公里，整車風阻係數 Cd 低至 0.22。Ray7搭載華為DriveONE多合一電驅，以及華為DriveONE芯片級驅制融合架構，百公里制動僅為32.8米。底盤方面，Ray7搭載高性能前後穩定杆和後五連桿懸架，過彎極限更高，濾振更乾淨。智能化上， Ray7搭載27顆車規級全視角傳感器，採用文遠知行L4級Robotaxi同源大模型。這幫助新車能夠複用 L4 積累的海量場景經驗，在城區掉頭、繞行等複雜場景中可順利通行。自2025年廣汽推進“番禺行動”以來，昊鉑埃安BU的研發、生產、銷售等環節效率不斷提升，產品迭代和新車投放節奏明顯加快。作為埃安全新Ray車系的首款新車，Ray7是埃安開啟年輕化序列的關鍵落子，也是廣汽切入20萬級市場的重要佈局。這一細分市場競爭並不輕鬆：小鵬P7、極氪007等車型已經提前卡位。Ray7想在年輕人心中佔位，不能只堆參數，更要把智能座艙與輔助駕駛、三電安全、補能效率、用車成本和價格權益上的差異，變成用戶可感、可信、可持續的體驗，這才是埃安年輕化的分水嶺。（雷峰網(公眾號：雷峰網)） 雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
梁聖又掀桌了！DeepSeek新模型斬殺GPT-6，許願式編程時代降臨
作者 | 楊京麗 編輯 | 李水青 10月17日報道，剛剛，DeepSeek V4.1 Flash更新至V4.1-Flash-1017版本，官方網頁端、App與API已同步更新至新模型，模型權重也已在HuggingFace和ModelScope開放下載。DeepSeek還向公眾開放自研搜索引擎的Search（搜索）與Fetch（抓取）API，兩個接口均定價為5元/千次。 此次更新距離該模型發佈僅過去一個多月。9月10日，DeepSeek正式推出V4.1-Flash，在性能上超越了DeepSeek-V4-Pro。