Thinking Machines Lab Releases Inkling: A 975B-Parameter Open-Weights Multimodal MoE With 41B Active Parameters And Controllable Thinking Effort

Thinking Machines Lab 正式發布其首個從頭訓練的模型 Inkling，這是一款多模態混合專家（MoE）架構的開源權重模型，總參數達到 9750 億，其中活躍參數為 410 億，支援長達 100 萬 token 的上下文視窗。該模型提供 Apache 2.0 授權的權重檔案，並可透過 Tinker 平台進行微調。研究團隊將其定位為客製化的基礎模型，強調開放與可調性。同場預告的 Inkling-Small 則擁有 2760 億總參數與 120 億活躍參數，在許多基準測試中表現與較大版本相當或更優，權重將於測試完成後釋出。 Inkling 採用 66 層 decoder-only transformer 架構，搭配稀疏 MoE 前饋網路。每個 MoE 層包含 256 個路由專家與 2 個共享專家，每個 token 會激活 6 個路由專家以及全部 2 個共享專家。路由選擇使用基於 sigmoid 的機制，搭配無輔助損失的負載平衡偏壓。路由分數與共享分數會共同歸一化後加權輸出，整體 MoE 設計大致延續 DeepSeek-V3 的路線。注意力層方面則有別於常規，滑動視窗與全局層以 5:1 比例交錯，使用 8 個 KV 頭，並採用相對位置嵌入取代常見的 RoPE，研究團隊認為此設計在長序列外推上表現更佳。此外，在鍵值投影與殘差分支輸出後都應用了短卷積。 模型的多模態能力採用無編碼器設計。音訊輸入以 dMel 聲譜圖形式進入，影像則切割為 40×40 像素的圖塊，經由四層 hMLP 處理。一個輕量嵌入層將兩者投影後，與文字 token 一同由解碼器處理。訓練過程使用 Muon 優化器處理大型矩陣權重，其餘參數則使用 Adam，硬體為 NVIDIA GB300 NVL72 系統。後訓練階段首先在合成數據上進行監督式微調，其中包括由 Kimi K2.5 生成的數據。主要的計算資源投入在非同步強化學習，展開次數超過 3000 萬次，表現呈現對數線性改善。正是這輪強化學習訓練產生了模型的核心控制機制——可控思考努力（Controllable Thinking Effort）。 在強化學習期間，研究團隊透過改變系統提示與調整每個 token 的成本來設定努力程度，使模型學會在不同的展開任務中花費不同的 token 預算。發布時支援從 0.2 到 0.99 的努力值設定，在 transformer 中則以 reasoning_effort 參數搭配命名層級來暴露此控制。效率數據相當具體：Inkling 在 Terminal Bench 2.1 上達成與 Nemotron 3 Ultra 相同的表現時，僅消耗後者三分之一的 token 數量。成本和延遲因此可按每次呼叫動態調整，不再固定於模型本身。除了努力控制，研究團隊也將可信度作為直接目標納入訓練。 所有 Inkling 的評估皆在努力值 0.99、溫度 1.0 的條件下進行，程式碼任務限制 256K 軌跡長度。部分分數由 Artificial Analysis 外部報告。與開放權重的同級模型相比，Inkling 在 FORTRESS Adversarial 對抗性測試中以 78.0% 領先，但在 HLE、Terminal Bench 2.1 與 SWEBench Verified 上則落後 GLM 5.2 等對手。其他成績包括 AIME 2026 的 97.1%、GPQA Diamond 的 87.2%、SimpleQA Verified 的 43.9% 等。此外，Inkling 在 MMMU Pro 獲得 73.5%，在 VoiceBench 獲得 91.4%，並在 Design Arena 的 Agentic Web Dev 排行榜上以盲測方式取得 1257 分。 部署方面，Inkling 提供兩種檢查點。BF16 格式至少需要 2 TB 聚合 VRAM，例如 8 張 NVIDIA B300 或 16 張 H200。NVFP4 格式則將需求降至至少 600 GB，可在 4 張 B300 上以 W4A4 模式運行，或 8 張 H200 上以 W4A16 模式運行。支援的運行環境包括 SGLang、vLLM、TokenSpeed、Unsloth 以及 Hugging Face transformers。使用者可直接透過 transformers 載入模型，並使用 multi-token-prediction drafter 進行推論加速。也支援 OpenAI 相容的 API 服務，只需一行指令即可啟動 vLLM 伺服器。微調方面，Inkling 已在 Tinker 平台上提供 64K 與 256K 上下文選項，研究團隊同時釋出 tml-renderers 用於後訓練的函式呼叫與多模態輸入。託管 API 則可透過 TogetherAI、Fireworks、Modal、Databricks 與 Baseten 取得。 考量這些特性，Inkling 適合幾個應用場景：語音與視覺代理——設計目標之一就是支援該實驗室的互動模型系統，例如客服代理可接收 16kHz WAV 通話錄音與螢幕截圖，輸出結構化工單。成本分層的代理管線——低努力處理路由與分類，最高努力處理困難修復步驟，同一個部署可對應兩種預算。領域微調——研究團隊舉例金融判決工作，微調後可縮小通用模型與專家的差距，而圖表密集的分析場景也同樣適用，Inkling 在 CharXiv RQ 搭配 Python 上取得 82.0% 的成績。 綜合來看，Inkling 的優勢包括 Apache 2.0 權重、百萬級上下文、原生文字/圖像/音訊輸入、可控思考努力、在所有比較的開放權重模型中獲得最高的 FORTRESS 分數，以及上線首日即獲得 transformers、SGLang、vLLM、llama.cpp 與五家託管 API 的支援，並內建多 token 預測草稿模型。弱勢則在某些基準測試上落後主要競爭者、BF16 部署需要 2 TB 聚合 VRAM、NVFP4 W4A4 需要 SM100+ 硬體、SimpleQA Verified 分數 43.9% 明顯低於 DeepSeek V4 Pro 的 57.0%、Inkling-Small 權重尚未釋出、模型不支援音訊或影像輸出、Terminal Bench 2.1 使用內部測試工具而非競爭對手的自報分數，且專案頁面指出角色扮演與間接提示仍存在殘留安全風險。整體而言，Inkling 以開放權重、可控效率與多模態輸入為特色，為需要客製化與靈活部署的團隊提供了一個新的基礎選項。