商湯開源 SenseNova Loop-9B-Preview：探索以計算深度釋放模型潛力

商湯開源日日新 SenseNova Loop-9B-Preview。這是商湯麵向下一代模型架構的一項前沿探索：它採用創新 Looped Transformer 架構，引入循環計算、擴展模型的有效計算深度，並探索更充分的信息交互機制，提升模型在複雜任務上的處理能力，在僅 9B 的有限參數規模下，媲美 27B 參數大小模型。從參數規模到計算深度隨著大模型能力持續演進，模型能力提升不再只有擴大參數規模一條路徑。如何在控制參數規模的同時，通過增加有效計算深度進一步釋放模型潛力，正成為值得探索的方向。

近期，循環計算正成為大模型架構研究的重點方向，國內外研究社區圍繞 Looped Transformer 展開了攻關探索。但目前的探索多停留在學術研究層面，社區尚缺乏可直接面向日常使用的 Looped Transformer 模型。此次開源的 SenseNova Loop-9B-Preview，為社區提供了一個 9B 級 Looped Transformer 的開源實踐，既填補了這一空白，體現了商湯對下一代大模型架構的持續探索與思考。不過，如何讓多輪計算真正轉化為模型能力的提升，尤其是在信息傳遞、特徵交互和訓練穩定性等方面，仍有進一步探索的空間。

現有相關工作仍以研究驗證為主，如何在更大模型規模下兼顧計算深度、模型能力與實際應用需求，也有待持續推進。循環結構與信息交互機制SenseNova Loop-9B-Preview 以 9B 尺度模型為基座，保留首尾各 4 層原始解碼器模塊，將中間層改造為參數共享的循環計算模塊，通過多輪迭代擴展有效計算深度。在此基礎上，模型進一步探索循環計算中的信息傳遞機制，嘗試引入 mHC（Manifold-Constrained Hyper-Connections），利用多路殘差連接與受約束的信息混合，增強特徵交互並維持信號傳播的穩定性。整體設計旨在控制參數規模的同時，探索提升模型推理能力的新路徑。

模型表現：在多類複雜任務中展現潛力SenseNova Loop-9B-Preview 在保持 9B 級參數規模的同時，展現出較強的跨任務性能。在當前評測設置下，模型在代碼生成、辦公場景和智能體任務等多個方向上均優於其他模型，並在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等評測中進一步超過 Qwen3.5-27B。這些結果初步展現了通過擴展有效計算深度，提升小參數模型複雜任務處理能力的潛力。商湯進一步通過消融實驗評估了 mHC 的實際收益。

採用該機制後，模型取得明顯的性能提升，其中 GPQA Diamond 和 TeamBench 分別提高了 4.42 分和 13.34 分，展現出在複雜推理任務以及多步驟 Agent 任務中的應用潛力。後續還將繼續探索 DSA、自適應迭代次數等機制，以提升模型的推理效率與任務表現。持續探索下一代模型架構SenseNova Loop-9B-Preview 只是起點。

面向下一代 SenseNova，商湯將進一步探索 Looped Transformer 在更大模型規模下的 Scaling 潛力、自適應“快慢思考”機制，深度挖掘參數共享的更多潛能，以更靈活的計算方式、更高的參數效率，持續突破模型能力與推理效率的邊界。模型權重開源：Github：https://github.com/OpenSenseNova/SenseNova-LoopHugging Face：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview