NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

大型混合專家模型（Mixture-of-Experts，MoE）在自然語言處理領域展現出極高的準確度，例如 NVIDIA 旗下的 Nemotron-3-Super 便是這類模型的代表。然而，這類模型的服務成本也相對可觀。由於其活躍參數數量龐大，加上推理過程中所使用的 KV 快取（Key-Value cache）以及 Mamba 狀態（Mamba state）會佔用大量記憶體，導致單一伺服器節點所能承載的並發用戶數量受到嚴格的限制，尤其是在每位用戶必須維持固定 token 生成速率的情境下，節點容量更難提升。如此一來，即便模型效能再優異，實際部署時的吞吐量瓶頸與高昂的硬體成本仍構成嚴峻挑戰。 為了解決這個問題，NVIDIA AI 團隊正式發表了 Nemotron-Labs-3-Puzzle-75B-A9B，這是一款從 Nemotron-3-Super 壓縮而來的混合 MoE 語言模型。顧名思義，這款新模型是透過架構搜尋與壓縮技術，在維持相近的用戶體驗的前提下，大幅降低運算資源需求。相較於原始模型高達 120.8B（約 1,208 億）的活躍參數，Nemotron-Labs-3-Puzzle-75B-A9B 的活躍參數僅有 75.3B（約 753 億），壓縮幅度超過三分之一。這項縮減並非簡單地刪減層數或寬度，而是透過精密的結構重構，讓模型在推理階段只需載入更少的參數就能產出相同品質的結果。 值得注意的是，NVIDIA 團隊在本次壓縮專案啟動之前，就先確立了明確的部署目標。第一個目標是將伺服器的吞吐量提升至原始模型的兩倍，同時每位用戶仍能獲得每秒 100 個 token 的生成速率。這個目標直接對應到實際應用場景中的關鍵指標：在不犧牲用戶體驗的前提下，讓同一台伺服器能夠服務更多用戶，或是在相同的用戶數量下，大幅降低硬體成本。根據 NVIDIA 官方公布的測試結果，Nemotron-Labs-3-Puzzle-75B-A9B 最終達到了 2.03 倍的伺服器吞吐量，不僅超越最初設定的兩倍目標，也證明架構壓縮策略的有效性。 這種吞吐量提升的背後，關鍵在於活躍參數的減少直接影響了記憶體頻寬與計算延遲。在 MoE 架構中，每個輸入 token 只會啟動一部分專家網路（experts），而 Nemotron-3-Super 的專家數量與參數規模使得每一層的計算負荷十分沉重。壓縮後的 Puzzle 版本透過重新分配專家路由、優化注意力機制與 Mamba 模組的配置，讓 GPU 的算力與記憶體使用更有效率。當同一節點需要同時處理數十甚至數百個用戶的請求時，減少每個請求所佔用的 KV 快取空間與 Mamba 狀態大小，就能為更多並發請求騰出空間，進而提高整體吞吐量。 對於企業用戶與雲端服務供應商而言，這項進展具有直接的經濟意義。大型語言模型的部署成本多年來一直是阻礙廣泛應用的主要障礙之一。透過像 Nemotron-Labs-3-Puzzle-75B-A9B 這樣的壓縮版本，開發團隊可以在不更換硬體、不重新設計基礎架構的情況下，立即獲得兩倍以上的服務容量，或者將既有的硬體投資效益極大化。以目前市場上常見的 NVIDIA GPU 伺服器配置為例，原始模型可能僅能同時服務幾十個用戶，而壓縮模型則能將這個數字提升到上百人，大幅降低每個 token 的生成成本。 此外，這款模型的命名「Puzzle」暗示了其誕生過程中的結構最佳化手法——如同拼圖一般，將大型模型的各個組件重新排列組合，找到在給定推理硬體限制下效能最大化與成本最小化的配置。NVIDIA 團隊在發表文件中強調，本次架構搜尋是在部署目標固定的前提下進行的，這意味著壓縮結果是針對特定應用場景（每秒每位用戶 100 個 token，並追求 2 倍吞吐量）量身打造。未來若遇到不同的延遲或頻寬要求，理論上也能透過類似流程產出對應的壓縮變體。 目前這款模型已經對外釋出，開發者與研究人員可以從 NVIDIA 的官方平台取得權重與相關文件。雖然 Nemotron-Labs-3-Puzzle-75B-A9B 的活躍參數仍然高達 75.3B，屬於百億參數級別的大型模型，但相較於原始版本的 120.8B，其記憶體占用與計算需求已顯著下降。對於擁有中等規模 GPU 叢集的團隊來說，這樣的模型更易於部署，也更容易在邊際或私有環境中運行，無需仰賴昂貴的超大規模集群。 從更宏觀的角度來看，NVIDIA 此次的壓縮實驗也反映出大型語言模型發展的重要趨勢：業界不再只追求單一模型的極致準確度，而是更加重視模型在實際生產環境中的效率。混合 MoE 架構雖然在學術基準上屢創佳績，但若無法有效降低推理成本，其商業價值將大打折扣。Nemotron-Labs-3-Puzzle-75B-A9B 的誕生，正是 NVIDIA 在「準確度」與「可服務性」之間取得平衡的具體實踐，也為後續更多高效語言模型的開發提供了典範。 隨著生成式 AI 應用從實驗室走向各行各業，具備高吞吐量、低成本推理能力的模型將成為主流。Nemotron-Labs-3-Puzzle-75B-A9B 的推出，不僅驗證了架構壓縮與目標導向搜尋的實用性，也讓更多企業有機會運用最先進的語言模型技術，而不必為硬體預算所困。未來我們可以預期，類似的手法將被廣泛應用於其他大型模型的優化，進一步降低 AI 服務的門檻。