NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
重點摘要
Large hybrid MoE models like Nemotron-3-Super are accurate but expensive to serve. Their active parameters, KV cache, and Mamba state cap how many users a node can hold at a given per-user token rate.
大型混合專家模型（Mixture-of-Experts，MoE）在自然語言處理領域展現出極高的準確度，例如 NVIDIA 旗下的 Nemotron-3-Super 便是這類模型的代表。然而，這類模型的服務成本也相對可觀。由於其活躍參數數量龐大，加上推理過程中所使用的 KV 快取（Key-Value cache）以及 Mamba 狀態（Mamba state）會佔用大量記憶體，導致單一伺服器節點所能承載的並發用戶數量受到嚴格的限制，尤其是在每位用戶必須維持固定 token 生成速率的情境下，節點容量更難提升。如此一來，即便模型效能再優異，實際部署時的吞吐量瓶頸與高昂的硬體成本仍構成嚴峻挑戰。
為了解決這個問題，NVIDIA AI 團隊正式發表了 Nemotron-Labs-3-Puzzle-75B-A9B，這是一款從 Nemotron-3-Super 壓縮而來的混合 MoE 語言模型。顧名思義，這款新模型是透過架構搜尋與壓縮技術，在維持相近的用戶體驗的前提下，大幅降低運算資源需求。相較於原始模型高達 120.8B（約 1,208 億）的活躍參數，Nemotron-Labs-3-Puzzle-75B-A9B 的活躍參數僅有 75.3B（約 753 億），壓縮幅度超過三分之一。
這項縮減並非簡單地刪減層數或寬度，而是透過精密的結構重構，讓模型在推理階段只需載入更少的參數就能產出相同品質的結果。值得注意的是，NVIDIA 團隊在本次壓縮專案啟動之前，就先確立了明確的部署目標。第一個目標是將伺服器的吞吐量提升至原始模型的兩倍，同時每位用戶仍能獲得每秒 100 個 token 的生成速率。這個目標直接對應到實際應用場景中的關鍵指標：在不犧牲用戶體驗的前提下，讓同一台伺服器能夠服務更多用戶，或是在相同的用戶數量下，大幅降低硬體成本。根據 NVIDIA 官方公布的測試結果，Nemotron-Labs-3-Puzzle-75B-A9B 最終達到了 2.
03 倍的伺服器吞吐量，不僅超越最初設定的兩倍目標，也證明架構壓縮策略的有效性。這種吞吐量提升的背後，關鍵在於活躍參數的減少直接影響了記憶體頻寬與計算延遲。在 MoE 架構中，每個輸入 token 只會啟動一部分專家網路（experts），而 Nemotron-3-Super 的專家數量與參數規模使得每一層的計算負荷十分沉重。壓縮後的 Puzzle 版本透過重新分配專家路由、優化注意力機制與 Mamba 模組的配置，讓 GPU 的算力與記憶體使用更有效率。
當同一節點需要同時處理數十甚至數百個用戶的請求時，減少每個請求所佔用的 KV 快取空間與 Mamba 狀態大小，就能為更多並發請求騰出空間，進而提高整體吞吐量。對於企業用戶與雲端服務供應商而言，這項進展具有直接的經濟意義。大型語言模型的部署成本多年來一直是阻礙廣泛應用的主要障礙之一。透過像 Nemotron-Labs-3-Puzzle-75B-A9B 這樣的壓縮版本，開發團隊可以在不更換硬體、不重新設計基礎架構的情況下，立即獲得兩倍以上的服務容量，或者將既有的硬體投資效益極大化。
以目前市場上常見的 NVIDIA GPU 伺服器配置為例，原始模型可能僅能同時服務幾十個用戶，而壓縮模型則能將這個數字提升到上百人，大幅降低每個 token 的生成成本。此外，這款模型的命名「Puzzle」暗示了其誕生過程中的結構最佳化手法——如同拼圖一般，將大型模型的各個組件重新排列組合，找到在給定推理硬體限制下效能最大化與成本最小化的配置。NVIDIA 團隊在發表文件中強調，本次架構搜尋是在部署目標固定的前提下進行的，這意味著壓縮結果是針對特定應用場景（每秒每位用戶 100 個 token，並追求 2 倍吞吐量）量身打造。
未來若遇到不同的延遲或頻寬要求，理論上也能透過類似流程產出對應的壓縮變體。目前這款模型已經對外釋出，開發者與研究人員可以從 NVIDIA 的官方平台取得權重與相關文件。雖然 Nemotron-Labs-3-Puzzle-75B-A9B 的活躍參數仍然高達 75.3B，屬於百億參數級別的大型模型，但相較於原始版本的 120.8B，其記憶體占用與計算需求已顯著下降。對於擁有中等規模 GPU 叢集的團隊來說，這樣的模型更易於部署，也更容易在邊際或私有環境中運行，無需仰賴昂貴的超大規模集群。
從更宏觀的角度來看，NVIDIA 此次的壓縮實驗也反映出大型語言模型發展的重要趨勢：業界不再只追求單一模型的極致準確度，而是更加重視模型在實際生產環境中的效率。混合 MoE 架構雖然在學術基準上屢創佳績，但若無法有效降低推理成本，其商業價值將大打折扣。Nemotron-Labs-3-Puzzle-75B-A9B 的誕生，正是 NVIDIA 在「準確度」與「可服務性」之間取得平衡的具體實踐，也為後續更多高效語言模型的開發提供了典範。隨著生成式 AI 應用從實驗室走向各行各業，具備高吞吐量、低成本推理能力的模型將成為主流。
Nemotron-Labs-3-Puzzle-75B-A9B 的推出，不僅驗證了架構壓縮與目標導向搜尋的實用性，也讓更多企業有機會運用最先進的語言模型技術，而不必為硬體預算所困。未來我們可以預期，類似的手法將被廣泛應用於其他大型模型的優化，進一步降低 AI 服務的門檻。
Related
相關文章
OpenAI首款AI硬件，為什麼是個沒有屏幕的「甜甜圈」
OpenAI與Jony Ive團隊合作的首款AI硬體，外型類似無螢幕的冰球大小圓環，被形容為金屬甜甜圈。這款設備定位為以AI為第一交互入口的計算設備，而非傳統智能音箱，售價可能落在300至400美元之間。
OpenAI 首款硬件真容浮現：冰球大小無屏設計，售價 300 至 400 美元
OpenAI首款硬件產品細節曝光，為一款無螢幕的智能音箱，外型類似冰球，售價約300至400美元，由OpenAI與前蘋果設計師Jony Ive的LoveFrom公司合作開發。該設備內建電池與攝影鏡頭，可支援手持使用並將視覺資訊傳給ChatGPT，實現多模態感知。此產品推出時正值蘋果對OpenAI提起商業機密訴訟，OpenAI內部評估其設計細節有望反駁侵權指控。
消息稱英偉達急尋中國 AI 基站供應商，與“下一個中際旭創”合作開發 6G 基站
NVIDIA正積極在中國尋找AI基站供應商，並有意與被視為「下一個中際旭創」的業者合作開發6G基站，顯示其從資料中心延伸至通訊基礎設施的布局。此舉凸顯NVIDIA對6G市場的重視，AI基站被視為整合邊緣運算與智慧調度的關鍵節點，但合作細節與技術方案尚未正式公布。
金剛GC3芯片重新定義視頻AI算力規則，國產RISC-V高端算力商業化提速
近日，第三屆中國計算機學會芯片大會（CCF Chip 2026）在太湖之濱無錫成功舉辦。會場中，兩院院士與頂尖工程師們的討論話題直指底層架構的“根技術”創新。一個核心追問被反覆推至臺前：當摩爾定律逼近物理極限，製程紅利日益稀薄，堆核心、拼頻率的老路越走越窄，是否該徹底換一條路走？換言之，與其在通用架構上不斷打補丁，能否從數據流動的本質出發，為特定場景原生設計一顆芯片？
把512 GiB閃存搬到xPU旁邊，HBF能打破推理內存牆？
HBM已經證明，通過堆疊和共封裝把存儲介質遷移至GPU附近，可以緩解AI計算中的數據搬運瓶頸。現在，SK海力士聯合閃迪，將類似的思路正式應用到NAND上，通過HBF將大容量閃存放到包括GPU在內的各類xPU旁，以緩解AI推理內存牆問題。近日，雙方通過OCP發佈《High Bandwidth Flash（HBF）High-Level Base Die Specification, Version 0.7.0》。
AI的錢，被誰賺走了？
AI 浪潮推動雲端服務供應商大舉擴建資料中心，背後龐大的資本支出正沿著供應鏈層層傳導，最終流向光模塊、晶片與伺服器業者。這條資金鏈路的起點是亞馬遜 AWS、微軟 Azure、Google Cloud 等雲端廠商，他們為了滿足訓練與推論大語言模型所需的算力，持續加碼採購 GPU 伺服器與高速網路設備，帶動上游零組件需求爆發。