邁向光速文字生成：Nemotron-Labs 擴散語言模型

### 邁向光速文字生成：Nemotron-Labs 擴散語言模型如何改寫生成式 AI 的遊戲規則

大型語言模型（LLM）已經成為程式碼生成、數學解題、摘要與文件理解等開發者工作流程的預設工具。然而，多數LLM至今仍採用「自迴歸」（autoregressive）方式生成文字：一次只產生一個 token，且每個新 token 都依賴於先前產生的 token。這種方法雖然穩定、簡單，卻也帶來了硬體層面的瓶頸——每次生成新 token 都需要重新載入所有模型權重，導致 GPU 大部分時間花費在記憶體讀寫而不是實際運算，尤其對延遲敏感的應用或批次量較小的場景，效能明顯受限。更嚴重的是，自迴歸模型無法回頭修正已產生的 token，一旦中間出現錯誤，便會一路蔓延下去。

為了解決這些痛點，NVIDIA 旗下的 Nemotron-Labs 團隊推出了全新的**擴散語言模型（Diffusion Language Model, DLM）**。不同於傳統自迴歸生成，擴散語言模型可以一次平行生成多個 token，再透過多次迭代步驟來精煉這些 token。這種「先產生、再修飾」的機制不僅更能善用現代 GPU 的平行運算能力，還能在生成過程中主動修正過去 token 的錯誤，特別適合填空改寫或文字編輯任務。更重要的是，開發者可以透過調整精煉步驟的次數來控制推理運算量，實現「彈性預算」的推論——在需要更高效能時減少步驟，換取速度。

Nemotron-Labs Diffusion 模型系列提供 3B、8B 與 14B 三種參數規模的文字模型，以及一款 8B 規模的視覺語言模型（VLM），皆採用對商業友善的 NVIDIA Nemotron Open Model License 或 NVIDIA 原始碼授權。NVIDIA 同時釋出了基礎模型和經過指令微調的對話版本，並透過 Megatron Bridge 框架開放訓練程式碼。這一系列模型最引人注目的設計在於：**同一個模型支援三種生成模式**——傳統自迴歸模式（保持現有開發者熟悉的工作流程）、擴散模式（區塊式平行生成）、以及「自推測」模式（先以擴散產生多個候選 token，再以自迴歸驗證）。自推測模式融合了擴散的高吞吐量與自迴歸的可靠性，開發者只需在部署時切換設定，應用層幾乎不需修改程式碼。

在效能方面，Nemotron-Labs Diffusion 8B 模型在標準評測任務上的平均準確率比 Qwen3 8B 高出約 1.2%，而在「每前向傳遞產生的 token 數」（TPF，硬體無關的效率指標）上，擴散模式達到自迴歸模型的三倍左右，自推測模式更可達到六倍以上的效率提升，同時維持相近或更佳的準確度。這些成果背後，NVIDIA 的訓練方法也值得關注：他們並非從零開始訓練擴散模型，而是將預先訓練好的強力自迴歸模型轉換為擴散語言模型，大幅降低訓練難度，也保留了既有模型的知識。

這項技術的出現，對開發者社群與產業可能帶來深遠影響。首先，對於需要低延遲回應的應用（如即時聊天機器人、程式碼補全、互動式寫作助手），擴散語言模型能讓單一查詢的生成速度大幅提升，同時減少 GPU 記憶體頻寬的浪費。其次，內建的錯誤修正能力讓文字生成更可靠，尤其適合編輯、校對或填空任務。最後，多模式切換的彈性意味著企業可以在同一個模型上，根據不同場景的延遲與準確率需求，選擇最適合的推論策略，而不需維護多個模型。

讀者可持續關注以下後續發展：Nemotron-Labs Diffusion 模型在實際部署中的記憶體佔用與耗電表現；NVIDIA 是否會將相似技術整合進旗下 Triton Inference Server 或 TensorRT-LLM 等工具；以及開放社群能否基於開放的訓練碼，進一步探索擴散語言模型在長文本生成、多輪對話等場景的極限。此外，這一系列模型採用商業友善授權，意味著新創公司與企業