NVIDIA Releases Audex (Nemotron-Labs-Audex-30B-A3B): A Unified Audio-Text LLM That Preserves the Text Intelligence of Its Backbone

NVIDIA 今日正式發表 Audex（Nemotron-Labs-Audex-30B-A3B），這是一款統一音頻與文本的大型語言模型，不僅能理解和生成語音及一般音頻，更重要的是在加入音頻處理能力後，依然能完整保留其骨幹模型的文本智能。NVIDIA 同時也釋出了較小規模的 Audex-2B 版本，兩者均採用非商業用途授權。這項發表解決了多模態模型長期以來的痛點：當實驗室為模型加入音頻或視覺輸出時，往往會導致文本基準分數顯著下降，這種現象被稱為「文本稅」。NVIDIA 研究團隊指出，即使是僅輸出語音的模型，也無法避免這種退化，而 Audex 的設計正是為了消除這項回歸。 Audex 的架構採用單一混合專家（Mixture-of-Experts, MoE）Transformer 解碼器，總參數量達 300 億（30B），但每次運算僅激活 30 億（3B）參數。其骨幹是名為 Nemotron-Cascade-2-30B-A3B 的純文本 MoE 大型語言模型，該模型採用混合 Mamba-Transformer 設計，共有 52 層、128 個可路由專家，每次推論會選用其中 6 個專家。這樣的設計刻意保持簡潔，以便能直接運行在標準的大型語言模型框架之上，包括用於訓練的 Megatron-LM 以及用於推理的 vLLM。 統一設計的核心在於三個主要組件。音頻輸入部分採用 Audio Flamingo 3 的 AF-Whisper 編碼器，它繼承 Whisper Large-v3 架構，處理 16kHz 音頻訊號，並透過兩層 MLP 適配器將音頻特徵對應到模型維度。文本與音頻輸出的處理方式則一致化：音頻輸入被編碼並投影到文本嵌入空間後，文本 token 與量化後的音頻 token 在生成過程中一視同仁。為了支援音頻輸出，模型詞彙表從原始的 131,072 個 token 擴展至 205,312 個。音頻輸出採用兩種編解碼器：語音使用 X-Codec2，每秒產生 50 個 token，並採用單層有限標量量化（FSQ），碼本大小為 65,536；非語音的一般音頻則使用 X-Codec，每秒產生 200 個 token，並採用四層展平殘差向量量化（RVQ），以提供更充足的 token 預算來表現複雜聲音。 在訓練方面，Audex 無需從頭進行音頻預訓練，而是直接從純文本的 SFT（監督式微調）檢查點出發，逐步加入音頻能力。多階段 SFT 課程依序為：文本 SFT、音頻暖身、音頻生成、音頻理解。在音頻暖身階段，文本 token 的嵌入層會被凍結，以免影響文本品質。NVIDIA 研究團隊也測試了一次性混合所有數據的單階段配方，結果發現這種做法會破壞長上下文檢索能力，因此最終採用多階段訓練。在 SFT 之後，團隊再使用純文本的 Cascade RL（強化學習）以及多領域在線蒸餾（MOPD）進一步優化。即使強化學習階段完全不涉及音頻任務，音頻能力並未出現退化，文本分數反而同步提升。訓練數據組合相當龐大，包含 1,574 億個音頻 token 與 3,205 億個文本 token，任務涵蓋自動語音辨識、語音翻譯、文本轉語音、文本轉音頻以及音頻理解等。 在文本基準測試中，Audex 的分數與其骨幹模型非常接近，例如在 MMLU-Redux 上拿到 86.4 分，對比骨幹的 86.3 分；IMO AnswerBench 更以 81.1 分優於骨幹的 79.3 分。不過在 MMLU-Pro 與 GPQA-Diamond 上則出現小幅下降。值得注意的是，Audex 在多項推理、對齊與指令遵循基準上，超越了同規模的純文本模型 Qwen3.5-35B-A3B，而另一款同樣整合音頻功能的 Qwen3-Omni-30B-A3B-Thinking 在推理分數上卻與其骨幹模型出現較大差距。 在語音辨識方面，Audex 在 OpenASR 排行榜上以平均 6.82% 的字錯誤率領先其他開源模型，優於 Step-Audio-R1.1-33B 與 Qwen3-Omni-30B-A3B-Thinking。在音頻理解方面，結果則好壞參半：Audex 在 MMAU 基準上領先其他開源模型，但在 MMAR 與 MMSU 上則落後於最強的音頻大型語言模型。然而，Audex 能夠生成一般音頻（非語音），這是其他領先開源模型無法做到的功能，例如根據「森林中鳥兒鳴叫」這樣的文字描述，產生一段 10 秒的音頻片段，並透過增強 VAE 輸出 48kHz 的高品質聲音。 實際應用場景相當多元。在多語言客服中心，Audex 可以轉寫德語通話並翻譯成英文，輸出會列出原始語言、逐字稿與英文譯文。在無障礙工具方面，開發者可為閱讀應用加入固定語音的文本轉語音功能，其 Seed-TTS-Eval 英文字錯誤率僅 1.70%。在聲音設計與原型開發上，文字描述即可生成對應音效。語音助理方面，語音轉語音的流程雖然採用級聯方式，但同一個模型即可處理所有環節。 Audex 遵循 ChatML 範本，參考容器為 vLLM 0.20.0。音頻理解、語音辨識與翻譯均共用同一種音頻問答格式，以 `<sound>` 標記音頻位置。NVIDIA 在模型卡中提供了完整的 vLLM 音頻問答腳本，方便開發者直接執行離線推理。研究團隊建議，音頻理解任務可使用 top_p=0.9、溫度 0.7；辨識與翻譯則採用貪婪解碼；生成任務需搭配無分類器引導。 整體而言，Audex 的主要優勢在於幾乎沒有文本能力退化，單一模型即可處理音頻與文本，並能與 Megatron-LM 和 vLLM 相容，且是少數能生成一般音頻的開源模型之一。但其限制包括採用 NVIDIA OneWay 非商業授權，商務使用受限；在 MMAR 與 MMSU 等音頻理解基準上仍不如頂尖專用模型；語音轉語音為級聯方式，非原生全雙工；強化學習階段目前僅限於文本，音頻文本混合的強化學習則留待未來工作。有興趣的讀者可進一步查閱論文與模型權重。