英偉達推出統一音頻智能模型 Nemotron-Labs-Audex-30B-A3B

隨著多模態大型語言模型的快速發展，視覺與文字能力的整合已經成為主流趨勢，然而音頻處理這項關鍵技術卻經常在進化過程中被忽略，甚至出現「顧此失彼」的現象。不少模型在強化音訊理解的同時，往往導致文本邏輯與推理能力大幅衰退，形成技術發展上的一大痛點。為了解決這個長期存在的困境，NVIDIA 研究團隊近期正式發表了一款名為 Nemotron-Labs-Audex-30B-A3B（簡稱 Audex）的統一音頻-文本大語言模型，試圖在兩者之間取得完美的平衡點。 Audex 的設計理念相當簡潔且高效，核心是建立在強大的純文本 MoE（混合專家模型）架構之上。它採用單一的 Transformer 解碼器，能夠將文本與經過量化的音頻 token 進行統一處理，這種架構的巧妙之處在於，音頻輸入可以平滑地投影到文本嵌入空間中，讓模型在處理多模態資訊時，能夠與現有的大型語言模型基礎設施達到無縫相容，實現真正的深層融合，而非只是表面的拼湊。 為了打造這個性能強大的模型，NVIDIA 研究團隊投入了大量資源整理訓練資料，總計涵蓋了高達 1574 億個音頻 token 以及 3205 億個文本 token。透過多階段的監督式學習、純文本 Cascade RL（強化學習）以及多領域在策略知識蒸餾等先進技術，Audex 在各項評測指標上都展現出極為出色的成績。無論是音頻理解、語音辨識、語音翻譯，甚至是音頻生成等任務，它都達到了業界領先的水準。 更難能可貴的是，Audex 在強化音頻專業能力的同時，幾乎完美保留了原始語言模型在推理、對齊、知識儲備以及長文本處理方面的核心能力。研究團隊發現，模型在加入音頻處理模組後，原有的文本邏輯能力幾乎沒有受到影響，性能衰退的幅度微乎其微，徹底打破了過去多模態訓練中難以避免的「此消彼長」困境。 這項研究成果對於整個語音技術產業來說，無疑是一劑強心針。不同於過去許多只停留在論文或實驗室演示階段的研究，Audex 選擇以開源模型的形式發布，這意味著它不再是遙不可及的技術展示，而是一個能夠讓開發者直接進行評估、測試，甚至落地部署的成熟工具。對於那些需要處理複雜音頻互動應用的產品開發者而言，Audex 提供了一個能夠兼顧性能與功能的全新選擇。 這款模型在技術架構上的創新，也為未來多模態智慧代理人的發展開闢了全新的可能性。過去要實現音頻與文本的深度融合，往往需要依賴複雜的拼接或轉換流程，但 Audex 透過統一的 token 化處理與共享的解碼器，讓整個流程變得更加流暢與高效。開發者可以在不犧牲文字處理品質的前提下，為應用加入強大的音頻理解與生成能力。 NVIDIA 此次的動作，不僅展示了自身在大型語言模型領域的深厚技術底蘊，也反應出當前 AI 產業對於多模態能力整合的高度重視。隨著 Audex 的開源釋出，預計將吸引更多研究團隊與開發者投入相關應用的開發，加速音頻技術在智慧助理、內容生成、無障礙輔助以及跨語言溝通等領域的落地與普及。 從市場角度來看，Audex 的出現也為競爭激烈的 AI 模型賽道帶來了新的變數。過去許多廠商為了追求視覺或文字能力的極致表現，往往忽略了音頻這個重要的互動介面，而 NVIDIA 這款模型的成功，證明了在強化音頻處理的同時，完全可以兼顧模型的整體智慧水準。這種平衡將成為未來多模態模型設計的重要參考標準。 對於一般使用者而言，這項技術進步的意義在於，未來我們與 AI 的互動將變得更加自然與直覺。無論是語音指令的辨識、跨語言的即時翻譯，還是複雜的音頻內容分析與生成，都將因為 Audex 這樣的統一架構而變得更加精準可靠。這不僅是技術上的突破，更代表了人機互動方式即將迎來一次深刻的演進。 在全球 AI 研究持續加速的背景下，NVIDIA 選擇將如此重要的模型開源，無疑展現了其推動產業生態發展的格局。這項舉措不僅有助於降低音頻 AI 技術的開發門檻，也將進一步激發社區的創新活力。未來，我們有望看到更多基於 Audex 的應用誕生，從智慧家居、車載系統到專業的音頻編輯工具，音頻智慧將逐步融入日常生活的各個角落。