30秒錄音，0.13秒轉完！英偉達開源340億參數語音模型

編譯 | 黃菲 編輯 | 江宇 10月29日消息，今日，英偉達發佈並開源語音模型Nemotron 3.5 Transcribe，該模型整合了語音轉寫、多人發言識別等能力，在英文語音識別的9個公開測試集上，其平均詞錯誤率（WER）為4.71%，優於阿里巴巴的Qwen3-ASR-1.7B（4.94%）。該模型支持40種語言，最長可處理1小時錄音，用戶無需微調便可通過自然語言指令調整轉寫風格。▲英偉達發佈開源語音模型Nemotron 3.5 Transcribe，來源：NVIDIA 從模型參數來看，Nemotron 3.

5 Transcribe的總參數量約為340億，每次推理時激活的參數量約為43億。在英文語音識別測試中，該模型在9個公開測試集上的平均詞錯誤率（WER）為4.71%，低於表中其他語音模型。在多語言語音識別測試中，該模型的平均WER為4.62%，排名第三，優於Qwen3-ASR-1.7B、Voxtral-Small-24B和Whisper-large-v3，但表現不及ElevenLabs Scribe v2和Azure Speech。傳統語音識別系統主要負責將語音轉換為文字，而Nemotron 3.

5 Transcribe還能根據任務需求調整轉寫文本的形式，結合上下文提高專有名詞的識別準確率，並標註不同說話人的發言。一、單模型支持六種轉寫，覆蓋40種語言 Nemotron 3.5 Transcribe支持六種可通過指令切換的轉寫形態，分別是逐字轉寫、書面化轉寫、上下文輔助轉寫、標註說話人的轉寫、包含非言語信息的豐富轉寫，以及語音翻譯。其中，逐字轉寫側重保留原始語音內容，書面化轉寫則會根據書面表達習慣調整文本。上下文輔助轉寫可以利用用戶提供的專有名詞等信息改善識別結果；標註說話人的轉寫會區分不同發言者；豐富轉寫還可記錄笑聲等非言語信息；語音翻譯則將語音內容轉換為目標語言。

▲Nemotron 3.5 Transcribe單模型支持六種指令可調的轉寫輸出形態，來源：NVIDIA 在整體架構上，該模型通過並行編碼器分別處理語音內容與說話人信息，再將兩路信息融合，生成轉寫結果。語音識別編碼器負責提取語言信息，說話人分離模塊則判斷不同時間段由誰發言，並將相關信息傳遞給後續模型。▲Nemotron 3.5 Transcribe整體架構，來源：NVIDIA 該模型仍以錄音轉寫為主要用途，並非面向實時語音交互的流式識別系統。這種設計將語音識別與說話人分離整合到同一套模型流程中，可用於處理會議記錄、訪談和多人討論等場景。

二、並行編碼融合語音信息，上下文識別能力強 Nemotron 3.5 Transcribe採用Nemotron 3.5 Lightning 30B-A3B作為語言模型骨幹網絡。根據英偉達公佈的技術報告，該骨幹網絡共包含52層，其中23層採用Mamba-2架構，23層採用混合專家（MoE）架構，另有6層採用Attention注意力機制。Mamba-2側重處理長序列信息，MoE架構則通過選擇部分專家參與計算，在保留模型總參數規模的同時控制單次推理所需的計算量。Attention層負責相應的注意力計算，三類模塊共同構成模型的語言處理部分。▲Nemotron 3.

5 Lightning 30B-A3B骨幹網絡層分佈Mamba與MoE為主，僅6層Attention，來源：NVIDIA 針對錄音中的時間信息，該模型還加入了專門的時間戳適配器，在生成文本後對齊詞語與音頻中的時間位置，從而輸出詞級時間戳。結合說話人信息後，該模型可以生成帶有時間位置和發言者歸屬的轉寫結果。在訓練方面，英偉達採用分階段流程，先進行模型初始化，再開展監督微調（SFT），並通過強化學習進一步優化模型表現。監督微調幫助模型學習不同任務的輸入與輸出方式，後續優化則著重改善語音識別表現。從訓練結果來看，強化學習階段進一步改善了模型表現。該技術報告顯示，英文開放語音識別測試中的WER從4.

34%降至4.00%，多語言語音識別WER從5.05%降至4.78%；代碼實體準確率從86.37%升至88.60%，幻覺插入片段佔比則從46.04%降至41.21%。這些變化表明，訓練優化不僅關注整體轉寫準確率，也試圖減少專有名詞識別錯誤和轉寫中不應出現的額外內容。▲Nemotron 3.5 Transcribe四階段訓練流程，初始化到SFT再到強化學習，來源：NVIDIA 訓練數據方面，Granary-v2與英偉達內部語音數據是監督微調階段的主要數據來源。該技術報告顯示，Granary-v2的偽標註數據、人工改進數據和語音翻譯數據，分別佔數據源採樣概率的31.2%、25.7%和13.

7%，英偉達內部語音數據佔25.1%。四類數據的採樣概率合計為95.7%。▲SFT結束時各數據源採樣概率Granary-v2與內部數據佔95%以上，來源：NVIDIA 除了數據來源，該模型還會按照不同任務設置樣本抽取概率。在Granary-v2與內部語音樣本中，上下文輔助語音識別相關變體的任務抽取概率合計約佔四成。這類任務要求模型結合給定的上下文信息識別語音中的專有名詞等內容。▲Granary-v2與內部語音樣本的任務抽取概率，上下文ASR變體合計佔四成，來源：NVIDIA 三、英文識別表現最佳，30秒音頻約0.13秒完成轉寫 在語音識別評測中，Nemotron 3.

5 Transcribe在英文Open ASR Leaderboard的9個公開測試集上取得4.71%的平均WER，表現最佳，平均WER低於模型Qwen3-ASR-1.7B、Granite-Speech-5.0-2B等測評模型。WER用於衡量轉寫文本與標準答案之間的差異，數值越低，代表識別結果越準確。▲英偉達發佈該模型在英文語音識別排行榜的9個公開測試集成績，來源：NVIDIA 該測評集的評測範圍也不侷限於單人語音識別。英偉達使用了10類任務評估模型能力，分別是語音識別、多語言語音識別、語碼轉換識別、上下文偏置識別、多人語音轉寫、語音翻譯、語言識別、音頻理解、語音指令跟隨和文本推理。

其中，語碼轉換識別用於處理同一段語音中混用多種語言的情況；上下文偏置識別側重結合給定的實體列表，改善人名、產品名等專有名詞的識別；多人語音轉寫需要同時識別發言內容並區分說話人。其餘任務還包括判斷音頻使用的語言、將語音轉換為目標語言，以及理解音頻內容、執行語音指令和完成相關文本推理。▲評測基準按任務類別全景分佈，覆蓋ASR到音頻理解共十大類，來源：NVIDIA 在多人發言識別方面，英偉達報告對6種語言測試條件下的表現進行了比較，在意大利語、西班牙語、葡萄牙語、荷蘭語和印地語等測試中，Nemotron 3.5 Transcribe位於第三，低於Qwen3-ASR-1.7B的6.

49%、Voxtral-Small-24B的6.52%和Whisper-large-v3的7.94%，高於ElevenLabs Scribe v2的3.56%與Azure Speech的3.72%。▲英偉達發佈該模型多語言語音識別排行榜公開測試集成績，來源：NVIDIA 在多人發言轉寫測試中，Nemotron 3.5 Transcribe平均詞錯誤率為15.80%，優於專用級聯繫統DiCoW v3.3與DiariZen組合的16.83%。

▲英偉達發佈在多人發言轉寫測試成績，來源：NVIDIA 推理效率方面，英偉達在單張RTX PRO 6000 Blackwell服務器版GPU上測試了不同數值精度和解碼方案。該報告顯示，採用NVFP4量化版本結合DFlash2解碼時，模型處理音頻的速度最高可達每秒2238秒音頻；在單請求測試中，處理一段30秒音頻約需0.13秒。在模型適配方面，英偉達還提供了微調工具NeMo Speech。測試結果顯示，在17項適配任務中，使用單張GB300 GPU完成每項任務的訓練通常需要約0.5至2.3小時。

▲RTX PRO 6000 Blackwell上單GPU吞吐與延遲散點圖，來源：NVIDIA 該模型還提供BF16、FP8和NVFP4等不同精度版本，以適配不同顯存和推理需求。結語：語音模型的競爭正在轉向多任務整合 Nemotron 3.5 Transcribe將語音轉寫、多人發言區分和多語言處理等能力整合到同一開源模型中，降低了企業組合多種語音工具的複雜度。與此同時，用戶對語音模型的需求正從單純的語音轉寫，延伸至更復雜的任務。語音模型能否準確識別語音、區分多人發言，併兼顧推理效率與部署靈活性，正成為用戶是否採用該模型的重要因素。

值得關注的是，整合後的模型在真實業務和多語言場景中表現如何，以及開源能否真正降低工具鏈和部署成本。目前，這些仍有待開發者的使用反饋。來源：英偉達