英偉達首款開源全雙工語音模型VoiceChat 11B正式發佈

2026年8月10日 08:016100 次瀏覽
站內 AI 整理稿

AI資訊AI新閒資訊正文英偉達首款開源全雙工語音模型VoiceChat 11B正式發佈發布於AI新閒資訊時間 :Aug 10, 2026閱讀 :1分鐘在實時人工智能語音交互賽道上,硬件與技術巨頭英偉達(NVIDIA)迎來全新突破。公司近日正式推出了旗下首款開源端到端全雙工語音對話模型NemotronLabs VoiceChat11B,標誌著其在語音生成與理解的底層架構上邁出了重要一步。與以往需要串聯語音識別(ASR)、大語言模型(LLM)以及語音合成(TTS)的傳統分步架構不同,該模型通過一個統一的網絡直接完成流式語音理解與生成。

這一技術路徑不僅徹底消除了多模型編排帶來的繁瑣交接,還大幅壓縮了響應延遲。實測數據顯示,其平滑輪換延遲低至448毫秒,且具備邊聽邊說的全雙工交互能力。當用戶在中途插話時,智能體能夠迅速讓出話語權,展現出極高的流暢度。值得一提的是,作為首個在對話持續進行時支持工具調用的開源全雙工模型,VoiceChat11B 創新性地引入了獨立的輸出通道與預置的“保持”話術機制。在處理複雜的外部 API 請求時,系統可以通過側通道自動觸發操作員定義的過渡臺詞,有效避免了等待期間可能出現的長時間靜默,讓語音智能體的工程化落地變得更加順暢。不過,從實際部署角度來看,該模型目前仍處於試點階段。

由於其需要單張至少配備80GB 顯存的高性能 GPU 才能高效運行,且官方將其標註為“僅限研究用途”,目前尚未提供成熟的託管 API。業內人士指出,儘管在長上下文及多輪對話的極端場景下仍存在一些侷限性,但其開放的權重與容器設計,依然為聯絡中心、汽車座艙、零售點餐以及智能無障礙輔助等領域的開發者提供了全新的探索方向。相關推薦英偉達牽頭OSAA成立SAFE工作組,推動AI安全事件共享與開源協作英偉達牽頭的開放安全人工智能聯盟成立僅一週成員已超120家,其SAFE工作組啟動AI安全事件處理提案徵集,由Linux基金會管理。

聯盟在黑帽大會完善方案,聚焦保密報告、通知機制與無責覆盤,推動AI安全行業共享。Aug 5, 2026206.0k英偉達拿下蘇茨克維:投資SSI實驗室,算力版圖再添一枚重磅棋子據《華爾街日報》報道,英偉達已對前OpenAI首席科學家兼聯合創始人伊爾亞·蘇茨克維的保密實驗室SSI完成實質性投資,金額未公開。核心以大量旗艦GPU換取算力提升一個數量級,此前該實驗室主要依賴谷歌TPU。這標誌著英偉達罕見直接押注前沿AI安全研究。Jul 28, 2026177.

1k英偉達擬向Ilya Sutskever創辦的SSI投資50億美元,深化AI算力合作英偉達將向伊爾亞·蘇茨克維創立的安全超級智能實驗室SSI投資50億美元,雙方達成長期合作,強化AI算力與模型研發。這是英偉達首次在深入瞭解其進展後投資,財務細節未公佈。SSI未來將大規模採用英偉達算力。消息於週一公佈。Jul 28, 2026172.4kOpenAI暗推限制中國開源模型,黃仁勳馬斯克聯手反擊:開放必勝硅谷AI開源路線辯論白熱化。OpenAI與Anthropic以國家安全為由遊說推動限制中國開源模型,而黃仁勳、納德拉、馬斯克、扎克伯格、皮查伊等公開支持開源,陣營交鋒。

核心爭議是中國開源AI快速崛起,智譜、月之暗面等近期發佈新模型,挑戰美國領先地位。Jul 27, 2026215.5k英偉達擬為 OpenAI 背書 2500 億美元:助其撬動俄亥俄 10 吉瓦超級數據中心英偉達正與OpenAI洽談大單,擬提供約2500億美元融資擔保,支持其承租軟銀旗下能源子公司在俄亥俄州開發的10吉瓦數據中心。計入芯片後,項目總投資或突破5000億美元,成為全球最大數據中心。Jul 27, 2026173.3k智啟未來,您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026

Related

相關文章

量子位生成式AI

阿里視頻大模型Wan3.0正式上線,行業評價“穩定、真實、有質感”

阿里巴巴影片生成大模型Wan3.0正式上線,單次可生成30秒影片,並首次支援doc、xls、ppt、pdf、md等文檔輸入。企業用戶普遍評價其「穩定、真實、有質感」,能穩定保持角色與場景一致性,並已進入短劇、影視、廣告等生產流程。即日起可於阿里雲百鍊、千問等平台體驗,標準版並推出限時7折優惠。

剛剛
IT之家生成式AI

阿里雲視頻生成模型 Wan3.0 正式上線,支持單次生成 30 秒視頻、文檔輸入

作者:遠洋 責編:遠洋 評論: 8 月 24 日消息,阿里雲消息,今天,視頻生成模型 Wan3.0 正式上線。官方稱,Wan3.0 在生成時長、萬能創作、全能參考以及真實世界還原等維度全面升級,單次可生成 30 秒視頻,並首次支持 doc、xls、ppt、pdf、md 等文檔格式輸入,力求準確還原真實世界。

剛剛
全天候科技生成式AI

企業AI最後一公里:三路人馬在此交鋒

鄭敏芳 發表於 2026年08月24日 03:09 摘要:尋找自己的位置 2026年世界機器人大會現場,談到這一輪突然走紅的FDE(前線部署工程師),明略科技CEO吳明輝先把時間往回撥了十多年。“12年前我們就在非常認真地研究。”當華爾街見聞·問及FDE與傳統軟件部署有什麼區別時,吳明輝說,兩者都會進入客戶現場,但今天的FDE需要做得更深:一邊把Agent接進真實業務,一邊把現場形成的能力繼續沉澱回後臺。

剛剛