英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題

重點摘要
首頁 > 智能時代>人工智能 英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題 2026/7/8 13:53:03 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,英偉達於今年 6 月發表論文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)統一音頻-文本大語言模型,總。
首頁 > 智能時代>人工智能 英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題 2026/7/8 13:53:03 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,英偉達於今年 6 月發表論文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)統一音頻-文本大語言模型,總參數量 30B,激活參數 3B,在保留核心文本智能情況下,能理解和生成音頻(audio)和語音(speech)。
該模型骨幹為文本模型 Nemotron-Cascade-2-30B-A3B,後者為 52 層混合 Mamba-Transformer 結構,包含 128 個可路由專家、每次激活 6 個專家。該模型的設計目標是避免多模態擴展後文本能力下滑問題。論文顯示,Audex 將音頻輸入編碼後映射到文本嵌入空間,並把量化後的音頻輸出標記與文本標記統一處理。在音頻組件上,Audex 使用 AF-Whisper(音頻編碼器)處理 16kHz 輸入,配合兩層 MLP 適配器映射特徵,輸出詞表從原始 131072 個 Token 擴展至 205312 個 Tokens。
語音輸出採用 X-Codec2(語音編解碼器),速率為每秒 50 個標記,使用單層 finite scalar quantization(有限標量量化),碼本大小為 65536。非語音音頻採用 X-Codec(音頻編解碼器),速率為每秒 200 個標記,使用 4 層展平殘差向量量化。文本評測方面,Audex 在 MMLU-Redux 上得分 86.3;在 IMO AnswerBench 上為 81.
Related
相關文章

曝字節訓10億參數大模型,或超Mythos 5,張一鳴、梁汝波先後發聲
字節跳動正在訓練一個參數量高達10萬億的AI模型,規模可能超越Anthropic的Mythos 5。創辦人張一鳴在內部會議中強調編程的關鍵地位,並反對模型蒸餾,認為這只能複製而非超越對手。字節跳動在AI領域持續加大投入,同時在產品端與訓練端採取雙線進攻策略。

AI 需求擠爆雲計算,消息稱 AWS 要求工程師關閉閒置服務器減少資源浪費
因AI需求導致算力緊缺,亞馬遜AWS要求工程師關閉閒置的EC2實例,以減少資源浪費。數據顯示約65%的EC2實例在30天內平均CPU利用率低於20%,AWS因此升級計算優化器自動標記低使用率虛擬機。此外,AWS過去一年新增3.8吉瓦電力容量,仍難以應對GPU雲端實例的龐大需求。

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌
六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

DeepSeek重啟融資,三年市值對齊騰訊?
DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

可靈AI核心技術骨幹王鑫濤被曝離職
快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

AI短劇、漫劇、戀綜、電影、藝人都有了,AI觀眾也不遠了
2026年AI影視內容全面爆發,從短劇、長劇到電影、綜藝,AI製作的作品大量湧現,衛視也開始播出AI短劇。AI演員如方桃子迅速走紅,商業變現能力驚人,廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元,用戶超過6億,但同時也引發了對真人演員就業和內容品質的擔憂。