IT之家生成式AI

英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題

2026年7月8日 13:53
英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題

重點摘要

首頁 > 智能時代>人工智能 英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題 2026/7/8 13:53:03 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,英偉達於今年 6 月發表論文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)統一音頻-文本大語言模型,總。

站內 AI 整理稿

首頁 > 智能時代>人工智能 英偉達發佈 Audex 統一模型:30B 總參數,避免多模態擴展後文本能力下滑問題 2026/7/8 13:53:03 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,英偉達於今年 6 月發表論文,推出 Audex(Nemotron-Labs-Audex-30B-A3B)統一音頻-文本大語言模型,總參數量 30B,激活參數 3B,在保留核心文本智能情況下,能理解和生成音頻(audio)和語音(speech)。 該模型骨幹為文本模型 Nemotron-Cascade-2-30B-A3B,後者為 52 層混合 Mamba-Transformer 結構,包含 128 個可路由專家、每次激活 6 個專家。 該模型的設計目標是避免多模態擴展後文本能力下滑問題。 論文顯示,Audex 將音頻輸入編碼後映射到文本嵌入空間,並把量化後的音頻輸出標記與文本標記統一處理。 在音頻組件上,Audex 使用 AF-Whisper(音頻編碼器)處理 16kHz 輸入,配合兩層 MLP 適配器映射特徵,輸出詞表從原始 131072 個 Token 擴展至 205312 個 Tokens。 語音輸出採用 X-Codec2(語音編解碼器),速率為每秒 50 個標記,使用單層 finite scalar quantization(有限標量量化),碼本大小為 65536。 非語音音頻採用 X-Codec(音頻編解碼器),速率為每秒 200 個標記,使用 4 層展平殘差向量量化。 文本評測方面,Audex 在 MMLU-Redux 上得分 86. 3;在 IMO AnswerBench 上為 81.

Related

相關文章

智東西生成式AI

GPT-5.6,本週四全量上線!

智東西(公眾號:zhidxcom) 作者 | 陳佳 編輯 | 雲鵬 智東西7月8日消息,剛剛,OpenAI宣佈GPT-5.6 Sol以及Terra、Luna將於本週四正式公開發布,現已在全球範圍擴大模型預覽試用權限。這意味著,OpenAI最新一代高階模型在經歷近兩週有限預覽後,終於獲得美國監管方放行。 ▲OpenAI宣佈GPT-5.6本週四正式公開發布(圖源:X) 6月27日,OpenAI推出其迄今最強大模型GPT-5.6的有限預覽版:旗艦版本Sol(太陽)、適用於日常工作的均衡型型號Terra(地球)、以及快速且價格實惠的型號Luna(月亮)。 當日,OpenAI聯合創始人兼CEO薩姆·奧爾特曼(Sam Altman)在社交媒體X發文稱,Sol價格與GPT-5.5相同,性能更強;Terra的性能可與GPT-5.5相媲美,價格只有其一半。但由於美國政府審查,該模型此前僅以有限預覽版的形式面向部分企業開放,其正在與政府合作爭取未來幾周內全面發佈。 ▲薩姆·奧爾特曼推文(圖源:X) 據Axios今日報道,一名知情人士週二向其證實,美國商務部已批准OpenAI全面推出其高階GPT-5.6模型。 OpenAI此番獲準大範圍上線GPT-5.6,源於其與政府官員完成多輪補充測試與磋商。 知情人士稱,全部測試工作由商務部下屬AI標準與創新中心(Center for AI Standards and Innovation)負責開展。OpenAI派駐技術專家常駐華盛頓,隨時答覆監管方提出的各類技術疑問。 GPT-5.6放行前,美國政府剛剛對Anthropic模型管制鬆口。 此前6月13日,美國政府要求Anthropic暫停Claude Mythos 5和Fable 5兩款最強模型的訪問權限。 6月27日報道,美國政府解除了對Claude Mythos 5模型的封鎖,允許Anthropic將該

剛剛

AI生圖免訓練提速1000%,辦法:最簡潔的“三階段流水線”

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作AI生圖免訓練提速1000%,辦法:最簡潔的“三階段流水線”量子位·2026年07月08日 15:06AI畫圖能力越來越強,但用戶體感還是一個字:慢。 AI畫圖能力越來越強,但用戶體感還是一個字:慢。 一張1024分辨率的圖像,從prompt到出圖,擴散模型往往得在高分辨率空間裡一遍遍採樣。質量是上來了,等待時間也跟著上來了。能力越強,推理賬單越厚。 過往擴散模型的主流加速方法中,量化、高效Attention等方法強依賴於硬件協同;步數蒸餾依賴高成本微調,且訓練時常不穩定;特徵緩存類方法需要動態識別並緩存中間特徵,且加速比難以超過5倍。 有沒有可能不依賴特定硬件、不蒸餾微調模型、不需要運行時做動態識別,也能把圖像生成速度直接抬上去? 來自北航、NTU、ETH的研究團隊最近做了一個非常簡潔的嘗試: 先低清打草稿,再放大,最後高清補一筆。 MrFlow(Multi-Resolution Flow Matching)就用這樣的三階段,在Qwen-Image等模型上把端到端生成時間從49.32s壓到4.77s,實際加速10.35x。 文章發佈當日即登上Hugging Face Daily Papers;發佈三天內,GitH

剛剛

姚順雨和Hy3,能否跨過付費關?

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作姚順雨和Hy3,能否跨過付費關?字母榜·2026年07月08日 15:06Hy3不錯,但只是一份階段性答卷 隨著Hy3正式版發佈,一個月前姚順雨和湯道生那句對話,又開始反覆出現在騰訊AI相關討論裡。 6月初,騰訊雲AI產業應用大會上,騰訊集團高級執行副總裁、雲與智慧產業事業群CEO湯道生,與騰訊首席AI科學家姚順雨同臺對談。 談到外界對騰訊AI節奏的質疑時,姚順雨對湯道生說:“感覺應該是我問你的問題。”這句話當時聽起來像一句玩笑,現在回看,更像騰訊AI內部責任分工的一次公開呈現。 模型能力能不能追上來,姚順雨要給出答案;模型能力能不能進入產業、產品和收入,湯道生以及騰訊更多業務團隊也要給出答案。 騰訊的AI產品起步並不晚,但通用大模型側的外部感知一直相對弱,從主力產品元寶中就可窺探一班。2025年2月,元寶接入DeepSeek-R1滿血版,用戶可以在混元和DeepSeek-R1之間切換。 此後,混元團隊也打出過一些聲量,但更多集中在圖像、視頻和3D生成方向。混元圖像、混元視頻和混元3D系列都有榜單、開源和社區下載量討論,但這些聲量沒有自然轉化成騰訊通用大模型能力很強的用戶心智。 這種不溫不火的狀態,終於在今年被馬化

剛剛

這屆大學生畢業後,可能得給AI當保姆

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道廣東最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作這屆大學生畢業後,可能得給AI當保姆字母AI·2026年07月08日 15:04botsitting,下一個勞動力蓄水池? 誠然,AI讓無數企業裁員,但另一方面,AI也在產生新的工作崗位。 根據人社部啟動了互聯網企業雲端招聘月活動的最新數據,今年暑假,超5000家互聯網企業集中釋放了超過20萬個就業崗位。京東、騰訊、字節跳動、美團等頭部企業合計貢獻超4.6萬個崗位,覆蓋AI算法、大模型應用、高性能計算等前沿方向。 不只是崗位增加了,工種也增加了。比如算法工程師、提示詞工程師等等。而最近剛剛興起的botsitting,就很有可能成為新的勞動力蓄水池。 啥是botsitting?babysitting是指照顧嬰兒的保姆,那botsitting就是照顧機器人(AI)的保姆。 微軟的Copilot部門就有“AI培訓師”、“數字化採納專員”、“AI倡導者”這樣的崗位。他們乾的活,從某種程度上來說就是一種botsitting。 具體來講就是教同事怎麼用AI、檢查AI輸出的質量、把AI嵌入到具體的業務流程裡。 在實際工作中,從AI輸出的答案,再到真正將其應用到實際場景,這倆之間往往不是一回事。 AI可能會輸出幻覺,也有可能完全會

剛剛
IT之家生成式AI

前沿 AI 模型競爭激烈:在 ECI 榜單上只能維持約 7 周領先地位

首頁 IT圈 最會買 設置 日夜間 隨系統 淺色 深色 主題色 黑色 投稿 訂閱 RSS訂閱 收藏IT之家 軟媒應用 App客戶端 要知App 軟媒魔方 業界 手機 電腦 測評 視頻 AI 蘋果 iPhone 鴻蒙 軟件 智車 數碼 學院 遊戲 直播 5G 微軟 Win10 Win11 專題 搜索 首頁 > 智能時代>人工智能 前沿 AI 模型競爭激烈:在 ECI 榜單上只能維持約 7 周領先地位 2026/7/8 14:54:14 來源:IT之家 作者:故淵 責編:故淵 評論: IT之家 7 月 8 日消息,科技媒體 The Decoder 昨日(7 月 7 日)發佈博文,報道稱在 Epoch Capabilities Index(ECI)榜單榜首更迭中,前沿模型只能維持約 7 周領先地位。IT之家注:Epoch Capabilities Index 主要彙總評估語言模型的整體能力表現,整合多項能力信號為統一刻度,便於比較不同模型在不同時間點的相對位置,常用於觀察頭部模型的領先週期、能力躍遷與競爭格局變化。Epoch AI 研究員 Jaeho Lee 表示,OpenAI 的 GPT-4 模型維持榜首約 1 年時間,而 o1 維持約 3 個多月,後續 OpenAI 模型未再維持同等時長優勢。自 2024 年 2 月 Claude 3 Opus 取代 GPT-4 以來,榜首位置已經易手 17 次,每個模型保持領先地位的中位數約為 7 周時間,表明頭部模型更替頻率明顯提高,單一模型維持領先的週期持續縮短。廣告聲明:文內含有的對外跳轉鏈接(包括不限於超鏈接、二維碼、口令等形式),用於傳遞更多信息,節省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。 投訴水文 我要糾錯 下載IT之家APP,簽到賺金幣兌豪禮 軟媒旗下網站: IT之家 最會買 - 返利返現優惠券 iPhone之

剛剛