小米開源工業級目標說話人語音識別大模型 CocktailASR-1

2026年9月11日 10:336900 次瀏覽
站內 AI 整理稿

AI資訊AI新閒資訊正文小米開源工業級目標說話人語音識別大模型 CocktailASR-1發布於AI新閒資訊時間 :Sep 11, 2026閱讀 :1分鐘在嘈雜的人群中精準鎖定並聽清某個人的聲音,人類的聽覺系統能夠輕而易舉地做到這一點,但對於傳統的自動語音識別(ASR)模型來說,多人同時講話的“雞尾酒會難題”卻長期是一個未被徹底攻克的行業痛點。為了解決這一長期困擾業界的難題,小米近日正式開源了工業級目標說話人語音識別大模型 CocktailASR-1。該模型徹底改變了傳統語音識別的任務輸入方式,採用基於參考聲紋的目標說話人識別機制。

用戶只需提供一段參考音頻,模型便會利用聲紋嵌入精準定位目標說話人,在多人混合音頻中只轉錄該特定人物的語音,而其他人說話的內容、混響以及背景噪聲均會被自動過濾,從而將複雜的混合音頻任務轉化為高效的目標說話人識別。在底層架構設計上,CocktailASR-1採用了一個端到端的大語言模型架構,具體由 D2V2音頻編碼器、Adapter 以及大模型解碼器串聯組成,且所有權重均整合在同一個檢查點中。在實際使用時,輸入格式為將參考音頻與目標單聲道音頻進行拼接,中間插入一秒靜音作為分隔。這種設計讓模型具備極高的通用性,無論是單人還是複雜的多元場景,無需切換模型即可一氣呵成。

多項基準測試數據驗證了該模型的強悍實力。在模擬多說話人測試中,其在 LibriMix2mix 和 LibriSpeechMix2mix 數據集上的字錯率(WER)分別壓低至4.11% 和2.90%。相比之下,同賽道的多款知名模型在混合場景下表現全軍覆沒,例如在 LibriMix3mix 測試中,部分競品的字錯率高達76% 到121% 不等,而 CocktailASR-1的字錯率僅為12.29%,展現出了顛覆性的降維打擊優勢。即便是面對更具挑戰的真實會議錄製場景,如 AMI SDM 和 AliMeeting Far,該模型也大幅領先現有的各類解決方案。

而在單人場景下,其在 LibriSpeech、WenetSpeech 以及 CommonVoice-zh 等數據集上也實現了全面超越。除了突破性的識別精度外,該模型在工程落地和實用性方面還具備兩大亮點功能。首先是強大的負樣本拒識能力。當參考音頻對應的人並不參與當前對話時,模型能夠直接輸出空文本,從而有效防止智能音箱、車載語音助手等智能設備被旁人的聲音誤觸發。測試顯示其在多個數據集上的負樣本拒識率表現優異。其次,模型支持思維鏈推理功能,能夠在輸出最終答案前通過特定的標籤展示其判斷說話人的推理過程,雖然該功能對精度影響極小,但極大提升了系統的可解釋性與調試便利性。

目前,CocktailASR-1的相關代碼已在 GitHub 按照 Apache2.0協議正式開源,且具備極簡的依賴環境,僅需 torch、torchaudio、transformers 和 soundfile 等基礎庫即可輕鬆從 HuggingFace 加載並部署使用。小米此次在語音技術底層邏輯上的全新轉向,標誌著語音識別正從傳統的“捕獲所有聲音”正式邁向聚焦於“鎖定一個聲音”的全新發展階段。相關推薦支付寶“碰一下”推出無界經營,智能體“圖圖” 服務線下經營支付寶“碰一下”發佈面向品牌商的無界經營智能體“圖圖”,依託百萬級商家設備網絡,連接4億消費者與百萬門店,助力品牌線下增長。

繼線下觸點AI升級及門店智能體“曉雨”後,支付寶再次以AI重構線下經營,實現全球首個大規模線下人、貨、場AI全面升級。Sep 11, 202686.1kAnthropic 披露:今年已阻止多起利用 AI 研發生物武器的嘗試《金融時報》報道,Anthropic稱今年已阻止多起科學家利用其AI開展可能助研生物武器的研究,列舉五起案例,涉事者繞過管控、混淆目的以規避安全防護。事件凸顯AI對公共安全的潛在威脅。Sep 11, 2026105.

7k告別卡頓與機械感:OpenAI 推出全雙工語音模型 GPT-Live-1OpenAI推出全雙工語音模型GPT-Live-1,採用單一模型架構取代傳統“語音轉文字—推理—文字轉語音”級聯流程,顯著降低延遲,實現類人流暢交互。該模型已上線API,面向開發者,能更穩健應對停頓、打斷和話題轉換等複雜對話場景。Sep 11, 2026130.2kDeepSeek V4.1-Flash登陸WorkBuddy,開啟限時免費試用AI服務平臺WorkBuddy宣佈全面上線DeepSeek最新V4.1-Flash模型,並開啟兩週免費試用,降低開發者與用戶體驗門檻。

該模型已登陸DeepSeek API,具備原生多模態支持能力,用戶調用時只需將模型設置項調整為對應標識即可。此舉體現大模型領域迭代持續加快。Sep 11, 2026177.9kCursor發佈Projects功能,一人指揮數千個AI智能體承包大型開發9月10日,Cursor推出Projects(beta版),標誌軟件開發“第三紀元”加速到來。該功能面向功能開發、大規模遷移、完整應用構建等大型複雜任務,引入“協調者智能體”調度數千個子智能體並行執行,讓開發者擺脫繁瑣的智能體管理,直接指揮任務本身,核心架構圍繞這一協調模式展開。Sep 11, 2026134.

0k智啟未來,您的人工智能解決方案智庫English簡體中文繁體中文にほんご© 2026

Related

相關文章

智東西生成式AI

英特爾與騰訊發佈基於至強6+的雲實例,曬智能體AI基礎設施全家桶

作者 | ZeR0 編輯 | 漠影 11月3日報道,近日,在2026騰訊全球數字生態大會上,英特爾與騰訊雲發佈基於英特爾至強6+處理器的騰訊雲新一代雲實例,並全面展示英特爾的芯片產品與雲端實踐。 全新至強6+處理器擁有最高288顆能效核,單顆處理器最高可支持超過1000個智能體的穩定部署,這也為騰訊雲服務器提供更高併發、更低時延、更優能效的雲端算力服務。

3 小時前
雷峰網生成式AI

智元榮獲2026世界互聯網大會傑出貢獻獎

11月3日,2026年世界互聯網大會烏鎮峰會在浙江烏鎮隆重開幕,國務院總理李強出席開幕式並發表主旨演講。開幕式上,智元憑藉在具身智能領域的系統性技術突破與產業化實踐,獲頒世界互聯網大會傑出貢獻獎。智元合夥人、高級副總裁朱潔在領獎時表示:人工智能的終局,不在於屏幕與雲端,而紮根於工廠一線和尋常煙火。具身智能賽道的競爭,早已跳出單點技術的競速,轉向軟硬協同、工程化落地、產業組織與治理體系的綜合比拼。智元期待與各界同心同行,堅守務實,躬身落地。

3 小時前

電動車退燒、AI 儲能燒起來:LG 新能源把產能挪向數據中心

11 月 3 日,首席財務官李昌植在財報電話會上給出時間表:今年底軟包儲能系統(ESS)產能將超 50 吉瓦時,明年進一步拉到 70 GWh 以上。在他看來,電動車增速放緩之際,AI 數據中心的大規模新建為電池廠撕開了新口子——第三季度 ESS 在手訂單已達 160 GWh,公司正與電力企業、超大型數據中心運營商談新項目,今年 9 月還作為儲能供應商擠進了英偉達的 DSX Ready 計劃。

4 小時前4700
雷峰網生成式AI

最高288核的至強6+,為了Agent高密度部署還下了哪些「雲功夫」?

作者 | 陳悅琳編輯 | 包永剛 一個智能體能順利完成任務,不代表成百上千個智能體就能同時高效運行。 對於承載大量智能體任務的雲服務器而言,除了提升計算速度,如何在任務集中到來時迅速準備好執行環境、怎樣減少暫時閒置的任務對內存資源的佔用,也成為亟待解決的問題。 對此,在一年一度的騰訊全球數字生態大會上,英特爾與騰訊雲聯合發佈了基於至強6+處理器的新一代雲實例,圍繞任務啟動效率、內存資源利用率等關鍵因素進行優化後,其綜合性能較上一代提升30%以上。

4 小時前

聯合國副秘書長點贊!千問AI耳夾式耳機亮相烏鎮互聯網大會

他認為,產品非常實用,適合自己日常工作中需要使用多國語言進行交流的場景。面對面交流時,用戶可以通過耳機收聽譯文;會議中的討論內容,也能通過AI聽記整理為結構化紀要,方便會後回顧。連接千問App後,用戶還可通過語音交辦資料研究等任務、接收完成提醒,讓耳機成為日常辦公的隨身助手。

5 小時前