數種聲源混疊也能精準解析！科大訊飛亮出語音基座大模型SparkAudio 1.0

作者 | 程茜 編輯 | 漠影 如果讓你扮演一名刑偵助手，你能從下面數種聲源混疊的音頻裡分析出受害人的所在位置嗎？https://oss.zhidx.com/0c33ff14052d1fbdf18a5c8d2c597ae0/6ae0ca80/uploads/2026/10/6ae18c1fde6996ae18c1fd995f6ae18c1fd992b%E9%9F%B3%E9%A2%91%E7%89%87%E6%AE%B51.wav 訊飛最新發布的語音基座大模型SparkAudio 1.0，在幾秒內就給出了答案：被拐孩子周圍是大型機械設備發出的規律性噪音，可能在火車或地鐵上。

模型給出了完整的分析過程，其沒有根據孩子提到的“歌聲”就默認是人或樂器發出的聲音，而是通過嗡鳴聲、機械設備的規律性噪音等數種聲源，以及孩子提到的“在車上”去分析可能是什麼場景發出的聲音。不過，我們在音頻中還能聽到短促的警示音，模型並沒有對此進行分析。接著下一段音頻裡，孩子描述了自己所處環境。我們在提示詞中要求模型不針對語音內容進行推測，需憑各種聲音分析推斷被拐孩子附近的狀況。https://oss.zhidx.

com/ee743099f118c2f6e870b17e1c6093d6/6ae0ca80/uploads/2026/10/6ae18c666aeab6ae18c66673006ae18c66672d1%E9%9F%B3%E9%A2%91%E7%89%87%E6%AE%B52.wav 可以看到，SparkAudio 1.0分析時會將孩子說話的內容與聲音結合分析，其把音頻中汽車聲音、機械設備、小朋友說話等各種聲音，和孩子描述的“汽車在開會”、“圓圓的車”等抽象內容對應，分析出周圍可能有大量體積較大的車等。然後在結論中通過聲音線索給出孩子所處位置的幾項關鍵特徵。

不過，模型上一個問題就分析了被拐孩子可能在乘坐火車或地鐵，但模型並沒有結合兩段音頻做一些綜合性判斷。值得一提的是，雖然刑偵場景對於線索判斷的嚴謹性非常高，但SparkAudio 1.0已經展現出幫助專業人士在音頻文件中挖掘更多潛在線索的能力。語音本身是人類最本能、最低成本的溝通方式之一。過去AI大多隻聚焦識別其中的文字內容，而像SparkAudio這樣具備聲場+人聲複雜感知、理解和推理能力的模型，正讓語音交互邁入全新階段。伴隨AI與物理世界的連接日益緊密，在智能座艙、AI眼鏡、人形機器人等諸多場景落地，大模型不僅要聽清、聽懂，還需要在動態複雜環境裡同步感知聲音、理解意圖、協調行動。

在這一背景下，作為語音技術賽道的頭部玩家，科大訊飛將沿著“語音交互—多模交互—具身多模交互”持續進階，以軟硬一體的技術和產品創新，推動新一代人機交互走進日常生活。這條技術路線的最新成果，就是其上週2026年科大訊飛全球1024開發者節期間，發佈的依託全國產算力訓練的星火語音基座大模型SparkAudio 1.0。

基於這一基座模型，科大訊飛在語音識別、語音同傳、實時語音交互等專項場景，形成了一套分層落地思路： 先搭建通用語音基座大模型完成統一音頻預訓練，讓模型學習人聲、環境聲、時序關聯、說話人關係等通用音頻表徵；基座模型提升識別、同傳、實時交互等基礎能力,拓展音頻理解、情緒識別、實時說話人分離和環境聲理解能力,再由語音專用任務大模型面向具體任務做極致調優，以此平衡任務效果、任務精度、時延與工程成本。語音已經成為下一代AI應用落地的核心交互載體。這套依託全國產算力打磨出來的語音基座大模型，正在為人機自然對話、沉浸式交互打下根基，推動大模型真正聽懂聲音裡的場景、關係與意圖，支撐下一代智能硬件的交互革命。

一、搞定智能語音不可能三角？語音基座大模型是殺手鐧 語音是區別於圖文、原生連續的交互方式，因其能解放眼手，並適配移動、具身場景的交互需求，成為智能座艙、AI眼鏡、機器人等下一代硬件的核心交互方式。但隨之而來，這些場景也對語音交互各項指標提出更高要求，使得智能語音效果、任務的準確率/時延指標、工程成本三者很難同時拉滿。我們從科大訊飛亮出的最新答卷裡，看到一條平衡這三者的可行路徑：語音基座大模型+語音專用任務大模型。這套方案的基座就是新發布的SparkAudio 1.0。

該模型支持文本、語音雙模態輸入以及文本模態輸出，可完成語音轉寫、多語言翻譯、多方言識別、環境音識別、說話人分離、情感分析以及複雜音頻問答等任務。根據科大訊飛公開的基準測試結果，相比於業界多款SOTA閉源模型，SparkAudio 1.0的表現更優，在指令跟隨方面與其他模型持平。正如開頭案例所示，音頻會攜帶時序、說話人、環境等獨有信息，因此對其進行分析時需要面臨場景複雜、噪聲干擾強、實時性要求高等挑戰。而獨立語音基座大模型的價值就在於，可以先吃透聲學細節、攻克複雜聲場難題，再疊加多模態信息互補增效，從而更貼合真實交互場景。

因此，為了補強模型表徵能力、壓縮端到端時延、降低推理算力開銷，科大訊飛採用了三大核心技術： 首先是半監督音頻解碼器SemiEnc針對的是語音領域表徵建模弱的痛點。在預訓練過程中，其將量化器輸入從原始的聲學特徵升級為結合有監督數據構建的語音專用任務大模型提取的強化表徵，引入不同維度的信息先驗，通過多任務訓練顯著強化編碼器的建模能力，提升了語音識別等任務的魯棒性，帶來了各項任務的效果提升。其次是動態分段端到端建模S-S2S，進一步降低端到端時延。

其以語音到語音的端到端語音建模技術為基礎，依託語音理解與生成融合反饋決策閉環，打通識別、理解、生成模塊的時序壁壘，支持增量流式語義驅動提前生成、動態反饋校正，在保證效果的同時壓低語音同傳、實時語音交互的響應延遲，滿足實時語音業務的低時延需求。最後是雙範式協同解碼CoDec，能拉低推理算力開銷。音頻編碼器首先通過非自迴歸CTC Decoder並行解碼，一次性生成結果，然後通過LLM自迴歸模塊通過投機解碼判斷是否需要介入、以及從何處開始自迴歸修正，使其兼顧效果，同時降低平均推理時延和計算成本。

二、在基座之上進行語音專用任務大模型迭代，識別、同傳等模型立大功 在此之上，科大訊飛依託自研的獨立語音基座大模型，將音頻感知、理解、推理統一，作為上層所有語音能力的核心底座。並在SparkAudio 1.0之上孵化出三大語音專用任務大模型：星火語音識別大模型Spark-ASR-2.0、星火語音同傳大模型Spark-LiveTranslation和語音交互大模型Spark-Audio-Realtime。這些模型分工清晰，基座大模型負責聽懂音頻、語音專用任務大模型負責把單項任務做到工程可用，這套分層思路對應的正是產業側對通用理解與專項高性能的現實需求。

具體來看，星火語音識別大模型Spark-ASR-2.0能在準確識別的同時，結合上下文邏輯與語境理解，直接輸出更連貫的內容，剔除音頻中的語氣詞、重複表達等冗餘信息。以下面幾個場景為例，其中多個音頻混雜了時間、書名、網頁鏈接、中英文等，而模型最終輸出的是完整通順的文本，且數字、單位、標點符號等內容格式規範。訊飛輸入法16.0已接入該模型，提升了通用識別、複雜聲學場景識別、上下文識別和文本流暢規範性。從官方測試結果來看，Spark-ASR-2.0與當前業界最好水平相比，在方言、高噪和小音量上擁有顯著優勢，主要任務效果均好於業界最優水平。

這背後同樣集成了科大訊飛在語音領域的多項技術突破，其構建了非自迴歸識別與LLM增強自迴歸識別的專用語音識別架構。非自迴歸識別模塊繼承Spark-Audio-1.0-Preview的音頻表徵和複雜聲學場景建模能力，並通過MoE擴展、增量持續訓練，提升大規模真實複雜場景下的識別魯棒性。LLM增強自迴歸識別模塊可以進一步發揮大語言模型的語言覆蓋、上下文理解和推理能力，通過投機解碼判斷是否需要介入、以及從何處開始自迴歸修正。

研究人員還進一步針對中英文混合場景的數據匱乏、上下文信息融合等進行了增強，如構建大規模中英文混合文本數據、通過聯合文本輔助與相似音素泛化來擬合不規範發音、將多源語境編碼為結構化表徵並與聲學信息深度融合等。另外一個語音專用任務大模型是星火語音同傳模型Spark-LiveTranslation。其實測顯示，相較線上系統，Spark-LiveTranslation的MOS評分由4.4提升至4.6，S2S響應時間也明顯縮短。和普通語音交互場景不同，同聲傳譯的語音輸入條件複雜多樣，覆蓋多場景、長時長任務，且在語句長度、發言語速、現場環境、專業術語等方面差異顯著。

因此，科大訊飛針對性提升了Spark-LiveTranslation的場景感知、長曆史理解、播報長度調空和複雜場景魯棒性能力。該模型會在執行任務時區分是長篇演講、雙人對話、多人回憶，然後選擇適合當前交流方式的“翻譯質量—翻譯延遲”策略，調整等待語義信息的程度與譯語輸出節奏，以適配現場的同傳節奏。同傳場景還會存在時間較長的情況，並且同一名詞在不同段落有不同說法。模型會將長曆史語境納入當前內容的理解，結合前文建立的實體指向、術語含義和話題線索，提升篇章級翻譯一致性。

針對發言人語速習慣、不同語言的表達習慣，Spark-LiveTranslation會將長曆史篇章理解與播報狀態結合，動態調控譯語的表達長度。播報積壓時模型會在不丟失主旨、保持意思一致的前提下，保留關鍵事實與邏輯關係並採用更緊湊的表達。最後是複雜專業場景，如中文句子中穿插英文術語、產品名稱、縮寫、方言表達等。模型能結合領域語境理解。以醫療場景為例，“三甲醫院”與“三乙醫院”，包含不同的等級信息。模型能夠準確翻譯、保留這種專業含義上的區別。後續，Spark-LiveTranslation將逐漸上線訊飛聽見、訊飛AI眼鏡，帶來更好的同傳交流體驗。

除此以外，語音交互也是科大訊飛重點佈局的方向，星火語音交互大模型Spark-Audio-Realtime正面向多輪對話場景深度優化。三、應用遍地開花，訊飛正打造整條語音產業鏈的地基 大模型時代，語音技術的競爭壁壘已經切換，WER（詞錯誤率）等單點指標已不是評判的唯一標尺，競爭核心正朝著音頻預訓練數據體系、架構選擇、算力自主與端雲一體化閉環等方向延伸。放眼當下國內的主流智能語音路線，各家選擇各有側重，有的側重開源音頻模型、有的依託通用多模態模型、有的聚焦端側輕量的語音場景。而訊飛此次掏出的基於全國產算力訓練的語音基座模型，無疑是智能語音賽道里的一個關鍵變量。

在這之上，訊飛的智能語音技術正遍地開花，推動人機交互持續迭代，讓AI從數字世界走向真實物理空間。最為直觀的案例就是，科大訊飛SparkAudio 1.0已全系落地其多款產品，軟件端覆蓋訊飛輸入法、訊飛聽見等；硬件端搭載於訊飛翻譯機、訊飛AI錄音環、訊飛AI眼鏡、訊飛辦公本、具身智能等各種載體之上。以訊飛智能辦公本和訊飛AI錄音環為例，其基於SparkAudio 1.0升級後，能更輕鬆應對不少複雜的語音交互場景。訊飛智能辦公本的升級主要體現在三大方面，包括支持手寫標註說話人姓名，後續發言自動對應；搶話、多人交疊發言時也能準確區分說話人；可在中英混合、專業術語多的場景精準識別。

另外一款主打語音採集的訊飛AI錄音環，則在識別、整理分析精度提升之外，進一步用硬件降低高效錄音的使用門檻。它可以直接磁吸在手機背面，整機僅35克。用戶只需輕按機身按鍵，即可隨時啟動錄音。錄音結束後，其會通過WiFi 6高速傳輸，2小時錄音約10秒傳至手機、2分鐘轉成文字，還能智能區分說話人、生成AI會議紀要、提煉重點及待辦事項，並支持多語種同聲轉譯。當下，可穿戴設備、智能座艙、人形機器人等各類新硬件、新軟件，都對遠場複雜音頻處理能力提出更高標準，而訊飛這套語音基座模型，已經展現出成為各類多模態硬件通用底層能力組件的潛力。

四、長坡厚雪，久久為功，訊飛已構築三層語音壁壘 語音技術的重要性不言而喻，但複雜環境下穩定可靠的語音識別與理解能力，絕非一蹴而就，有賴於海量聲學數據沉澱、長年工程打磨與持續迭代。語音領域的探索是一場跨越週期的長跑。科大訊飛在智能語音賽道的佈局可以追溯到三十多年前，從語音合成開始逐漸覆蓋識別、機器翻譯、交互等多個維度，持續深耕語音技術，也多次獲得Blizzard Challenge、CHiME、IWSLT等不同方向的國際權威語音賽事桂冠。2024年，由科大訊飛作為第一完成單位的“多語種智能語音關鍵技術及產業化”項目，榮獲2023年度國家科學技術進步獎一等獎。

這項獎項分量特殊，是深度學習掀起全球AI浪潮之後，近十年AI領域首個國家科技進步一等獎。時至今日，大模型浪潮，為語音技術打開了更進一步的窗口。因此，科大訊飛的技術佈局提速，將多年語音技術積累和大模型能力深度融合，發力通用基座大模型、語音專用大模型等方向。從首發自迴歸語音大模型架構，到陸續推出星火語音同傳、識別等大模型、迭代多模態交互方案，到如今落地基於全國產算力的語音基座大模型，訊飛將長期的語音落地經驗，與海量軟硬件產品沉澱的數據打通複用。其將在智能語音領域積累數十年的聲學認知、場景經驗，承載進了新的基座框架裡，讓語音交互迸發出新的想象力。

在大模型新週期裡，科大訊飛已經在智能語音領域構築起三層核心壁壘：國產算力自主閉環，統一基座搭配語音專用任務大模型的分層技術路線，以及沉澱多年的語音工程能力與端雲數據閉環優勢，為國產多模態硬件、具身智能、智能座艙、可穿戴生態等，提供自主可控的語音地基。結語：為國產語音賽道打下自主可控的地基 SparkAudio語音基座大模型及語音專用大模型的創新體系，是訊飛立足多年語音積累交出的大模型時代新答卷，其既能向內支撐科大訊飛自家辦公本、錄音環、翻譯機等終端產品的體驗，也能向外輸出底層能力，開放給可穿戴、智能座艙、具身機器人等各類硬件。

從其佈局也可以看出，科大訊飛已經構建了一套可生長的語音原生底座，持續驅動識別、同傳等核心能力迭代，為國產智能語音產業打下自主可控的音頻地基。