AI 音頻編輯邁入新紀元：騰訊混元聯合多家頂尖機構發佈 MMAE 基準，當前模型精準編輯能力不足 5%

# AI 音訊編輯邁入新紀元：騰訊混元攜手頂尖學府推出「MMAE」基準，揭露當前模型精準編輯能力不到 5%

過去幾年，AI 生成音訊的技術突飛猛進，從文字轉語音、音樂自動生成到音效合成，市面上已經出現不少令人驚豔的工具。然而，「生成」是一回事，「編輯」現有音訊又是另一個截然不同的挑戰。騰訊混元近日聯合上海交通大學、新加坡南洋理工大學、天津大學、北京大學與復旦大學等多家國內外頂尖機構，正式發表業界首個通用指令驅動的音訊編輯基準測試集——MMAE。這套評測體系的出現，不僅填補了音訊生成領域長期以來對「編輯能力」缺乏客觀評估標準的缺口，更揭露了一個震撼的事實：當前最先進的 AI 模型，在精準編輯音訊的任務上，成功率還不到 5%。

## 重點整理：MMAE 是什麼？為什麼重要？

MMAE 全名為「Multi-task Music and Audio Editing Benchmark」，是一個專門用來衡量 AI 模型能否根據自然語言指令，對現有音訊進行「精細編輯」的標準化測試平台。不同於傳統只評估「生成音訊品質」的評測方式，MMAE 更關注模型是否聽得懂使用者的編輯命令——例如「將這段演講的背景噪音移除」、「把鋼琴獨奏中的第三個音符升高一個半音」、「在鼓聲結束後加入回音效果」等等。這些指令涉及對原始音訊的局部修改、結構調整或特效添加，遠比單純生成一段全新音訊來得複雜。

研究團隊透過 MMAE 測試了目前市面上多個代表性的 AI 音訊模型，結果發現它們在精準編輯任務上的平均成功率竟然低於 5%。換句話說，當你試圖叫 AI 幫你「修改某一小節的節奏」或「只替換人聲中的某個字」，絕大多數模型要麼無法理解指令，要麼改錯地方，甚至破壞了原始音訊的其他部分。這項數據清楚說明了：現階段的 AI 雖然很會「憑空創造」，但幾乎還不會「動手修改」。

## 背景脈絡：從「生成」到「編輯」——被忽略的技術斷層

為什麼會出現如此巨大的能力落差？這要從 AI 音訊領域的發展路徑說起。過去幾年，學界與業界普遍把資源投注在「生成模型」上，例如擴散模型（Diffusion Models）或變壓器架構（Transformer）被用來從雜訊中逐步還原出高品質的聲音。這些模型擅長學習某種聲音的分佈，然後隨機抽樣產生類似風格的新片段。然而，「編輯」需要的是對既有音訊的時間軸、頻譜特徵進行「可控的局部變更」，這涉及到精確的定位能力（知道哪裡要改、哪裡不能動）以及保留非編輯區域的完整性。目前的主流生成模型，幾乎都沒有針對這種「選擇性保留」的機制進行設計。

更關鍵的是，長期以來缺乏統一的編輯評測基準，導致各家模型宣稱的「編輯能力」往往各說各話。有的用自定義的簡單指令測試，有的只評估編輯後的聲音自然度，卻不檢查是否確實執行使用者的要求。MMAE 的誕生，正是要終結這種各自為政的局面，提供一個涵蓋多種編輯任務（如替換、刪除、插入、套用效果、分離音軌等）且指令明確、答案可客觀驗證的標準化考題。

## 可能影響：震盪產業生態，重新定義 AI 音訊的「實用門檻」

這份研究成果的衝擊將是多層面的。首先，對學術研究者而言，MMAE 很可能迅速成為像 ImageNet 之於電腦視覺、GLUE 之於自然語言處理那樣的「標竿競技場」。誰能在 MMAE 上把不到 5% 的成功率拉高到 20%、50%，就有機會寫下音訊 AI 的新里程碑。我們可以預期，接下來會有大量論文嘗試提出新的模型架構或訓練策略，專門針對「編輯」而非「生成」來優化。

其次，對商業應用來說，這項揭露等於點出了一個殘酷的事實：市面上標榜「AI 音訊編輯」的產品，目前恐怕都還處於極早期的原型階段。無論是 podcast 後製、影音剪輯軟體中的智慧編輯功能，或是音樂製作輔助工具，都難以真正可靠地完成使用者的細部修改指令。這也意味著，誰能率先突破這個 5% 的瓶頸，誰就能掌握下一波專業音訊軟體的市場主導權。

最後，對一般創作者與消費者而言，這個現狀或許會讓人有些失望——原來 AI 還不能隨心所欲地幫我修音、去噪或改編曲。但從另一個角度來看，這也避免了大眾對技術的過度期待。明確知道目前的能力邊界，反而有助於我們更務實地看待 AI 工具的輔助角色。

## 讀者可關注的後續發展

接下來，有幾個方向值得持續追蹤。第一，騰訊混元與合作機構是否會公開 MMAE 的測試資料集與評估程式碼？如果開放給全球研究社群使用，將會加速技術的迭代。第二，目前受測模型幾乎全軍覆沒，但這其中是否包含某些專為編輯設計的新架構？研究團隊有沒有在論文中提出任何具潛力的改進方向？第三，這套基準未來會不會擴充到更多語言（例如繁體中文指令）或更多音訊類型（如環境音、對話錄音）？對於台灣的語音科技開發者來說，能加入本地的編輯指令與口語素材，將更具參考價值。

總而言之，MMAE 的出現並沒有否定過去 AI 生成音訊的成就，而是誠實地劃出了一條新的起跑線。當生成技術已經逐漸「夠用」，下一場戰役毫無疑問將聚焦於「編輯」。不到 5% 的成功率聽起來很低，但這也代表著有 95% 的進步空間等待被填滿——對研究人員與工程師而言，這或許是最令人興奮的挑戰。