推出 Real World VoiceEQ：衡量語音 AI 的人性品質

現有的語音 AI 基準測試經常顯示模型已接近人類水準，然而實際對話體驗卻往往不是這麼一回事。語音正迅速成為 AI 的主要介面，從客服、醫療、教育、娛樂到個人助理，說話正在取代打字，成為人們與 AI 互動的主流方式。過去幾年，語音模型確實進步飛快，字錯誤率持續下降，延遲已達到對話速度，許多知名基準也逐漸飽和。但任何經常使用語音 AI 的人都知道，總覺得哪裡不對勁——語音模型可能在對話中途聽起來像不同的人，忽略猶豫或不確定的語氣，對口音、噪音或情緒化語音也時常招架不住。這些缺點在以延遲和字錯誤率為主的基準中很容易被忽略，而使用者真正在乎的是：一套語音系統是否能真正聆聽、恰當回應，並在真實對話中保持自然與可靠。 為了量化這些關鍵品質，Hume AI 研究團隊正式推出 Real World VoiceEQ 基準測試。這套基準專門用來評估語音互動的人性品質，評斷語音系統能否辨識、產生並回應那些轉錄文字會遺漏的聲音資訊——包括語調、情緒、說話者身份以及背景脈絡。Real World VoiceEQ 涵蓋超過 40 個主流開源與專有語音模型，橫跨 15 項以上關鍵評估維度、超過 60 項指標，觸及自動語音辨識、文字轉語音、語音轉語音以及語音理解等多個面向。 這套基準的開發基礎來自超過 100 萬筆個別人類評分，這些評分收集自不同人口背景、說話風格與聲學環境。目前 Real World VoiceEQ 包含 78 萬 5 千筆 TTS 評分以及 4 萬 8 千筆 STS 評分，可說是至今規模最大的語音 AI 人類評估之一。每一項評估都透過 Hume AI 自家的語音原生評估平台 Kairos 執行。同樣的基礎設施也讓頂尖 AI 實驗室與企業能夠針對特定應用情境設計自訂評估，找出生產環境中語音系統的細緻失效模式，產生人類偏好資料，並透過強化學習與人類回饋持續改進模型。 Real World VoiceEQ 揭露了幾項關鍵發現。首先，語音 AI 的進步正變得越來越專門化。競逐單一「最佳」語音模型的時代已經過去，取而代之的是各種專門能力的集合。現今的領導系統各自在不同的方向尋求最佳化——技術準確度、情緒理解、對話智能、表現力以及強健性。某個擅長重複訂位代碼、銀行帳號或複雜藥品名稱的模型，可能在產生情緒性語音時表現不佳；另一個聽起來非常自然的模型，在講求精確的任務上卻可能較不可靠。隨著語音 AI 逐漸成熟，衡量進步的方式需要獨立看待這些能力，而非把它們全部壓縮成一個總分。在 Real World VoiceEQ 的 TTS 評估中，沒有任何一個系統配置能在全部八項能力群組中都排進前五名——這凸顯了為何不存在單一的「最佳」語音模型。 其次，語音模型變得越來越會「說」，卻不一定更會「聽」。語音轉語音模型在所有類別中呈現出最大的變異性。有些系統極擅長辨識情緒，卻在自然回應上卡關。研究團隊發現，擁有音訊輸入並不保證代理程式會好好利用其中的副語言資訊。部分系統在很大程度上仍依賴轉錄文字，只關注語詞本身，卻忽略了語調、節奏、猶豫、強調與音量等線索。人類自然而然會利用這些線索推斷信心、不確定、沮喪、諷刺與同理心，但今天的許多模型往往錯失這些細節。想像一下銀行客服詢問你是否認識一筆潛在詐欺交易，充滿自信的「是的」與猶豫不決的「……是的……」可能意味著完全不同的意思，儘管轉錄文字一模一樣。人類一眼就能看出差異，而許多語音模型卻做不到。 第三，傳統基準越來越容易高估真實世界的表現。許多既有的基準已接近極限，無法反映真實環境的複雜度。模型仍然在口音語音、多人同時說話、情緒、背景噪音以及較長對話中掙扎。根據評估結果，領先的開源與專有模型之間的效能落差，遠比傳統基準所顯示的要大得多。舉例來說，在有噪音背景的語音中，轉錄字錯誤率大約是音樂背景語音的四倍，顯示單一的背景音訊分數，可能完全掩蓋真正失效的模式。 最後，人類評估仍然無可取代。初步研究中發現，有些模型可能針對既有的公開基準進行最佳化。它們會複製參考轉錄中的已知錯誤、遵循任意的拼寫慣例，甚至重建音訊中根本不存在的被遮罩詞彙。大型語言模型如今被廣泛用於評估文字型模型，但這些發現顯示，語音語言模型在語音評估上的應用需要更加謹慎。研究團隊將領先的 SLM 與經過訓練的人類評分員進行 TTS 評估比較，發現兩者在有明確、可驗證答案的項目（例如發音準確度）上一致性最高；但在較主觀的評估上，一致性明顯下降。SLM 有時會從文字脈絡的線索推斷情緒，而在開放式判斷（例如聲音是否符合某個角色、是否維持一致的身份）上，一致性最弱。自動化評估工具對於明確的任務相當有價值，但當判斷需要依賴聲學脈絡、感知與社會解讀時，它們目前仍無法替代人類聽眾。 隨著語音成為 AI 最關鍵的介面之一，單純的速度與技術準確度已經不再能決定哪些系統會勝出。人們最終選擇的模型，將會是那些能像人類一樣理解、表達與回應的系統——不僅在理想的基準條件下，更要在真實對話的複雜情境中站穩腳跟。數十年來，語音 AI 一直透過在標準化基準中最佳化量化指標來進步，從語音辨識的字錯誤率，到語音品質的客觀感知指標如 PESQ 與 DNSMOS。研究團隊期望 Real World VoiceEQ 能延伸這個典範，為合成語音互動的各項組件提供一個以人類感知為基礎的評估標準。有興趣的讀者可以閱讀完整的技術報告並探索公開排行榜，或直接與 Hume AI 團隊聯繫，了解如何運用 Real World VoiceEQ 評估自己的語音模型或代理程式，或是設計針對特定應用情境的自訂評估方案。