英偉達投的AI語音獨角獸發兩款新模型，半秒內就能實時響應，附實測

作者 | 孫小雯 編輯 | 程茜 10月22日消息，10月20日，英國AI音頻獨角獸ElevenLabs發佈實時語音系列模型Eleven Realtime，包括面向自然交流的Eleven Realtime v1 Mini，以及面向客服、多步驟任務的Eleven Realtime v1 Max。兩款模型均支持超過90種語言，可使用ElevenLabs聲音庫中超過1.7萬種音色。此次發佈主打簡化語音智能體的搭建和調試。過去，開發者需要分別選擇語音識別、大語言模型和語音合成等組件，再調整接話、打斷等交互細節。

Eleven Realtime統一配置和調優底層組件，開發者選擇Mini或Max後，即可圍繞具體業務設置角色、知識庫和工具，無需再逐項選擇底層模型。實時語音的難點之一，是既要答得對，又不能讓用戶等太久。據第三方AI評測機構Artificial Analysis的獨立測試，Max在Big Bench Audio語音推理評測中以98.8%的正確率位列第三，平均首次音頻響應時間為0.57秒。此次模型發佈，測試了其中的Architect搭建助手。從實測體驗來看，用語音修改Agent設置比較方便，多項操作無需手動點擊。不過，中文口音明顯，回覆偏長，延遲也較高。

ElevenLabs於2022年成立，從文本轉語音起家，逐步將業務擴展至語音識別、音效、音樂和對話智能體。今年2月，公司完成5億美元（約33.4億元人民幣）D輪融資，估值110億美元（約734.2億元人民幣）；9月的一筆員工股份交易使其估值達到220億美元（約1468.4億元人民幣）。投資方既有紅杉資本、a16z，也包括英偉達旗下NVentures和LG Technology Ventures等產業資本。其兩位聯合創始人Mati Staniszewski和Piotr Dabkowski分別在Palantir和谷歌工作多年，2025年已躋身《福布斯》億萬富翁行列。

公司也在考慮IPO，CEO Mati Staniszewski此前透露，希望未來兩年至兩年半內具備上市條件。目前，兩款模型可通過ElevenAgents平臺或Realtime API使用。用戶可在平臺中創建或打開Agent，選擇Realtime模型；開發者也可通過API接入自己的應用。該API兼容OpenAI Realtime規範，目前僅支持WebSocket連接。產品及演示入口：https://ElevenLabs.io/zh/realtime Agent搭建入口：https://ElevenLabs.io/app/agents API接入文檔：https://ElevenLabs.

io/docs/eleven-agents/guides/openai-realtime-compatibility 一、實測語音修改Agent設置，操作方便，但中文口音明顯 為了測試語音搭建Agent是否方便，通過ElevenLabs的Architect搭建助手，嘗試用英文修改語言、切換音色，再讓助手改用中文交流，並用中文繼續修改設置。首先，我們用英文要求修改Agent的語言設置。Architect理解指令後完成了修改，過程比較順暢，不需要手動尋找菜單、切換選項。接著，我們要求它換個聲音。這次沒能如願：Architect自身的音色不支持切換，所創建Agent的音色則可以在設置中選擇。

打開音色庫後，可以看到可選聲音確實不少。▲ElevenLabs音色庫中的可選聲音 隨後，我們讓Architect改用中文交流。它能聽懂要求，但中文帶著明顯的外國口音，聽起來有點“塑料”，部分表達需要仔細聽才能明白。不過，中文指令的執行比較順利。我們用中文要求修改Agent的語言設置，它也完成了相應修改。實測下來，通過語音直接修改設置，還是讓人有些驚喜。用戶說清楚要求，助手就能完成部分配置，省去了尋找菜單、填寫表單的操作。不過，Architect有些“話密”，一個簡單要求也可能引出一長串解釋，且不易被打斷。

▲Architect執行指令時，有時會給出較長的解釋 此外，測試中存在較明顯的響應等待和偶發卡頓，可能受到網絡影響。回覆偏長、打斷響應不夠及時，以及中文語音不夠自然，是本次體驗中較突出的不足。注：本次實測範圍為Architect搭建助手。運行創建的Agent需要付費購買Token，因此我們沒能繼續測試Mini、Max的實際對話表現。二、Mini用於教學和角色互動，Max處理客服及多步驟任務 ElevenLabs在官方演示中展示了兩款模型的應用場景。

該公司稱，Mini主打低成本的自然對話，適用於AI助手、教學輔導和互動角色；Max則面向客服、潛在客戶篩選及多步驟工作流，更適合需要逐步推理、頻繁調用工具的任務。第三方AI評測機構Artificial Analysis對兩款模型進行了獨立測試。在語音推理評測Big Bench Audio中，Max的正確率為98.8%，Mini為75.9%。該測試通過語音提出1000道題，涉及邏輯判斷、物品計數、路徑推理等任務，再對模型的口頭回答進行評分。截至10月21日，Max在這一單項中位列第三，僅次於階躍星辰的StepAudio 3 Realtime（99.7%）和阿里的Qwen Audio 3.

0 Realtime Plus（99.2%）。▲Big Bench Audio語音推理評測排名，Eleven Realtime v1 Max以98.8%的正確率位列第三（圖源：Artificial Analysis） Max的延遲也較低。據ElevenLabs發佈公告，Max和Mini在Big Bench Audio測試中的平均首次音頻響應時間分別為0.57秒、0.62秒。作為參考，Artificial Analysis官網所列Qwen Audio 3.0 Realtime Plus的同項指標為1.54秒。該指標衡量模型開始發聲所需的時間。

在真人參與實時對話的Speech Agent Arena評測中，Max的工具使用任務完成率為87.1%，Mini為60.3%。該指標衡量模型通過正確的工具調用完成任務的比例，Max在這一項上比Mini高出26.8%。不過，在停頓、打斷等接話表現上，Mini的綜合成績略高。在Full-Duplex-Bench（全雙工對話評測）中，Artificial Analysis選取停頓處理、輪次交接、用戶打斷和附和回應四類項目計算加權得分，Mini為95.8%，Max為94.1%。這些項目考察模型能否在用戶停頓時繼續等待、用戶說完後及時接話，以及區分真正的打斷和“嗯”“對”等附和聲。

三、從配音、轉寫到實時交互，延續級聯架構 此次Realtime發佈前，ElevenLabs已分別推出語音合成、語音識別模型，並提供語音Agent搭建服務。語音合成方面，今年9月，該公司發佈文本轉語音模型Eleven v4及其低延遲版本v4 Turbo，重點改善情緒表達、聲音克隆和多角色對話效果。用戶可以用自然語言或標籤控制台詞的語氣、重音，並加入笑聲等聲音，v4 Turbo則針對語音Agent等低延遲場景優化。語音識別方面，去年11月推出的Scribe v2 Realtime面向實時轉寫；今年1月發佈的Scribe v2則重點處理長錄音和複雜音頻，支持說話人區分、詞級時間戳，及熱詞提示。

在單項模型之外，ElevenLabs早在2024年11月就推出了Conversational AI，支持開發者結合知識庫、函數和大語言模型創建語音Agent。技術路線上，Eleven Realtime延續採用級聯架構，由語音識別、大語言模型和語音合成等獨立組件協同完成對話。該公司認為，這種方式便於分別測試和升級各環節，也能通過中間生成的文字排查錯誤、約束回答，並接入更強的大語言模型。不過，該公司也在技術博客中提到，語音轉成文字時會丟失部分語調、節奏和情緒信息，需要通過額外建模補充。其優化方向是在保留各組件可控性的同時，改善聲音表現、延遲和輪次交接。

定價方面，Realtime API按音頻連接時長和Token用量計費。超出套餐額度後，兩款模型的音頻連接費用均為每分鐘0.08美元；Mini每百萬輸入Token收費0.20美元、輸出Token收費6美元；Max分別為1.80美元、9美元。結語：實時語音加速接入Agent，交互體驗仍需打磨 ElevenLabs此次發佈Realtime，將語音識別、推理和語音生成組合成可直接選用的實時交互方案。其在改善對話表現的同時，也降低了語音Agent的搭建門檻。這一賽道已聚集多家大廠。

OpenAI的GPT-Realtime、谷歌的Gemini Live，以及阿里的Qwen-Audio-Realtime系列等，都在強化實時語音交互與工具調用能力。儘管技術路線和產品側重有所不同，但各家目標一致：讓用戶通過自然對話，推動AI完成具體任務。要讓對話順暢、任務持續推進，還需要整套系統配合。網絡延遲、接話時機和工具執行都會影響使用體驗，OpenAI此前也披露了底層網絡架構的優化，以減少停頓和打斷延遲。從此次的體驗來看，通過語音創建文檔、修改設置已經讓人驚喜，但響應速度、打斷處理及頁面切換時的語音連續性仍需打磨。

隨著模型和產品繼續迭代，我們期待這類應用能在連續交流和任務執行中表現得更穩定，讓語音成為用戶日常工作中真正順手的操作方式。