GPT-Live 底層拆解：OpenAI 如何讓 95% 的音頻幀不再延遲

在即時語音互動的戰場上，延遲始終是那道最難跨越的門檻。文字對話的回應速度慢了半拍，使用者最多只是覺得語氣卡卡的、體驗不到位；但語音合成只要出現一次明顯的停頓或延遲，那種機械式的「非人感」便會瞬間浮現，將使用者從對話情境中狠狠拉出，對話的信任感也因此蕩然無存。為了根治這個困擾已久的工程難題，OpenAI 投入了長達六個月的時間，針對整條語音處理鏈路進行了大規模翻新。

稍早之前，OpenAI 發表了一篇關於 GPT-Live 的工程技術文章，對外詳細揭露了新版 ChatGPT 語音系統在底層架構上的重大變革，其中一組數據格外引人注目：新的媒體系統在 p95 音頻幀延遲的表現上，已經達到了舊系統 p50 的水準。換句話說，新系統中表現最慢的那 95% 音頻幀，如今都能以舊系統中表現最快的那 50% 音頻幀的流暢度運作。雖然 OpenAI 並未對外公布具體的毫秒數字，但這項結果明確指出，此次改造的主要成效在於徹底壓縮了那些偶爾發生、卻極易被感知的「慢幀」現象，讓整體語音輸出的節奏感與穩定度都獲得了顯著的提升。

相較於過去語音助手那種「聽完整句話、停頓、再回應」的機械式循環，GPT-Live 的運作邏輯已經完全不同。新系統不再被動等待使用者結束發言才開始處理，取而代之的，是聲音持續不斷地流入模型，而模型生成的語音也以串流的方式同時回傳給使用者。使用者與 AI 之間的對話，從傳統的「單向輪詢」正式跨入了「持續互動」的新階段，交談的節奏也因而更加貼近人與人之間的自然對談。要達成這種近乎無感的即時對話體驗，工程團隊必須重新審視每個環節。據了解，此次改造涵蓋了多項底層技術的重大調整，包括將核心的 Python 程式碼進行徹底重寫，並針對 WebRTC 的握手流程進行深度優化與修改。

這些看似隱晦的底層技術調校，其實正是決定語音能否「行雲流水」的關鍵所在；少了這些細緻的工程打磨，任何上層的模型再好，也難以化解實體傳輸中無可避免的延遲與抖動。從產業角度來看，這項技術突破的意義並不只在於讓 ChatGPT 的回話變得「更快」而已。它象徵著 AI Agent 的互動模式迎來了一次關鍵轉型，從單純的指令接收與結果回傳，進化為能夠在對話當下即時感應、即時回應的協作夥伴。對於未來各類需要語音協作的應用場景，像是即時翻譯、語音助理、甚至實體機器人的互動，這種低延遲的技術基底都是不可或缺的基礎建設。透過這次的工程揭露，外界得以一窺 OpenAI 在語音系統上付出的心血與考量。

在追求模型智慧的同時，這家 AI 巨頭也正在用最實際的工程手段，回應著一項最根本的使用者需求：讓機器與人的對話，可以像人與人之間的交談那樣，自然、流暢、沒有等待。當然，技術的演進永遠沒有終點。此次 p95 與 p50 的對齊，證明了既有架構的改造方向正確，但距離真正完美無瑕的即時對話，仍有一段長路要走。下一步會如何延續這套低延遲架構，並將其拓展至更多元的應用層面，將是外界密切關注的焦點。