字節跳動 SeedRealtime 音視頻全雙工大模型發佈：支持邊看、邊聽、邊說，已上線豆包

字節跳動 Seed 團隊於 8 月 5 日正式宣佈推出原生音視頻全雙工大模型 SeedRealtime，這款模型採用統一架構，將音頻、視頻與文本三種模態原生融合，目標是讓 AI 在連續的多模態信息流上實現實時交互，為用戶帶來「邊看、邊聽、邊說」的全新體驗。此次發佈標誌著字節跳動在 AI 多模態互動領域的技術佈局進一步深化，也讓 AI 從單純的文字對話走向更接近人類自然交流的互動模式。SeedRealtime 的核心突破之一在於音視頻聯合理解能力。模型原生支持聲音、畫面與時序信息的深度融合，在理解層面實現了多模態信息的同步處理。

這項技術的實際效益在於，模型可以結合具體場景來消除同音詞的歧義，例如在嘈雜環境中或畫面輔助下，能更準確地判斷語意；同時也能理解視覺信息中的時序指代，例如在影片畫面中辨識「剛才那個人」或「下一個出現的物體」等帶有時間順序的指涉，讓所見、所聞與所說真正融為一體，提升整體理解的精確度。第二項核心突破在於主動的交互能力。SeedRealtime 具備持續的環境感知與主動表達能力，模型能在察覺畫面狀態發生變化時主動提醒用户，例如當關鍵目標出現在畫面中時，模型會主動提醒用户注意。

此外，模型也能調用工具融入表達，將外部工具能力整合進對話流程中，讓 AI 不再只是被動等待指令、被動回應，而是能主動協作用戶完成任務，將互動模式從被動響應升级為主動協作。第三項突破聚焦於流暢的交互節奏。SeedRealtime 能實時感知用户的對話狀態與交流節奏，在適當時機自然接話、停頓與回應，避免 AI 在對話中出現不自然的插話或延遲。同時，模型具備較強的抗干擾能力，能分辨旁人閒聊與背景噪聲，不會因環境雜音而誤觸發回應，確保溝通過程的流暢與連貫，讓 AI 對話更接近 human 與 human 之間的自然交流節奏。

根據端到端人工評測結果，與傳統級聯模型相比，SeedRealtime 的音視頻對話節奏問題減少了約一半。具體而言，模型對說話時機的把握更加自然，過去常見的「話未說完被搶斷」「話音已落卻回應遲緩」或「被背景雜音與閒聊誤觸發」等卡殼現象顯著減少。同時，單次對話能够完整、順暢交流的概率也有明顯提升，顯示 model 在長時間多模態交互的穩定性與自然度上都有明顯進步。SeedRealtime 目前已全量上線豆包 App，Byte 跳動在業界率先實現音 video 全双工技術的規模化落地。

用户只需將豆包 App 更新至最新版本，在對話框內選擇「打電話」功能，進入 video 通話界面即可體驗 SeedRealtime 帶來的全新交互模式。這項技術的落地, 也讓豆包 App 成為首個搭載音 video 全双工大模型的 AI 應用，為 AI 語音助手市場樹立了新的技術標杆。Byte 跳動 Seed 團隊表示，SeedRealtime 的推出是 AI 多模態交互領域的重要里程碑，未來將持續優化 model 在複雜場景下的表現，並探索更多應用場景.目前，項目主頁已正式上線，開發者與研究人員可透過官方網站 seed.bytedance.

com/seedrealtime 獲取更多技術細節與後續更新信息.隨著 SeedRealtime 的規模化落地，AI 交互模式也將從 text 對話、語音 command 走向更自然、更直覺的 multimodal 融合交流，為 AI 助手、智能硬體、線上教育、遠程協作等場景帶來新的可能性.