豆包視頻通話背後，火山引擎重構 Agent 時代多模態傳輸底座
重點摘要
火山引擎為支援豆包的視頻通話等多模態交互，重建了從WebSocket到QUIC再到WebRTC的傳輸底座，最終推出多模態傳輸系統（MMT），解決了弱網延遲、可打斷性及高併發成本問題。該系統已在豆包大規模落地，並將作為Agent時代的技術底座輸出給外部客戶，模型決定智能上限，傳輸決定體驗下限。
豆包推出視頻通話功能後，使用者體驗出現顯著變化——家長可以直接將鏡頭對準孩子的作業題目，讓AI一步步引導解題；在穿搭建議、視障人士語音導航這類場景中，AI不再是「一問一答」的靜態互動，而是能在整個任務過程中持續傾聽、即時回應。這種多模態交互正在成為通用Agent的關鍵基礎技術，它不僅增加了功能豐富度，也大幅提升了使用者與AI建立連結的頻率與深度。 火山引擎智能視頻技術負責人裴志偉指出，視頻通話等多模態場景「極大拓寬了技術方案的普適性，帶來更多想像力」，同時也讓豆包獲得大量流量——「幾乎沒有做太多投放，業務規模就翻了10倍，從千萬級DAU變成億級DAU」。然而，這種多模態體驗並非僅靠模型能力就能達成。當使用者打開攝像頭與麥克風後，真正影響感受的關鍵在於傳輸品質：連線是否夠快、弱網下是否穩定、音畫是否同步、使用者打斷能否被即時響應，以及模型能否在正確時間拿到正確資訊。 正因如此，國內的豆包與海外的ChatGPT都在積極建構一套能讓AI與人自然溝通的成熟技術底座。OpenAI在7月8日推出全新的GPT-Live，將連續對話與更深層的搜尋、推理和智能體任務解耦，打造出一個獨立、低延遲、可打斷、可持續的多模態資訊交互層。而在稍早舉辦的2026火山引擎FORCE原動力大會上，火山引擎也介紹了支撐豆包即時多模態交互的「多模態傳輸系統」（MMT）。雙方想要解決的不只是單純的音視頻性能問題，而是為Agent時代搭建一套能支撐大規模、多場景、低延遲、可打斷、可同步的多模態傳輸底座。 傳統的音視頻傳輸技術在面對Agent時代的多模態需求時，已經明顯不夠用。豆包最開始從語音交互切入，選擇了WebSocket作為連接方案——它簡單、標準、支援全雙工與長連接，穿透性也不錯。對當時聚焦語音驗證的豆包來說，先用WebSocket把使用者與模型連起來，確認方向有效，比直接搭建複雜的音視頻系統更重要。但WebSocket很快暴露出弱網體驗差的問題，影片丟包、延遲不可控，直接影響模型的反應與回答品質。裴志偉說明，日常應用中若延遲抖動超過1秒，模型接收到的資訊就會變形，造成回答失真或乾脆不回應。 為解決弱網優化，豆包引入了QUIC方案。相比WebSocket，QUIC在弱網恢復、多路複用與連接遷移上更適合行動端場景，讓豆包在耳機、車載、機器人、智慧眼鏡等更多路、更複雜的環境中也能穩定高效傳輸。但當豆包把視頻通話列為重點能力時，QUIC也無法滿足需求，這時必須升級到WebRTC。WebRTC能做到超低延遲，端到端延遲比QUIC最佳化約10%，同時具備完整的影片鏈路能力，內建音視頻編解碼、回聲消除，並且有瀏覽器原生支援。這些能力使豆包反應更快、能被自然打斷、聲音與畫面更接近真人交流。 然而，WebRTC也不是面向AI交互的多模態傳輸最優解。火山引擎判斷，這類多模態傳輸系統可能是目前最複雜或規模最大的RTC系統，服務體量可能達到過去RTC需求的100倍到500倍。億級用戶、長時間在線、高頻呼叫的AI場景會不斷放大成本與穩定性壓力。此外，人與人通話時，音視頻內容按時間連續產生，系統只需穩定地從一端傳到另一端；但在AI交互中，模型可能在短時間內集中生成大量內容，使用者也可能隨時打斷、追問、切換畫面。多模態傳輸鏈路必須做到「即時中的異步」，提前緩存、減少加載時間。更核心的差異在於，傳輸目標已經改變——人與Agent交互追求的是模型能在正確時間拿到最有價值的資訊。當使用者問螢幕上一行小字時，繼續傳一段低碼率影片未必是最佳做法，更合理的方式是觸發高清圖、抽幀或局部增強，讓模型先看清問題本身。 WebSocket、QUIC、WebRTC雖然在不同階段解決了豆包的現實問題，但難以單獨支撐未來規模更大、場景更複雜的即時多模態交互。因此，豆包需要一套全新面向AI交互的多模態傳輸鏈路：建聯要更快，從秒級壓到數百毫秒；端到端延遲要對齊RTC；弱網體驗要更穩定，適應移動、出境、地鐵、電梯等複雜場景；同時支撐億級併發，並把長期成本控制在可接受範圍。 為此，火山引擎選擇利用C/S架構來搭建這套系統，以支援複雜的網路傳輸策略、傳控策略、播控策略，以及多模態會話系統與交互能力的進一步拓展。具體做法是，在客戶端保留成熟的採集、編碼、回聲消除等能力，同時把底層網路庫換成QUIC庫，增加弱網恢復、多路複用和連接遷移能力，讓使用者側的聲音和畫面更快、更穩地被傳送出去。傳輸層則基於MoQ協議實現更好的會話控制——判斷不同模態之間的關係：哪一路音頻要優先、哪一幀影片更值得送給模型、哪些內容需要可靠傳輸、哪些可以為了低延遲做取捨，這些都不是單純的網路問題，而是會話控制問題。MoQ信令上會有分層的邏輯單元支援更精細的會話控制。 在服務側，網關扮演更關鍵的角色。使用者傳來一句話，網關可以選擇是否直接送往模型；使用者打開攝像頭，網關需判斷是否需要抽幀、是否需要高清圖、是否要結合模型反饋改變處理策略。火山引擎在這裡引入了MediaKit同源的處理算法，服務於即時傳輸場景。目前這套系統已開始在豆包中落地，近期更新過豆包的用戶已有相當比例使用新的多模態傳輸鏈路，意味著它已進入真實的C端高併發場景，而非僅在內部測試。 火山引擎會繼續將這套在豆包內部跑通的新系統輸出給更多客戶：需要一站式服務的客戶可直接獲得完整的多模態交互Agent；希望保留Agent定製空間的客戶，可獲得前後處理能力；自身有較強音視頻處理能力且高度定製化需求的客戶，則可直接採購多模態傳輸與基礎處理能力。這不是簡單把豆包的視頻通話能力外溢，而是把一套被真實高併發場景驗證過的多模態傳輸能力，拆成即時傳輸網路、傳輸SDK、傳輸網關、處理網關等不同模組，讓不同開發深度的AI應用都能按需接入。 豆包的視頻通話只是前臺入口，背後是火山引擎在超大規模C端流量與自身產品化能力之間快速沉澱的多模態傳輸系統，並透過豆包真實驗證了這套系統能否在真實流量、複雜網路、高頻交互中跑通。長遠來看，多模態傳輸很可能從通信管道變成Agent時代的人機交互技術底座。過去兩年，大模型競爭圍繞參數、推理、上下文、多模態理解能力，行業評價AI能力的座標往往是誰能回答更準確、推理更複雜、理解更長上下文。但當AI從聊天框走向更多真實場景，保證體驗下限就變得同樣重要。沒有穩定、低延遲、低成本的多模態傳輸，再強的模型也很難進入高頻、長時、移動化、硬體化的真實場景。用戶不會關心底層協議，但能感知到模型是否真的「跟上了自己」。模型決定智能上限，傳輸決定體驗下限，這是AI產品化的硬約束。 正因如此，火山引擎與OpenAI都在建構新的多模態傳輸技術底座。OpenAI的GPT-Live可以把任務交給另一個模型，同時自己繼續維持對話，本質上是將「自然交互」與「深度智能」拆成兩個協作層：前者負責低延遲、持續、可打斷；後者負責複雜任務與更強推理。儘管GPT-Live初期尚未把語音與影片或螢幕分享完全結合，但下一步顯然是要將語音、視覺、螢幕與工具呼叫納入同一個即時會話系統。使用者與AI的關係，將從任務式查詢變成更連續的陪伴式交互。豆包的視頻通話之所以深受喜愛，不是因為簡單「增加了攝像頭」，而是因為多模態傳輸讓AI從工具變成了更接近「在場者」的角色。隨著Agent競爭從模型能力延伸到工程能力，行業需要一套完善的AI原生基礎設施。火山引擎在多模態傳輸上的投入，不只是為豆包補齊一條技術鏈路，而是在為Agent時代進行底層基建。當AI開始即時進入真實世界，誰能長期、穩定、低成本地支撐這種交互，誰就更接近下一代AI應用的基礎設施位置。
Related
相關文章
2026AI應用半年報：豆包居首，前10穩定
2026AI應用半年報：豆包居首，前10穩定 王小娟 發表於 2026年07月15日 07:36 摘要：第一梯隊格局初定。 7月14日，QuestMobile發佈《2026年上半年AI應用市場發展洞察報告》。 數據顯示，截至2026年5月，國內AI應用市場在多終端上的滲透率出現明顯分化。其中，AI原生APP月活躍用戶規模（MAU）達到4.99億，同比增長85.4%，成為增長最快的渠道。 過去一到兩年間，大模型廠商經歷了一輪高強度的“拉人大戰”，各家通過大規模投流與預裝合作搶佔用戶手機桌面。 從最新數據來看，這輪流量爭奪後的頭部競爭格局已趨於穩定。豆包、千問、DeepSeek構成了當前月活過億的第一梯隊，MAU分別為3.82億、1.67億和1.30億。 其中，起步較早且營銷投入較大的豆包在活躍用戶絕對值上保持領先；千問同比增速達到5792.9%，表現出較高的基數擴張能力；DeepSeek則依靠技術表現與社區傳播穩居第三。 數據表明，單純依靠大規模投流拉新的行業增長模式正在發生轉變，用戶向少數幾家頭部應用集中的趨勢正在確立。 具體而言，報告統計了五類AI應用渠道的用戶規模數據，反映出用戶交互習慣的實質性遷移。 除AI原生APP外，終端廠商AI應用，如手機系統自帶的AI助手覆蓋面最廣，MAU達到7.55億，同比增長14.0%；AI應用插件MAU為6.44億，同比下降7.9%。 在PC端，網頁端AI應用MAU為1.72億，同比大幅下滑22.8%；而基數較小的PC客戶端AI應用MAU為0.18億，同比增長20.1%。 這組升降對比顯示，早期的AI工具體驗多依賴於PC網頁端或作為第三方軟件的插件存在，而現階段，獨立封裝的AI原生APP以及手機廠商系統級集成的AI功能已經成為主流。PC網頁端活躍度的下降，印證了AI工具正從低頻的“嚐鮮”場景，轉向以移動端為主的日常應用場景。 在完成初期的
出版商與作者集體起訴谷歌，指控其盜用版權內容訓練 Gemini AI
首頁 > 智能時代>人工智能 出版商與作者集體起訴谷歌，指控其盜用版權內容訓練 Gemini AI 2026/7/15 15:36:13 來源：IT之家 作者：遠洋 責編：遠洋 評論： 感謝IT之家網友 軟媒新友1916289 的線索投遞！ IT之家 7 月 15 日消息，一群出版商和作家已對谷歌提起集體訴訟，指控這家科技巨頭未經授權使用他們的版權作品訓練其人工智能平臺 Gemini。原告方包括 Hachette Livre、Cengage Group、Elsevier、作家 Scott Turow 以及 S.C.R.I.B.E. 等。訴訟還指控，谷歌曾故意刪除或修改這些作品中的版權信息，以“掩蓋 Gemini 模型是基於被盜資料訓練而成的事實”。這起訴訟只是出版商、作者以及其他版權持有者針對 AI 公司發起的眾多訴訟之一。目前，包括谷歌、Meta、OpenAI 和 Anthropic 在內的多家人工智能企業，都面臨類似版權糾紛。雖然這些案件大多仍在審理過程中，但美國加州法院此前已有兩起早期裁決傾向於支持 AI 公司。相關法官認為，在美國版權法框架下，使用受版權保護的內容訓練 AI 模型可以被視為“合理使用”（fair use）。而美國現行版權法律是在互聯網出現之前制定的，因此如何適用於 AI 時代仍存在大量爭議。不過，Anthropic 曾因訓練 AI 時盜用版權作品而被處以 15 億美元（IT之家注：現匯率約合 101.73 億元人民幣）罰款，這成為美國版權法歷史上金額最高的一筆賠償。大約 50 萬名作者符合賠償資格，每人至少可以獲得 3000 美元（現匯率約合 20346 元人民幣）。但許多作者選擇放棄領取和解賠償，希望繼續通過法律途徑追究 AI 公司在訓練模型時使用版權內容的問題。加州法院此前的裁決並不意味著其他法院一定會認可科技公司的“合理使用”抗辯。不過，這一問
印奇沒聽勸
賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機構庫投資機構職位推介投資人認證投資人服務尋求報道36氪Pro創投氪堂企業入駐創業者服務創投平臺AI測評網 首頁快訊資訊推薦財經AI自助報道安徽最新創投汽車科技專精特新直播視頻專題活動搜索尋求報道我要入駐城市合作印奇沒聽勸中國企業家雜誌·2026年07月15日 15:19“中國大模型公司需要走出一條中國自己的商業化和產業化之路。” “如果幹得晚了，基本上就不用幹了；如果幹得早了，有可能就白乾了；如果什麼也不幹，以後什麼也幹不了了。”階躍星辰董事長、千里科技董事長印奇在發佈會上，分享了一個AI行業的段子。 這也意味著，AI時代的創業，把握時機至關重要。“我們相信AI+終端的故事，並且堅定地推動這個戰略。我們也不能說現在就是最好的時機，這次我們勇敢地做出來，恰巧也做好了，也許未來回看這是一個不錯的時機。”他補充。 7月13日，印奇站在階躍星辰發佈會的聚光燈下，帶著公司的第一款AI手機亮相。這標誌著階躍星辰正式邁向軟硬一體路徑的關鍵“一躍”。階躍星辰發佈了智能體原生操作系統Step AOS、個人智能體階躍Amoo及AI終端品牌STEPX，首款智能體手機STEPX Neo正式亮相。 階躍星辰成立於2023年4月，但在“百模大戰”競爭最激烈的一年裡近乎隱身，直到2024年3月才首次公開亮相，正式對外發布千億參數模型。本次發佈會上，印奇列了一張表，展示了過去三年階躍星辰所做的數十款模型。外界稱其為“多模態卷王”，印奇“自嘲”說更應該叫
畫面詭異、基調悲觀，Anthropic 新廣告引爭議
首頁 > 智能時代>人工智能 畫面詭異、基調悲觀，Anthropic 新廣告引爭議 2026/7/15 15:24:07 來源：IT之家 作者：遠洋 責編：遠洋 評論： IT之家 7 月 15 日消息，以創意營銷聞名的人工智能公司 Anthropic，最近可能在廣告創意上“玩過頭了”。這家 AI 公司最新推出的一支廣告名為《艱難問題中仍有希望》（“There's hope in hard questions”），但廣告中的詭異畫面和悲觀主義氛圍讓不少觀眾感到不安。廣告開場便是一棟正在燃燒的房屋（這樣的開頭顯然並不溫馨），隨後切換到一系列靜態圖片。這些畫麵包括：一群正在被人臉識別系統監控的人群；一名睡在街頭的流浪者；墓地中一排排的墓碑；以及一群似乎正在礦井中勞作的工人，而那裡（推測）正在開採用於製造智能手機的原材料。與此同時，廣告配套的旁白中，不同人物提出了一些問題，例如：“AI 可以被信任嗎？”“如果我們需要踩剎車，誰會來踩？”簡單來說，這並不是一支典型的、適合全家觀看的溫情廣告。不過，這種表達方式其實並沒有完全偏離 Anthropic 過去的品牌定位。這家公司一直試圖將自己塑造成其他 AI 企業的“道德對立面”。這一次營銷活動 —— 通過強調人們對 AI 風險的擔憂，展示 Anthropic 對這些問題的重視，從而證明自己更有責任感，似乎延續了此前的宣傳策略。但並不是所有人都買賬。Anthropic 最大競爭對手、OpenAI CEO 薩姆 · 奧爾特曼（Sam Altman）首先發起了批評，並進行了諷刺。當地時間週一，奧爾特曼在社交平臺 X 上發文稱：“我還以為這是諷刺作品呢，一直以為賬號名會拼成 c1audeai 之類的。”（IT之家注：Claude 是 Anthropic 旗下 AI 助手品牌，奧爾特曼此處是在調侃 Anthropic 的廣告風格。）隨後，更多質疑聲
榮膺2026 WAIC“鎮館之寶”！大模型原生智能體手機STEPX Neo解鎖AI交互新範式
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 榮膺2026 WAIC“鎮館之寶”！
小米開源 Xiaomi-Robotics-U0：具身領域首個“通吃”四類任務的統一生成模型
小米開源了具身領域首個統一生成模型 Xiaomi-Robotics-U0，擁有 380 億參數，能一次處理場景生成、軌跡遷移、影片生成及圖像編輯四類任務。該模型在 WorldArena 評測拿下全球第一，真機測試中任務完成進度平均提升超過 26%，相關程式碼與權重已全面開源。