Agent 進化論：從對話到協作

一位門市人員在使用AI製作宣傳影片時，不再像過去那樣鉅細靡遺地撰寫提示詞（Prompt），而是直接開啟對話，告訴AI「幫我剪一條今天新品上架的影片」，接著透過連續幾輪溝通敲定細節——這個場景的轉變，反映出人與AI的互動模式正在發生根本性變化。如今，更多使用者開始用語音與AI Agent討論程式功能該如何設計，或是在玩遊戲時不斷與AI助手溝通當前任務與收集進度。進入Agent時代，AI不再只是在輸入框另一端等待指令的系統，而是參與需求討論、方案判斷與任務執行的全過程。這種角色轉變，也帶動了多模態對話的快速成長。

根據數據，豆包App在2025年第一季的音頻用量較前一季增長約200%，影片用量更增長約350%；近一年來，音視頻模型的日均Token消耗量已達千億級別。聯想天禧AI看世界功能從2025年8月上線至2026年5月，人均對話輪次提升至上線時的1.65倍，是傳統一問一答主對話的3倍。當愈來愈多人從打字轉向影片或語音與Agent溝通，多模態對話很可能成為人與Agent協作的主要互動界面，語音、影片、螢幕共享與環境資訊都將融入其中。從本質上來看，多模態互動改變的不只是使用者下達指令的方式，更關鍵的是Agent進入任務的時間點。

過去，使用者必須在一段Prompt中完整描述背景、目標、限制條件與期望結果，若寫得不夠周全，結果就容易出現偏差。現在，使用者可以像與人類協作一樣，先有一個模糊想法，再在對話中讓Agent追問細節，逐步補足資訊，最終形成清晰的執行方案。這不僅降低了溝通門檻，也讓問題的上下文被更完整還原——尤其在程式設計、設計、辦公等場景中，使用者往往只有方向而非完整需求文件，透過多輪討論，Agent能追問關鍵條件、澄清模糊表達，再進入執行。Vibe Coding場景便是一例，Agent的價值不僅在於寫程式碼的那一刻，更多體現在需求討論與方案澄清階段。

TRAE Work「語音討論」功能的數據顯示，使用者平均每通對話與Agent互動17輪，60%的對話屬於探索發散型，70%用於方案討論，僅30%用於程式碼生成。此外，多模態對話也順應了使用者工作重心從執行轉向監督的趨勢——未來人不再需要全程守在螢幕前，而是由Agent持續推進任務，遇到不確定或需要授權的環節再提醒人介入，語音與影片將成為更自然的監督方式。要讓多模態對話真正從「輸入方式」升級為支撐任務判斷、方案形成與執行的協作機制，Agent必須在四個維度具備接近人的溝通能力：聽覺、視覺、記憶與意圖。在聽覺方面，真實環境的噪音、回聲與多人對話都是挑戰。

火山引擎針對Agent優化回聲消除，重點並非人耳聽感，而是語音識別的完整性，必須在壓制回聲的同時保護主講人聲音頻譜；同時導入聲紋識別鎖定主講人，結合聲學與語義的聯合理解，讓Agent分辨「這句話是否是對自己說的」。對終端場景尤為重要，聯想天禧AI看世界在辦公、戶外、看球、健身等真實環境中，藉助火山引擎聽覺能力，將自由打斷、低延遲響應與高擬真音色打造成體驗亮點。在視覺方面，目標是讓Agent與使用者共享問題現場。聯想天禧AI看世界打通即時對話、螢幕共享與攝影機共享三種模式，使用者可問Excel操作、要求評價穿搭，或讓AI估算食物熱量。關鍵並非讓Agent看到更多畫面，而是看到「更有效的畫面」。

連續影片存在大量重複、模糊與低價值幀，若全部送入模型將增加成本與延遲。火山引擎引入選擇性注意力，讓Agent先根據使用者意圖建立即時視覺理解任務，帶著目標觀看影片，例如在球賽場景中透過球衣號碼辨別球員，進而追蹤特定動作。記憶方面，真正的類人溝通必須能跨越單次會話。火山引擎建構三層記憶體系：增強上下文負責將多模態解析出的主體類型、時空位置、行為動作等結構化資訊提供給Agent；短期記憶記錄數分鐘前的畫面或聲音；長期記憶則抽象用戶長期互動中的關鍵行為、習慣與重要事件。

聯想天禧AI據此打造跨端、跨會話、跨場景的記憶系統，覆蓋PC、Phone、Pad，使用者無論透過文字、語音或影片互動，記憶都能沉澱並在下次會話中被調用，讓Agent沿著使用者的生活與任務脈絡持續積累上下文。意圖則解決Agent能否參與任務定義的問題。人類溝通中有大量信息不會被明確說出，例如使用者說「幫我做一個權限管理系統」，真正重要的可能是權限劃分方式、是否需要審批、是否要與現有系統打通。一個只會執行的Agent會立刻開始生成結果，而一個接近協作者的Agent則會主動追問關鍵約束，把模糊需求變成可執行方案。

聽覺解決「聽見誰」，視覺解決「看見什麼」，記憶解決「記得哪些上下文」，意圖解決「到底要完成什麼任務」——四項能力共同構成Agent從對話走向協作的基礎。展望未來，多模態互動不會只是某個App裡的功能模組，而是會成為通用的Agent任務界面。過去語音、影片、拍照識別、螢幕共享往往是分散功能，使用者需在不同入口間切換；未來這些能力將融合成一個持續感知、持續協作的入口，使用者可隨時切換模態與Agent溝通，Agent則調用工具完成協作任務。

聯想天禧AI看世界已在終端展現此趨勢——它整合了火山引擎的RTC/AgentRTC、端到端語音、TTS、ASR、Seed大模型、視覺理解、多模態傳輸等能力，再結合聯想自身的會話管理、記憶管理、跨端同步、人設管理與場景編排，呈現在PC、Phone、Pad等設備上。AI眼鏡被視為未來的關鍵硬體產品之一，正因為它天然接近人的視角，能持續接收聲音、畫面與環境資訊，是為「隨時可見、隨時可說、隨時可協作」的Agent準備的理想載體。

當Agent能聽、能看、能記住、能理解意圖，使用者就能透過AI眼鏡這類伴身硬體，以自然語言與視覺操控Agent完成現實中的任務，例如看到設備異常直接詢問原因，或在陌生環境中請Agent結合畫面給予行動建議。這種互動閉環本身就是一套適配Agent的通用操作界面，接近影視作品中鋼鐵人的賈維斯或高智能方程式賽車的車載電腦——它們不是被動等待指令的工具，而是持續理解環境、記住使用者、適時介入並協助執行任務的夥伴。對Agent來說，下一代入口或許不只是一個應用或一件硬體，而是一套圍繞多模態對話建立起來的協作系統。