AMI Labs 馮雁：AI 邁向現實世界，世界模型不可或缺 | ICML 2026

在 2026 年 7 月 7 日開幕的 ICML 2026 大會上，AMI Labs 聯合創始人、香港科技大學電子與計算機工程系講席教授馮雁（Pascale Fung）發表了首場特邀演講。她與 Yann LeCun 同為 JEPA 世界模型路線的主要推動者，這場題為《Towards AI Agents in the Real World》的演講，系統性地回應了三個核心命題：世界模型為何對 AI 從數位空間走入物理世界不可或缺、JEPA 路線相較於生成式路線的優勢，以及團隊沿此方向完成的關鍵突破。 馮雁首先指出，未來在物理世界中運作的 AI 主要有兩大類型。第一類是嵌入可穿戴設備（如智慧眼鏡）的主動式輔助智能體，它與人類共享第一人稱的感知視角，能夠在過程中進行規劃並提供即時指導。第二類則部署於自動駕駛、家務機器人等自主系統中，屬於執行型智能體，必須能從高層語義指令一路分解到電機的細微動作。儘管兩者在型態與任務上差異很大，卻共享同一個核心能力基礎——對物理世界演化過程的預測能力。無論是預判使用者的下一步動作以便主動協助，還是推演機械臂的運動軌跡以避開障礙，這種預測都無法靠背誦文本或識別靜態圖像來達成，而是需要模型內建一套能夠進行因果推理的物理認知框架，而這正是世界模型的立足點。 針對當前世界模型領域中兩大主流路線的差異，馮雁也做了明確對比。生成式世界模型如 Cosmos 與 Genie，主張 AI 若要理解世界，就必須能完整生成每一個像素；而 JEPA 世界模型則追求因果正確性，而非像素的完美還原。結果顯示，JEPA 模型的參數量更小、推理速度更快，對噪聲與環境連續變化的魯棒性也更強，因此在物理世界的落地場景中展現出天然的結構性優勢。 沿著 JEPA 這條技術脈絡，馮雁與 LeCun 團隊已接連完成了 V-JEPA、V-JEPA 2、LeWorldModel 以及 VL-JEPA 等一系列標誌性研究，在自監督視覺表徵學習、機器人動作規劃及高效影片理解等任務上取得了領先表現。與此同時，團隊也透過開源數據集 Action 100M、主辦 ECCV 2026 可穿戴 AI 研討會以及設立挑戰賽等方式，系統性地推動 JEPA 路線的學術生態建設。 馮雁在演講中進一步解釋，為什麼不能直接使用大語言模型來處理物理世界的任務。她指出，LLM 從人類寫下的文本中學習世界，本質上是「二手」地學習，無法預測現實世界中的力如重力、質量，或在嘈雜環境中實際存在的物理力。此外，LLM 的訓練目標是優化對話流暢度或語言描述的優美度，而非因果推理，且耗費數萬億 token 學習後，理解物理的速度仍遠比人類慢。更關鍵的是，LLM 會產生幻覺，在文本中或許相對無害，但若發生在物理機器人身上，將導致撞擊等實際後果。 為了證明這點，馮雁展示了多項基準測試數據。在 DeepPhy 基準中，人類表現為 64.7%，而 Claude 為 41.2%，Gemini Pro 為 35.2%，GPT-4o 更低，僅略高於隨機。在 IntPhys 2 基準中，人類近乎完美，生成模型僅 55.6%，JEPA 模型則優於通用模型但仍低於人類。PhysBench 基準中，人類為 95.9%，所有 VLM 約 50%，最好的不到 52%。PAI-Bench 基準中，人類為 93.2%，VLM 約 65%。WorldPrediction 基準中，人類近乎完美，VLM 最多 50%。這些數據清晰顯示，儘管 LLM 與 VLM 能學習物理教科書，卻並不真正理解物理世界，存在明顯的「落地差距」。 馮雁接著介紹了 Yann LeCun 在 2022 年提出的「先進機器智能」系統架構，這也是 AMI Labs 名稱的由來。該架構包含感知模組、世界模型、規劃模組與記憶模組，分別對應人類大腦的不同功能區域。在自主系統中的機器人智能體方面，傳統的視覺基礎模型讓技能停留在訓練分佈附近，環境一變就容易崩潰。團隊需要的是一種能零樣本學習、具魯棒性、能在任何環境中學習任何技能，且使用更少數據的學習方法。 馮雁詳細比較了生成式世界模型與 JEPA 世界模型的設計哲學。生成式世界模型將世界建模視為影片生成，透過預測下一幀像素來模擬世界，輸出詳細的像素流。而 JEPA 則是一種表徵學習方法，不嘗試生成影片或預測下一幀圖像，而是預測未來世界狀態與動作的抽象表示，並捨棄不可預測或無關的細節。JEPA 不預測每個像素，而是預測嵌入，並使用不同的損失函數。這種路線的設計哲學是預測重要的信息，忽略不重要的信息，追求因果正確性而非像素完美。 在研究進展方面，馮雁介紹了 V-JEPA 論文，該模型使用自監督學習在總時長 465 年的影片上訓練，獲得了外觀與運動方面的最新視覺特徵，且在行動預期上達到最新水準，比生成模型小得多、更快、更魯棒。V-JEPA 2 則用於機器人規劃，能預測機械臂在初始狀態與目標之間的運動。AMI Labs 與 NYU 合作的最新論文 LeWorldModel，則是第一個端到端穩定訓練的 JEPA 模型，從原始像素直接訓練，僅使用兩種損失項，就實現了高效的模型預測控制規劃，數據與 Checkpoints 均已開源。 針對可穿戴智能體，馮雁提出了「視覺語言世界模型」（VLWM），這種方法不透過生成像素來建模，而是進入由語言描述的動作空間中建模。它不試圖生成語言本身，而是生成描述動作的語言。團隊提出的 VL-JEPA 模型，基於強大的 V-JEPA 2 編碼器，實現了開放詞彙的動作與狀態追蹤，並贏得了 CVPR 2026 EgoVis 行動識別挑戰賽的冠軍。VL-JEPA 是一種用於視覺語言的聯合嵌入預測架構，包含視覺編碼器與文本編碼器，推理時將視覺輸入與文本查詢編碼到公共嵌入空間，而非逐 token 生成，這使其能夠即時、高效地進行動作追蹤與影片理解。 馮雁最後展示了過程規劃的現場演示，系統能即時追蹤使用者動作，只有在看到正確動作時才會進行解碼並指示下一步。她強調，可穿戴智能體還需要「心理世界模型」，以理解人類使用者的目標與意圖，實現長期規劃與個性化，並適應偏好變化。她總結指出，JEPA 路線在效率、魯棒性與即時性方面具備顯著優勢，是 AI 從數位空間邁向現實世界的關鍵技術路徑。