上交大張偉楠教授：AI如何走出屏幕，真正改變物理世界？ | CNCC 2026

物理智能的核心挑戰：讓 AI 在充滿不確定性、行動後果難以撤銷的真實世界中，形成感知、預測、行動與持續學習的完整閉環。作者丨張 馳 編輯丨馬曉寧 大語言模型已經得到了長足的發展，但 AI 的許多能力仍然發生在屏幕之內：理解文字、生成內容、編寫代碼，以及調用數字工具。把這些能力帶入工廠、實驗室和城市設施，意味著智能系統必須進一步面對物體、空間、力與時間，在持續變化的環境中作出判斷，並承擔行動的實際後果。AI 如何從處理數字信息走向可靠地參與物理過程，正是“物理智能”要回答的問題。這一步跨越的難度，很難僅用模型參數或推理能力來衡量。

機器人拿起一隻杯子，既要識別位置和形狀，也要判斷接觸、摩擦與受力；實驗設備執行一次操作，既要理解任務，還要滿足精度、時延和安全約束。網頁操作失誤可以刷新，物理世界中的碰撞、損壞卻未必能夠撤銷。感知是否及時、動作是否可控、失敗後能否恢復，都會直接影響系統能否真正投入使用。在今年 CNCC 首日面向博士生、青年學者的 Tutorial 專題論壇環節中，上海交通大學計算機學院教授、上海人工智能實驗室物理智能中心負責人張偉楠發表了題為《物理智能及關鍵技術概述》的演講。在他看來，基礎模型、世界模型、強化學習與高吞吐仿真、虛實遷移，以及硬件成本的下降，正在共同推動物理智能從研究願景走向可行實踐。

與此同時，真實交互數據昂貴、環境只能被局部觀測、長時程預測誤差累積等問題，仍然制約著能力的擴展。圍繞這些問題，張偉楠梳理了從硬件與系統、數據與仿真，到感知、世界模型、操作與運動控制，再到物理智能體和行業應用的七層技術棧。他強調，各層已有成果，真正困難的部分往往在於層與層的銜接，以及能否把感知、決策、執行和反饋連接成可靠的整體。模型訓練完成之後，進入真實世界的持續學習同樣重要。這場演講，為機器人、自動化、仿真和科學智能等方向，提供了一套相互連接的討論框架。

它也提出了一個更長遠的問題：當AI 開始參與生產、實驗乃至更大尺度的物理建設，我們應如何同步建立評測與安全機制，讓能力增長轉化為可靠的現實價值？同時在CNCC 2026 Tutorial 會場，上海人工智能實驗室物理智能團隊發佈了專著Physical AI: Concepts, Techniques, and Challenges，該專著系統梳理了物理智能的基本概念、關鍵技術與發展挑戰，旨在為相關領域的研究與實踐提供參考。專著預印本見https://arxiv.org/abs/2610.27045。

本屆CNCC Tutorial 升級為 11 大主題板塊、24 場內容，深度、廣度和時長在學術會議中並不常見。現場多場Tutorial“站票告急”，更值得關注。以下為對演講實錄的精編。01從屏幕後走向物理世界今天，我想討論三個問題：物理智能是什麼，它與具身智能有什麼區別；它包含哪些技術層次，這些模塊如何組織；以及我們應該怎樣推進它的發展，長期目標是什麼。大家有沒有注意到，我們今天使用的大語言模型、智能體和各種應用，絕大多數還在屏幕後面？數字智能已經非常繁榮，但它與物理環境的耦合仍然有限。

如果把“與物理世界的耦合程度”作為一條發展軸線，就可以看到這樣一條路徑：從數字AI 工具，到仿真環境中的智能體，再到真實環境中的單智能體、多智能體協作，繼而走向基礎設施級別的物理智能，最終形成廣域、泛在、可獲得的物理智能服務。從這個維度看，數字 AI 即使在其他方面非常先進，仍然只是一個早期起點。沿著這個方向，我們還有非常廣闊的空間需要探索，但物理世界也帶來了三類本質困難。第一，是不確定性下的後果性交互。網頁操作錯了可以刷新，遊戲可以重置，但機器人撞到桌子、無人車發生事故，不能一鍵返回。因此，我們必須在尚不能完全確定環境狀態時，提前判斷行動可能帶來的後果。第二，是對演化中物理狀態的感知。

遊戲智能體有可能通過引擎獲得允許訪問的全部信息，但物理世界的感知始終是局部的。人類的感官與儀器，也從未提供完整的世界。因此，建模要承認部分可觀測性，也要為未來新的傳感方式和輸入輸出留好接口。第三，是受物理結構約束的學習與泛化。牛頓定律等規律之所以有價值，是因為它們刻畫了世界的結構，幫助我們預測未見過的情形。對於模型，我們不一定要先把規律全部寫成公式，也可以讓它從觀測與交互中學習，將物理結構編碼到內部，實現分佈之外的泛化，也就是 OOD 泛化。為什麼現在有條件推進這件事？我認為，有五個條件正在成熟。首先是基礎模型。過去，我和學生設計各種強化學習方法，希望提高智能體的泛化能力。

現在我越來越認為，一個有效起點，是直接在較強的基礎模型上開展強化學習。很多泛化能力可能來自基礎模型已有的積累，而不只是算法中新增加的損失函數或元學習機制。其次是世界模型，它讓智能體能夠在行動之前預演後果，減少盲目試錯。第三是強化學習與高吞吐仿真的發展，為多輪交互和策略優化提供了基礎。第四是虛實差距正在縮小，我們能夠更好地融合大量仿真數據與少量、準確的真實數據。第五是硬件和試錯成本下降，讓本體制造與實驗迭代越來越可行。

02物理智能的核心，是系統性的閉環能力我們嘗試這樣定義物理智能：人工系統感知物理環境狀態，維持任務相關的物理關係與動作後果表徵，通過物理接口選擇並執行干預，在物理、運行和計算約束下，利用反饋達成目標的能力。這個定義的核心，是讓人工系統有效地與物理環境交互：獲得觀測，理解狀態，推演變化，選擇動作，再根據環境反饋適配自身。其中有幾個關鍵含義。首先是物理接地，即感知與動作真正接入物理環境；其次是明確干預通道，知道系統能通過儀器功能、機器人動作或運行參數改變什麼；再次是利用反饋判斷干預效果，修正行為；最後是建立證據支持，將理解、預測、規劃、執行和適應連接起來。

在難以回退的環境中，這條完整鏈路對於可靠泛化尤其重要。很多人會問：它與具身智能有什麼區別？便於理解的說法，是物理智能的研究範圍更廣。更準確地說，具身智能側重智能體及其身體，物理智能側重整個系統能否形成感知、決策與物理後果之間的閉環。比如，工廠的智能製造系統、無人礦山的感知與調度系統，都可以成為物理智能的載體。DeepMind 使用深度強化學習控制 TCV 託卡馬克裝置中的等離子體位形，也是面向科學研究的物理智能應用，卻不是通常意義上的移動或操作機器人。世界模型、物理仿真器同樣屬於這一技術體系，但本身不等同於具身智能體。

部署於真實環境中的具身智能，是物理智能的重要實現形式；物理智能還可以覆蓋基礎設施和科學設施等場景。它也與數字孿生、信息物理系統存在聯繫。數字孿生經常強調從真實到仿真，以及在仿真中的分析推演。比如，從照片恢復可漫遊的三維環境，如果尚未反過來影響真實世界，就主要完成了閉環中的一個方向。信息物理系統強調可靠感知、及時通信和魯棒控制；我們今天討論物理智能，還特別強調基礎模型帶來的學習、泛化與適應能力。因此物理智能關注的不只是某一種技術或某一個智能體，而是人工系統能否將對物理環境的感知、對行動後果的預測以及實際干預和反饋結合起來，形成有效的閉環。

不同技術可以在這一過程中發揮不同作用，而物理智能的關鍵，是讓這些能力在具體任務和真實約束下協同起來，使系統不僅能夠理解和預測物理世界，還能夠據此採取行動，並根據實際結果持續調整。應用範圍也會隨能力增長而擴展。我們不僅希望它為已有業務降本增效，還希望降低門檻、激活過去無法實現的需求，在製造、服務、城市運行和科學設施中催生新的應用。03技術全景：七層技術棧與兩類貫穿回路我們把物理智能的技術全棧梳理為七層，從下往上分別是：1.硬件與系統：傳感器、執行器、端邊雲協同，以及可靠部署。2.數據與仿真基礎設施：示範採集、物理引擎、虛實遷移和數據迭代。3.

感知與認知：多模態融合、三維和四維空間表徵、場景語義與交互感知。4.世界模型：表徵物理狀態與關係，預測動作後果及其不確定性。5.基礎模型：面向操作任務，以及面向全身運動控制的兩類模型。6.物理智能體：目標接地、任務分解、動作組織、失敗恢復和多智能體協作。7.應用層：製造、服務、交通、實驗室、建築能源等行業應用。這裡，操作與全身運動控制是基礎模型層中的兩類關鍵能力，下面分別展開。貫穿各層的還有兩類迴路。一類是在線閉環：觀測向上傳遞、指令向下執行，涉及毫秒、秒、分鐘等嵌套的時間尺度。另一類是離線數據飛輪：部署數據迴流，驅動學習和模型更新，再部署回系統。

每一層都已有代表性成果，但層間接口與閉環仍是共同難點。我們希望把這些能力組織起來，適配製造、服務、交通和科學實驗等具體業務。▎感知與認知：把物理信號變成可用於決策的狀態智能體進入物理世界後，僅感知這一步就很難。如果能將有效的物理信號準確地放進上下文，任務能力就可能大幅提升。因此，我們會搭建動作捕捉系統獲取機器人狀態，使用高速相機捕捉牛頓擺等物理過程。感知設備與模型，是後續學習和控制的基礎。這裡有三條主線。第一是多模態感知與融合。視覺提供身份、位姿、幾何和運動信息，力覺與觸覺揭示接觸、摩擦和材料性質，本體感覺測量自身構型與負載。第二是三維、四維空間感知。

點雲、體素、隱式場以及以物體為中心的表徵，需要刻畫場景幾何及其隨時間發生的變化，並將先驗結構引入估計。第三是高層感知與認知。系統不僅要識別物體，還要理解場景語義、物體屬性和交互關係。例如，視覺上的接觸，並不意味著接觸已經能夠承重。觀測不足時，系統還可以主動改變視角、調整傳感器或探觸物體，將信息採集納入決策。物理感知的目標，是在算力與環境約束下，為控制提供及時、經過校準、帶有不確定度的狀態估計。即使估計準確，如果到得太晚，也可能無法用於控制。▎數據與仿真：數據金字塔中的成本與質量權衡物理智能的數據有一個天然困難：許多交互信息沒有被保存，而是在日常生活中流失了。

互聯網視頻可以大規模獲得，但只記錄了某個視角下的物理過程，力覺、觸覺、熱感知等信息往往缺失。具身操作中存在一個數據金字塔。最上層是機器人遙操作數據，例如遙控機械臂拿起咖啡。這類數據貼近真實執行，但設備複雜、採集成本高，還需要培訓操作員。中間是手持夾爪設備數據。人直接拿著夾爪操作物品，記錄末端位置、運動軌跡和夾取過程，不必遙控完整機械臂，採集更快，但仍需要專門設備。再往下是人類第一視角視頻。通過頭戴設備、眼鏡或手機，就可以記錄用手完成任務的過程，並與互聯網上的手工、家務、烹飪視頻連接起來。越貼近機器人執行的數據，通常越昂貴；越容易規模化獲得的數據，與執行之間的距離也可能越大。

仿真是非常關鍵的一環，甚至可能改變數據獲取方式。如何組合遙操作、手持設備、人類視頻和仿真數據，確定它們的配比，是世界模型與操作模型訓練的重要問題。▎世界模型：預測動作之後，世界會怎樣變化如果說語言模型預測下一個 token，世界模型可以粗略理解為預測下一個狀態。但對物理智能而言，狀態預測需要以動作為條件。我們通常建模局部環境，外部動作構成干預，模型就需要預測它帶來的後果。世界模型有不同路線：觀測層面的生成、底層物理結構的表徵、潛在空間中的動力學；用途也包括規劃控制、仿真和渲染。我們可以從模型表徵和使用目的兩個維度梳理這些路線。

例如，一類模型根據方向按鈕生成後續視頻；我們團隊的世界動作模型，則探索讓配備靈巧手的機械臂在化學實驗中操控移液槍，完成複雜、精細的操作。從我們的研究探索來看，世界模型並非要完整復刻現實世界，而是要在有線計算資源限制下提取對理解和預測物理變化有用的信息，賦能智能體與物理世界高質量交互。面向物理世界的模型需要關注全模態、異步信號與局部觀測：既要融合不同感知信號，也要適應預測與動作控制的不同節奏，並在觀測不完整的情況下推測世界狀態的變化。這些要求為世界模型的技術研發與能力評測提供了明確方向。架構和應用可以不同，但從物理智能的目標看，世界模型最終應服務於行動，幫助智能體更好地選擇動作、控制過程。

理解它的作用，不能只看生成畫面的效果，還要看它對後續決策與真實交互提供了什麼幫助。▎操作基礎模型：從視覺、語言走向動作操作基礎模型是具身智能的一條主要路線，也經常被稱為“具身大腦”。其中的重要方向是VLA，即視覺—語言—動作模型。它通常以視覺語言模型為基礎，增加動作輸出模塊。視覺語言模型可以接收圖像與語言，但輸出主要還是語言；加入動作模塊後，可以通過流匹配、擴散等方法輸出動作序列，讓機器人以相應頻率執行。這一方向正在向長時程任務、記憶與持續演進發展，也面臨通用多模態基礎模型的挑戰：一些原本專門構建的“具身大腦”能力，可能被通用模型吸收。

如果接受更高推理成本或更低執行頻率，強大的通用模型已經是值得重視的比較基線。上海人工智能實驗室的書生 VLA 模型，探索通過雙臂機械臂執行有機化學合成流程。我們希望它對操作物品、試管架位置和光照等變化具備泛化能力，像化學專業學生一樣，完成上層智能體交付的任務。▎全身運動控制：讓身體成為可控制的交互媒介機器人要完成操作，還需要運動到合適位置，保持能夠執行任務的身體狀態。因此，全身運動控制同樣關鍵，國內常稱這一層為“小腦”。這類模型並不一定很大。我們常用的一些模型只有幾十萬、不到一百萬參數，可以部署在端側芯片上，以 50 赫茲以上的頻率與物理世界交互。

我經常問學生：機器人的身體是 AI 的一部分，還是環境的一部分？直覺上，身體屬於機器人自己；但從強化學習建模的角度，也可以把身體看作一個能被智能系統相對可靠地控制的環境部分，再由它與外部世界交互。這個問題我也曾與 Richard Sutton 當面交流，他持有類似觀點。身體是智能系統高度依賴的交互媒介，但仍然具有需要學習和適配的動力學。因此，我們同樣需要對身體建模，讓底層控制具備泛化能力。▎物理智能體：組織長時程任務與持續運行操作與全身運動控制之上，是物理智能體層。它負責理解目標、拆解任務、組織執行，讓底層能力能夠服務於完整的業務過程。

對於長時程任務，僅有單次操作能力還不夠，還需要支持失敗後的恢復、記憶的利用、對環境的持續適應，以及多個智能體之間的協作。隨著通用基礎模型能力提高，基於這些模型構建機器人智能體的研究也會受到更多關注。如何把基礎能力組織成能夠長時間運行、持續演進的任務系統，是這一層的重要價值。▎硬件與系統：端、邊、雲之間的協同只要智能系統在物理環境中運行，就繞不開端、邊、雲之間的權衡。端側算力有限，但延遲低，可以更高頻地與環境交互；雲側能夠運行更大、更強的模型，卻受到通信與推理延遲的限制，執行頻率相應受限；邊緣側則介於兩者之間。不同任務對算力、時延與可靠性的要求不同。

因此，物理智能不僅是模型問題，還需要傳感器、執行器、本體、芯片與軟件之間的協同，通過合理部署，將各層能力連接成能夠實際運行的系統。04走向真實世界中的持續學習當前的核心挑戰，我概括為三個方面。首先，如何在觀察和干預中獲得可泛化的物理知識？未來的任務與環境不可能在訓練階段被窮盡。借用 Richard Sutton 關於“大世界”的思考，智能體不應被設想為在機房完成全部學習；進入真實世界後，持續學習才真正開始。知識也不一定表現為公式，它可以編碼在潛在空間及其動力學中，服務世界模型、操作與控制。其次，如何進行可靠的長時程預測？具有混沌特徵的系統，即使初始觀測誤差很小，長時間推演後也可能產生很大偏差。

感知精度與計算資源有限，我們必須在預測距離、累積誤差和算力之間權衡，讓預測真正服務決策。第三，如何真正閉合交互迴路？讓人形機器人進行拳擊對抗，僅僅準確知道對方在哪裡，就可能需要動作捕捉系統，否則需要人觀察並參與操控。這正是我們運動控制團隊面對的困難之一。這讓人想到莫拉維克悖論：人類毫不費力的感知與運動，可能是機器人最難獲得的能力；人覺得困難的記憶、複雜計算和長程推理，機器反而可能更容易掌握。未來，我們需要推進操作、視覺、全身運控等基礎模型的融合。融合不意味著只保留一個模型，不同任務的能力、計算成本與執行頻率存在權衡，需要有效組合。我們也需要讓智能體持續演進，並重視本體、芯片與軟件之間的協同。

把視角放到文明尺度，未來更大規模的空間開發和能源利用，也可能需要自主工作的物理智能系統。例如，在月球利用當地原材料建設設施，僅依賴人類直接施工很難實現。物理智能的本質，是感知、理解、預測、行動與持續適配的全流程閉環。物理通用人工智能可以成為長期目標，可靠性和安全機制也是通向這一目標的必要條件。05現場問答▎問：無線通信等領域的高精度數據採集昂貴，數據稀缺如何解決？張偉楠：很多領域都有類似困難。一種思路，是逐步建立從真實到仿真、再回到真實的閉環。雖然最初仍需要真實數據，但物理智能是交互式智能：仿真產生的數據可以改善智能體下一輪與真實環境的交互，讓後續高質量數據的獲取更高效，逐步降低成本。

具體實施還要結合領域知識，把這一迭代過程做得更充分。▎問：物理智能什麼時候能通過 Scaling 學到更多物理知識？張偉楠： Scaling 正從模型參數擴展到智能體與環境的交互。物理智能也適用這條路徑，只是構建和利用物理交互環境更慢。但物理世界足夠大，我們並不難找到智能體尚不能勝任的任務。關鍵是讓它接觸儘可能豐富的環境和任務。我們不必要求模型寫出牛頓定律，它可以在潛在空間中刻畫狀態變化的結構。這也是我們探索全模態物理信號感知基礎模型的原因：希望模型進入新環境後，能夠開始工作，並通過交互持續學習。