吳佳俊 IROS 2026 演講：結構化表徵不是答案， 是機器人學會推理的腳手架 | IROS 2026

從結構化表徵到無演示學習之路。作者丨吳思夢 編輯丨岑 峰 一個盤子，一隻水龍頭，一小團藍色的洗潔精。吳佳俊用這樣一個幾乎沒有技術含量的廚房場景，開始了他在 IROS 2026 的演講。一個學生擠了洗潔精，打開水龍頭，洗了一半，臨時離開。現在，換成機器人接手。第一眼看過去，任務直接明確：把盤子洗乾淨，再放回去。但機器人真正需要處理的，並不是“洗盤子”這三個字。它得先知道，眼前哪個東西是盤子；得知道這個盤子到底髒不髒；得注意到盤子上有沒有那一小團藍色的洗潔精。它還得知道水龍頭現在是不是已經開著，盤子是不是已經被洗過，以及當它把盤子拿起來以後，桌面上是不是又暴露出了一個新的問題。

同一個任務，換一個初始狀態，答案就可能完全不同。盤子已經洗過了，就不用再洗。沒有洗潔精，就得先擠一點。盤子下面如果壓著髒東西，“把盤子洗乾淨”也就不再等於把盤子放上架子。人面對這些變化時，往往不會覺得自己做了什麼複雜的推理。我們只是看一眼，然後繼續做。但對機器人來說，每一次“看一眼然後繼續”，背後都藏著一個問題：它究竟把眼前的世界理解成了什麼？9 月 27 日，IROS 2026 開幕當天，斯坦福大學計算機科學系助理教授吳佳俊在 RoBoWoMo 研討會上發表了題為《Building Physical Agents via Structured Representations》的受邀報告。

過去幾年，他一直在研究如何從圖像裡恢復出藏在視覺背後的世界：幾何、材質、物理屬性，以及物體之間的關係。現在，當這些問題被放進機器人真正生活的物理世界裡，另一些問題隨之出現。機器人該用什麼方式描述一個任務？這些描述能不能自己學出來？面對訓練數據裡從未出現過的物體，模型什麼時候需要後訓練？如果規劃本身也可以學習，那麼傳統的規劃器還是否必要？最後，問題甚至不再是“機器人有沒有看過人怎麼做”。如果沒有演示，沒有遙操作數據，甚至面對的是一個從來沒見過的水龍頭，機器人還能不能自己想出：它可能怎樣被使用？以下是吳佳俊在 IROS 2026 發表的演講精編稿。

·AI 科技評論基於現場英文演講進行了編輯，在不改變原意的基礎上，對口語表達和技術術語進行了重新梳理。▎Building Physical Agents via Structured Representations主講人：吳佳俊，斯坦福大學計算機科學系助理教授（兼任心理學系助理教授）01一隻盤子，為什麼會讓機器人犯難今天我想講的是，我們怎麼用結構化的表徵，構建出能在物理世界裡做事的智能體。先從視覺講起。說到底，你只看得見圖像，而圖像背後站著一整個世界：幾何、材質、不同的物理屬性。我們的研究主線一直是，這些東西能在多大程度上被還原出來；而一旦你把它們還原出來了，你就可以重新創造這個世界。

這幾年還有一個很熱鬧的方向，是數字空間裡的智能體。它們接收指令，和整個世界交互。這自然讓人想到另一個問題：物理世界有沒有同樣的結構？在數字世界裡，你有目錄，目錄裡有文件，文件有它的屬性；在物理世界裡，你有場景，場景裡有物體，物體也有它的屬性。那麼，我們能不能利用這種結構，把那些智能體從數字空間帶到物理空間來。這就是今天這場報告的主題。一旦你真的要讓機器人和人待在同一個世界裡，事情就變難了。這個世界很複雜，它是動態的，也是多樣的，你要處理大量不同的任務。當然要用基礎模型，它們現在越來越強，強大到讓你覺得不拿來用簡直說不過去。

但你用它們的方式可以很不一樣：要不要做後訓練，要不要引入更多結構，要不要把一些額外的知識接進來，接進來之後又怎麼和已有的部分結合。這些都是待定的選擇。還有一處和機器人特別相關、和數字世界很不一樣的地方。數字世界在相當程度上被語言統一了；機器人這邊則是另一番景象，不同的領域、不同的任務，很多時候是專有場景、專有數據，每一臺機器人都不一樣。這些數據不會出現在訓練大模型的那批海量語料裡。所以問題變成：怎麼越過這道牆。說了這麼多抽象的，我們從一個完全不專有的場景看起，一個很普通的廚房場面，看看哪怕在這樣的場景下，要讓機器人系統真正和人一起幹活，需要什麼。

一個學生往盤子上擠了洗潔精，打開水龍頭，然後有事得走開。現在換機器人來做。它當然要先做一層語義推理：這一堆陶瓷餐具裡，哪一件是我要幫忙洗的？是這隻盤子。這一步在今天用視覺模型做起來相對容易。接著它需要想明白，這隻盤子是要洗的。洗潔精已經擠上去了，水龍頭已經開著了。所以我要做的，就是拿起盤子、洗、放到架子上、關上水龍頭。看起來很清楚。但真正難的地方在於：你怎麼在不同的環境、不同的物體、不同的目標之間保持一致。哪怕在這個已經很簡單的場景裡，也會冒出幾種完全不同的情況。第一種，是你要適應別人的動作。比如有個人進來，把盤子洗了，放回桌上。這時候你應該知道，盤子已經洗過了，不用再洗一遍。

你要做的只是把它放回去，也不用去關水龍頭，因為它已經關了。第二種，是初始狀態裡那種很細微的差別。假設一切都和之前一樣，唯一的區別是這個盤子上沒有洗潔精。你去看整張圖，這個差別非常小，那只是一小團藍色的東西，很不容易看見。但它不是一句“細微差別”就能帶過去的：這是狀態表徵上的定性差別。因為如果盤子上沒有打過洗潔精，你很可能就不應該去洗它，直接洗會搞得一團糟。你要先打上洗潔精，然後才洗，然後上架，然後做完其餘的事。輸入上的差別很小，狀態上的差別是定性的，要做的動作也完全不同。第三種，是你要跟著不斷更新的觀測走。比如機器人拿起盤子，放上架子，這就夠了，因為它已經乾淨了，也不用去關水龍頭。

但盤子底下壓著一些髒東西。這時候你要意識到，如果我的目標真的是讓一切都乾淨，那我就應該去擦桌子。沒有人這麼吩咐過你，你是跟著新的觀測走才想明白的。理想情況下，你還應該把那盤東西放回去；但是我們連這一步都做不到，因為機器人的本體和它掌握的技能把它限制了。所以你要對所有這些不同的情況都有適應能力。問題是，怎麼做到。02如果機器人也需要一門語言過去幾年我們一直在摸索一套範式。它的具體實現一直在變，因為基礎模型在變，各種可能性也在變。

但骨架一直是這樣：一端是原始輸入，視頻或者語言；中間靠基礎模型去發現一組具備組合性的抽象；這些抽象要能被複用、能被重新組合，去應付通用的任務；另一端是控制動作，最好是自己發現、自己學出來的。在學動作這件事上，我們希望從所謂的自然監督裡學。也就是說，整個過程是學習出來的、是發現出來的，人參與得越少越好。你給它的可能只是一段視頻、一段演示，或者一些語言，而現在這些輸入本身已經能被處理了。監督越輕，通用性越好。但這麼畫下來，有一連串的問題浮在紙上。這些組合性的抽象長什麼樣？它們怎麼被發現？那套描述任務的專門語言從哪來？如果你根本不需要它呢？規劃該怎麼解決，用傳統的任務規劃器，還是學一個規劃器？

還有，這個世界模型本身，你是拿來就用，還是要微調或者後訓練。這些沿著路線都有不同的實現，我們自己也一路試過不同的版本。我先從高層講一下大概的結構。最早的那一版實現是兩年前做的，那時候的具體部件比現在粗糙得多，但範式已經清楚了。假設你有一批演示。可以是機器人當場把很多不同的任務做一遍，你可以在整個過程裡抓出關鍵點，比如第一步抓住了碗，第二步拿到水龍頭下面衝，第三步放進架子。也可以是別的東西，視頻數據也行，總之你手上有這麼一批數據。你的目標是學出這段任務背後的一套描述。這有點像一組符號式的世界模型，裡面大致有兩組模塊。第一組是你關心的屬性和空間關係。

這個物體髒不髒，是髒還是乾淨；這兩個物體之間是什麼關係，二維的關係、三維的關係。這類東西要能被判定，這就是一組謂詞。判定當然不能靠人寫規則，要用網絡、用基礎模型去學：讓它們學會判定任意一組謂詞，不管是髒不髒，還是某種空間關係。第二組是動作。你有一組原子動作，比如“洗”。每個動作都要說清楚它的前置條件和後置效果。洗這個動作，要先把東西抓在手裡，人現在得在廚房裡；效果是，如果這個物體身上有洗潔精，它就變乾淨了。至於怎麼知道機器人手裡是不是抓著東西、怎麼知道一個物體是乾淨還是髒，這些交給前面那組謂詞去判定。同時，要真的執行一個動作，你還需要策略，也就是關節要怎麼出力。

這一部分同樣是神經網絡，每個原子動作配一個擴散策略。這樣一來，符號那層定義了組合性：只要前置條件都滿足，這些原子動作就可以串起來，串成更長程、更復雜的任務。而感知和控制全都是神經網絡在做。但某種意義上，這就是一門專門語言，一套領域專用語言（DSL）。於是有個很根本的問題擺在那兒：最早的時候，這些東西要麼是人手寫的，要麼是從 PDDL 之類的地方直接照搬，DSL 已經固定了。那麼它夠通用嗎？為什麼它就足夠？如果裡面有遺漏的東西怎麼辦？所以下一步自然就是：DSL 本身也要能學。

你可以讓基礎模型去看你手上的數據，可以是演示視頻，可以是操作記錄，也可以是語言，然後告訴它，這是我們要關心的任務，接下來它應該輸出：我覺得下面這些屬性是重要的，下面這些原子動作、以及它們的前置條件和後置效果是重要的。那如果它說錯了呢？你也可以驗證。一方面可以符號化地驗證，另一方面可以直接拿數據去驗證。比如系統說，洗東西之前一定要先把它抓在手裡，否則洗不成。那你就回去翻一遍自己的數據：每次我洗東西的時候，是不是真的都先抓起來了？你可以用你手上這些演示或者別的數據，公開的或者專有的，去驗證這套規格。所以這門語言本身也是由另一個系統提出來的。

去年我講這一段的時候講得挺亂，今年希望好一點，因為我發現一個好的類比能讓它清楚很多。這個類比就在你們自己的電腦上。你在編程智能體裡粘貼一句“做個這個”，它會自己幹出十步八步。第一步創建一個文件，第二步執行某個操作，一步步往下。它有好多不同的步驟。仔細想想，這和我們要做的事非常像。我們做的事，本質上是把 Cursor 那樣在電腦上幹活的智能體搬進物理空間：先想出一串計劃，然後要執行這一串動作，同時還要有一層驗證，確保這些動作被定義對了，也被執行對了。基本上就是這樣。03遇到沒見過的東西，模型怎麼辦接下來講講什麼時候得坐下來做後訓練。

當然，如果像剛才那個類比裡說的，直接用前沿模型一路推到底，那是最省事的。但機器人這邊有個繞不開的問題：你要打交道的東西，很可能以前從來沒見過。因為物理世界比數字世界要割裂得多。你可能看到過某種樣子的物體，但更常見的情況是，你有一條流水線上用的零件，只有你這家工廠有，別處都沒有。我從來沒見過這個零件，現在我要判斷它髒不髒、判斷有沒有產生某種效果。這時候顯然不能直接拿公開的前沿模型來用，因為它連“這個零件好還是壞”的定義都不知道。所以確實會有一些情況是，你得做一點後訓練。前提是你決定不只依賴那些現成的前沿模型。那怎麼做呢？

要注意一點：這些效果雖然看起來是邏輯的，比如它身上有洗潔精，洗完了它就變乾淨了，但落到實現上，它們其實是近似地寫出來的，邏輯運算最後多半以概率的形式存在。所以你可以把整條鏈串起來：我說這東西身上有洗潔精，我洗了它，它就應該乾淨了。但如果我的“是否有洗潔精”那個判據不好呢？因為這是個從沒見過的新物體，它判不出來，輸出就錯了，後面跟著全錯。而這時候，我的演示告訴我另一個事實：這個物體確實乾淨了。於是你就有了一個標籤。既然所有執行步驟都是可微地堆起來的，你就可以用演示裡的這個執行標籤來反向傳播，給模型監督。所以後訓練在某些情況下是可以做的。

它不是必需的，但如果你把這些模型當成系統裡的模塊，而它們又需要被後訓練，這條路是通的。兩年前那批結果我就不細講了，那套部件現在看已經過時了，而且換方法之後會覺得當時有些地方做得挺笨。但那個範式本身潛力很大，我們後來把裡面不同的部件分別換成了更現代的版本。順帶一提，那個工作當時的一位博士後現在在新加坡國立大學做教授，另一位合作者當年是 MIT 的博士生，如今也成了教授。04連規劃，也開始交給模型接下來我要講幾件更近的進展，我講得快一點。前面講了，那套系統裡的模塊是一層層長出來的，驗證、感知、控制都已經交給了神經網絡。但有一件東西還沒有：規劃。

當你有了所有模塊，也驗證了狀態，那麼我應該先洗，還是先做別的？這一步當時還在用傳統的東西，來自傳統任務規劃的那條脈絡。而就在最近，我們剛投出去一篇工作，專門把這一塊也換掉。這也是為什麼我今天沒有太好的幻燈片，本來我應該有個視頻的，我確實想要視頻。所以樂觀一點說，我們過幾天會有一段漂亮的視頻。現在只能用論文裡的一張圖先湊著。這個思路是這樣的：你仍然有一組狀態，它們由神經網絡來驗證；但“給定當前狀態，我該先洗，還是該先拿起盤子，還是該幹什麼”這件事，不再交給傳統規劃器，而是交給網絡。

說得更具體一點：那組謂詞現在基本上就是自然語言，真正的自然語言，你把自然語言和圖像一起當成提示餵給基礎模型，讓它來做規劃。但它也得後訓練才行。所以這裡我們不得不使用開源權重的模型，因為要動手後訓練；同時因為要把圖像作為輸入的一部分，也需要模型能吃圖。而結果發現，某些開源模型的視覺推理能力還是很差，至少我們測下來遠不如同期的閉源模型。所以如果你直接拿來用，它們經常輸出一些完全說不通的東西。實踐上我們乾脆取了一些模型，還是做了後訓練。這樣一來，連規劃器本身都變成了被後訓練、被學出來的東西。它能利用這一類符號式的自然語言去做規劃，產出的動作序列可執行概率高得多。

而對這類長時程任務來說，這意味著需要的人工干預少很多。這裡面還有一層挑戰：所有這些都是以技能庫為條件的，而每臺機器人的技能庫可能都不一樣。如果你直接拿任何一個前沿模型來用，它根本沒有你這個技能庫的上下文。比如它會說，現在你要用水龍頭把這個馬克杯接滿，可是水龍頭壓根還沒開。這個動作就不可執行。而後訓練之後，規劃器在面對這類長時程操作時，給出的動作更像是真能執行的。再過幾天我們會有視頻，今天就先這樣看一眼最新的結果。到現在為止，我們一直默認手上有演示：視頻演示也好，人類的操作也好。接下來我想在剩下的時間裡講的是，如果沒有演示呢？如果我遇到的是一個全新的、從沒見過的物體呢？

以前的做法是：給我演示一遍，告訴我怎麼和這個物體打交道。但有沒有可能我連一段演示視頻、連一點人的幫助都不要，就自己想出和這個物體打交道的各種可能方式？比如你面前有一批新物體。水龍頭我們以前給你演示過怎麼開。但現在這個水龍頭我從來沒有用過，你有沒有可能產生出一些樣例，告訴我有哪些方式可以和它交互。這也是我們在探索的一件工作。先把它粗略地形式化一下。假設我們手上只有一個靜止的物體，一個水龍頭，或者一個盒子。能不能學一個系統，從這些單視角的靜止物體上學出一個分佈，然後從這個分佈裡採樣出一個可能性空間？

你給它一個水龍頭，它就採樣出一個可以轉的形式；給它一個盒子，它就採樣出打開和關閉，以及所有不同的這些形式。具體方法我今天快速掠過，尊重大家的時間。但結果是：一旦你把這套系統學出來，你可以走進一個全新的場景，在一大堆不同的物體上，一個模型就能推理出可能的交互方式。顯示器、U 盤、花，什麼都有。而且它出來的東西並不是死記硬背的答案，而是用了它學到分佈裡最樸素的那件事：我還能怎麼對這個東西下手。那麼在真實世界裡呢？機器人走進一個房間，它的感知是很髒的。所以我們還做了一件事：讓一個學生拿 iPhone 來掃一遍房間。

iPhone 確實能做三維掃描，但精度不高，掃出來的東西非常吵、非常臃腫，像一團一團的面。即便把這些噪聲極大的結果作為輸入餵給我們的系統，你會發現它居然有點零樣本泛化的意思：它能對著一個洗碗機、一臺冰箱、一臺微波爐，去推理你可以怎麼和它打交道。這對機器人來說要有用得多。因為機器人會走進一個你從沒見過的房間，儘管輸入糙成那樣，它還是會說，這個特定的水龍頭我從沒見過，但我可以推理出和它打交道的各種方式，可以想象出不同的動手方法，然後用這個東西去發現一條策略。辦公室那間也是同樣的情況，重建結果一樣臃腫，但它能推理出怎麼和一臺筆記本電腦打交道。不過這種推理還有一個問題。

它能給出四十種和這個物體交互的方式，但你本來是要達成某個目標的，你並不知道這四十種裡哪一種對你真正有用。所以我們也在想，能不能給這套範式加上語言條件，讓我們更好地駕馭它。比如我有一個靜止場景，然後我給一句語言：“一個小孩跳上蹺蹺板。”能不能產出一段會動的三維場景，或者說四維場景？這樣裡面就有人和物體的交互，有小孩跳上去之後兩邊的動作。這就有用多了，因為你可以接著問：機器人要怎樣和這個物體交互？你就去生成，你可以往這個方向生成，也可以往那個方向生成，然後挑出那個真的幫你解決問題的動作。怎麼做到呢？還是要靠大量的預訓練生成模型。在這件工作裡，我們倚重的主要是視頻擴散模型。

假設你有了這個靜止場景，它可以很髒，隨便什麼情況，你可以把它轉成幾千個點之類的中間表示，然後你可以給它再加一個維度，就是時間。於是你得到一個四維表徵。但把三維直接升成四維，它是靜態的，你怎麼讓它動起來？這裡有個辦法。如果你只有一個靜止形狀，想讓它變得更真實，人們有個技術叫分數蒸餾採樣（SDS）。常規三維裡的做法是這樣：你把這個形狀渲染出來，得到不同視角的視頻，再送進視頻擴散模型，用它來沿著時間方向把這個表示往前更新。同樣的事可以在四維裡做一遍。實踐上非常難，你要為一堆問題想辦法，還要在四維表徵上做數據結構上的設計。

但概念上，就是這麼用視頻模型和預訓練的擴散模型來引導你，做出真實的人與物體、或者機器人與物體的交互序列。再舉兩個結果。比如你有個磚塊，加上一句“機器人正在拿起磚塊”，它就能產出機器人拿起磚塊的交互序列，讓你看到在一句不同的語言條件下，這段交互會長什麼樣。你可以順手加上一些免費演示，從這些免費演示裡學技能。以前你得先有人類操作視頻或者遙操作數據，才能學技能，才能接進規劃裡；現在我可以連人類的演示都不要，我自己產出演示，然後從這些演示裡學技能，學完之後再放回原來那套訓練框架。它不一定非用在機器人上。籃球砸到籃筐彈開，貓跳上坐墊，這些都能做。但我們也確實把它用到了機器人上。比如有一塊布。

你說，生成一段人和這塊布交互、把這塊布展開的序列。左邊是生成的。因為它是生成的，你就有了一組免費的演示，而且你能拿到布上面的點在三維裡的稠密軌跡，隨著時間在三維裡跟蹤下來。這些東西就成了一組免費的監督目標，讓機器人知道：我要讓這個物體這樣動。右邊是真實機器人試圖做同一件事。從想象出發，讓擴散模型給你引導，把它的輸出當作成功的目標，你就學到了一條策略來做這件事。再來一個例子是合上筆記本電腦。最近我們還在做一件事，就是讓它快很多。因為這類方法裡，只要你和擴散單元打交道就很慢，而在四維上做分數蒸餾就更慢。所以我們用了緩存，也用了語義渲染，把一次成功更新的比例提上去，讓你不必那麼頻繁地去調用視頻模型。

這樣你能生成更長時程的演示序列。以前我可能只生成一條演示，機器人拿起磚塊，或者合上筆記本，那是讓你學原子技能。現在這個還不是機器人，但沒理由做不成機器人，你可以生成非常長時程的交錯序列，能幹完全不同的事。於是你得到的就不只是原子技能的免費演示，而是複雜的長時程操作問題的免費演示，幾乎可以給你的技能訓練提供無限的數據。好，我就停在這兒。05結構不是答案，而是一座腳手架回頭看，我們一直在講的是怎麼把這些結構化的表徵找出來。你會發現，隨著時間過去，這類東西越來越多了。現在幾乎每一個部件都有了，但你仍然保留了那一層中間表徵。

它現在差不多是以語言的形式存在，當然背後對應著場景表徵，這讓整套東西變得可解釋。我們也一直在想，怎麼讓它變