清華曹婷：具身今年才追自進化，我們已在這條路上走很遠了 | 世界模型 50 人

這三個問題不解決，數據終究會成為具身最大卡點，一位前微軟亞研科學家的“提前量”。作者丨鄧哲敏 編輯丨齊鋮湧 今年初秋，Skild S1、Generalist GEN-1.5、RoboTTT 等工作密集亮相，不約而同將上下文學習（ICL）帶入機器學習領域。AI科技評論（）注意到，國內一支團隊也在同一時間發佈了能夠實現上下文學習的世界模型，領頭羊是清華大學智能產業研究院（AIR）教授曹婷。2009 年，曹婷赴澳洲讀博，師從編程語言與系統領域的兩位頂尖學者，研究非對稱多核處理器與 Java 這類託管語言之間功耗與性能的權衡。

博士期間所著論文入選 CACM 研究亮點，圖靈獎得主大衛·帕特森專門撰文推薦，並收錄進自己的經典教材《計算機體系結構：量化研究方法》。值得一提的是一篇發表在 ISCA 的論文：The Yin and Yang of Power and Performance for Asymmetric Hardware and Managed Software，其論證近乎詩意：虛擬機的垃圾回收、即時編譯這些額外開銷，恰好是可以卸到小核上去跑的差異負載，用小核的“陽”，去補虛擬機開銷的“陰”；反過來，非對稱硬件暴露出來的複雜性，又正好被託管語言的抽象所化解。

在我們看來，這段經歷埋下了影響曹婷學術生涯的東西：一個關於陰陽的直覺——約束，從不只是限制，它也可以是逼出系統生機的起點。博士畢業後，曹婷來到華為編譯器與編程語言實驗室，負責方舟編譯器的內存管理，在有限的內存裡，讓程序跑得更快更省。2018 年，她加入微軟亞洲研究院（MSRA）異構計算組，一待就是七年，做端側 AI 推理，把幾十億參數的神經網絡，塞進手機、PC 和 IoT 設備，讓它們不靠雲端，在本地的算力、功耗和存儲裡跑起來。低比特量化、LUT 查表推理、存算一體加速器，這些技術進入微軟 Office、Windows、Bing，服務百萬級用戶。2025 年夏天，曹婷加入清華 AIR。

這一次，橫在她面前的是更兇險的約束：訓練數據極度匱乏、物理環境千變萬化的現實。她很快發現，機器人在固定設置下能做對動作，環境稍有變化就失敗，而那些失敗裡藏著的寶貴信息，又被傳統系統隨手丟掉。具身智能已經能做 Demo，卻遲遲無法真正部署。曹婷的答案，還是“陰陽”，既然約束無法窮舉，那就把約束變成養分。當年 10 月，她和 MSRA 時期的老搭檔、清華 AIR 副院長劉雲新教授共同發起域變換（Z-Trans），押注具身自進化，並陸續發佈 Z0、Zeva、Zeva Ego、Zetta、Z-infra 等工作。

從讓軟件在異構硬件上省功耗，到讓模型在邊緣設備上省算力，再到讓智能在物理世界裡學會自進化，曹婷這十幾年做的始終是同一件事：讓智能在條件不充分的情況下好好工作。以下是AI科技評論與曹婷的對話，在不改變原意的基礎上有所編輯。01 當機器人工廠慢慢冷下來“整體的技術範式沒有收斂，而且變化特別快，基本每個月都不一樣，但一個離線、一個在線這套學習範式，應該是大家統一認可的。”▎AI科技評論：今年上半年，整個行業還在瘋狂建機器人數採工廠，試圖用海量數據大力出奇跡。但到了下半年，陸續出現了許多具身上下文學習的工作，是前序研究證明了什麼嗎？曹婷：我自己的體會非常深刻。

今年 5 月份之前，大家還相信“離線訓一個模型，它在線就能幹活”，但現在看，這些數採工廠基本都冷掉了。大家發現，離線數據採得再多，機器人在線依然幹不成活，因為離線數據永遠涵蓋不到真實世界的全部情況。看到之前的路走不通，大家才開始思考怎樣讓機器人不只依賴離線訓練，還能在部署後利用新的示範和反饋進行在線的上下文學習。▎AI科技評論：大家在技術上達成共識了嗎？曹婷：整體上學習範式分兩種：一種 offline，一種 online。在上下文中學習這個概念最早是從大語言模型（LLM）出來的，GPT 證明了上下文示例即可泛化。具身領域，大家也希望在上下文階段給機器人演示一遍，它就能泛化到各種各樣的情形。

目前整體的技術範式沒有收斂，而且變化特別快，基本每個月都不一樣，但一個離線、一個在線這套學習範式，應該是大家統一認可的。▎AI科技評論：大語言模型的 ICL 是靠湧現的，給幾個文本例子它就會了。你能不能幫大家梳理一下，具身的ICL有什麼不一樣，目前具身 ICL 的工作有哪些路線？曹婷：具身領域的 ICL 遠比語言模型複雜，目前行業裡有三條不同的路線。第一種期待像 LLM 一樣，能力自己湧現出來。比如 Generalist 說他們的能力是湧現出來的，訓練時見過很多人類視頻、很多 ego 數據，之後給它一段視頻，它就能自己去幹活。但我覺得這條路比較困難，背後可能有不少限制條件。

第二種是顯式訓練，類似Skild，給它一段視頻，讓它去預測下一條 action。這不是模型自己湧現的，而是訓練時就這麼訓的。就跟之前的 VLA 一樣，之前是 language 做 prompt、action 做輸出，現在是 video 做 prompt、action 做輸出。我們的路線是第三種，叫 ICCL（in-context causal learning，上下文因果學習）。我們認為直接把 video 給模型，讓它去生成 action，這很困難，因為視頻裡可能有移動的人、有無關物體、有反光，很難讓模型從這堆噪聲裡提煉出有效的動作信息。▎AI科技評論：你們的做法是把這些噪聲全扔掉？

曹婷：對，我們加了一個動作-效果提取模塊，減少無關視覺變化的干擾，只把動作和它產生的效果加到上下文裡。從我們自己觀察來看，目前這個方法比其他模型的泛化性都好，尤其背景特別複雜的時候。▎AI科技評論：如果 ICL 這條路真的能跑通，後訓練的工作是不是沒太大意義了？曹婷：這需要分開看。ICL的強項是極度靈活的泛化，沒見過的任務，人做一次它就知道該咋做了，更適合家庭這種對泛化性要求特別高的場景。但在工廠生產線上，工廠在乎的是精度和延遲，客戶要求的是 99% 甚至更高的精度，目前 ICL 還遠達不到這個水平，比如 Skild 報告，在未見過的任務裡，ICL 步驟成功率也就 60% 多。

所以，在沒有那麼頻繁變化的柔性工業生產場景，稍微採幾百條數據給它後訓練一下，依然是保證精度最經濟、最可靠的方法。家庭靠 ICL 泛化，工廠靠後訓練求穩，這是完全不同的兩條邏輯。02何謂因果“模型是 data-driven 的，是從大量數據裡學會規律，湧現出能力。”▎AI科技評論：前面提到你們的路線裡有一個提取動作和效果的技術，這是你們的技術核心嗎？曹婷：對的。我們最開始做的是 Zeva，當時基於 Cosmos 。但我們的技術其實不挑基模，World Model、VLA 都能用。後面又發了 Zeva-Ego，就是基於 VLA 用 Ego 數據做的中訓練。

這兩個工作是一脈相承的：Zeva 強調上下文因果學習，它有一個動作提取器，可以在線地提煉出動作和效果，加到上下文裡；Zeva Ego 從 ego 數據裡提煉動作和效果，去做中訓練，讓泛化性有顯著提升。最本質的都是因果提取器，這是我們的核心技術。▎AI科技評論：Zeva-Ego 用到的數據，是你們自己採的嗎？曹婷：用的是開源的數據，但我們要清洗，因為大部分不適合直接用於動作學習，最後大概只留十分之一。我們會分兩個階段去訓練因果提取器。第一階段主要學習動作之外的環境變化，有一個專門的網絡負責把動作無關的東西提煉出來。第二階段利用第一階段學到的環境表徵，讓因果提取器學會僅提取動作相關的信息。

訓練好以後，再拿那些沒有動作標註的 ego 數據，提取動作因果，用於後續中訓練。▎AI科技評論：直接用無標註數據，那可免去不少標註的工作，能更高效地使用數據。曹婷：是的，我們用了 10K 小時沒有標註的 ego 數據，通過我們的編碼器轉化為動作相關的監督信號來訓練模型。▎AI科技評論：關於因果，之前世界模型那波起來的時候，很多人都出來說自己做的是因果世界模型，有人會質疑，現在還沒有好的證據能證明機器人真正習得了物理規律。你們怎麼向別人證明這一點？曹婷：這個領域關於“因果”的討論很多。我們的因果指的就是 action 和 effect：因是動作，果是產生的效果，這是直接的因果。

比如讓機械臂以多大力推下瓶子，瓶子究竟移動了多少。怎麼能看出它是有效的？首先，在公開評測集上 Zeva 效果更好。從實際效果來看，在背景雜亂的時候，對比業內其他模型，我們的模型學習更加高效，嘗試的次數會變少。比如有的模型拿咖啡杯，試個五六次才拿起來，我們基本上一兩次就能成功。▎AI科技評論：“理解物理規律”這個說法，會讓人以為是基於科學原理的理性理解，但實際上更像我們人類那種混沌的、經驗性的理解？曹婷：沒錯，模型是 data-driven 的，是從大量數據裡學會規律，湧現出能力。你也可以直接告訴它重力原理，但它一定要自己去試。

就跟小孩一樣，雖然還沒學過物理，也說不清楚為什麼，但就是知道要怎麼做，這是從大量的嘗試裡總結出來的經驗。我們認為最合理的一條路是：大量的預訓練，加上大量的在線學習，機器人自己把規律學會。我畫過一個 roadmap，機器人最終會學成一個物理學家，自己想出新的定律。▎AI科技評論：AI for Science？曹婷：對，未來會走到那一步。但現在它能把眼下這些事情幹好，就挺不錯了。03學習與記憶的閉環“記憶和學習是不分家的：記了足夠多的經驗，能泛化去做一個沒見過的新任務，這就是學習。

”AI科技評論：講到 ICL，就免不了提到長記憶和 RSI（recursive self-improvement，遞歸自進化），你怎麼看待這三者之間的關係？曹婷：我之前在 AIR 內部分享過記憶和學習的關係。記憶分為幾個層次。最短的那層，是 working memory，是機器人正在執行當前任務時的上下文。然後是跨任務的長期記憶，這個任務做完了，學到的經驗被存下來，變成長期記憶。下次遇到類似任務，可以去檢索歷史經驗，加到當前的上下文裡輔助決策。記憶和學習是不分家的：記了足夠多的經驗，能泛化去做一個沒見過的新任務，這就是學習。

具身 RSI，也就是我們定義並打通的物理世界的自進化（PSI，Physical Self-improvement），是更宏觀的閉環。在線學習讓機器人積累了成功或失敗的數據，把這些數據再拿回來訓模型本身，讓基模能力提升；基模能力提升了，它又能更快地完成新任務，積累更多數據。這個飛輪就是 PSI 的核心邏輯。▎AI科技評論：現在還做不到不用嘗試直接完成新任務，但長期來看，人們肯定希望機器人能一擊即中，在未來，當前上下文方面的工作會不會退位，讓道給鞏固長期記憶的工作？曹婷：你說的非常對。我們現在數據全部會迴流，我們近期會發布一項新的工作，把機器人自己嘗試的數據再訓回模型之後，模型效果提升非常明顯。

就像人嘗試很多次之後，把這些都轉成大腦皮層，作為長期記憶。▎AI科技評論：GPT-6 出來以後，有人擔心具身基模被“吃掉”，你怎麼看這個問題？曹婷：GPT-6的能力很強，但能理解任務、規劃步驟、調用工具，不等於它本身具備了可靠的物理執行能力。一個現實問題是時延，尤其在需要快速響應的操作中，等模型返回結果，現場狀態可能已經變了。▎AI科技評論：這個延遲的問題，有可能被解決嗎？曹婷：僅靠 GPT 本身的優化，就滿足機器人實時控制的要求，不太現實。GPT 這種大模型，一定是追求智能上限的，它要追求 AGI 一個模型啥都能幹，模型參數越來越大。

而且它做複雜任務還要有思考的過程，還要考慮網絡傳輸，這些開銷都能難減少。▎AI科技評論：GPT 就像一個綜合圖書館，而具身基模是一個專業的小庫。曹婷：對。我們很早就判斷，像 World Model、VLA 這種中小腦，一定需要一個類似 GPT 的大腦在上面，所以我們一直是 agent 加模型一起往前做，模型是 Zeva 和 Zeva Ego，agent（或者說 harness）是 Zetta。具體來說，我們把具身的部分能力提取出來，訓到一個小 VLM 模型上，可以認為是一個端側的 GPT 模型。現在我們把它訓到幾十 B 參數，效果上基本沒有區別。

這個模型作為大腦，負責理解用戶指令、拆解長程任務、監控任務執行、生成恢復動作，調下層的工具和模型。04賦能產業是最終目標“（最近）雖然投資市場有點冷，但實際的產業需求特別大。”▎AI科技評論：你是清華 AIR 教授，也是域變換的聯創兼 CTO，院裡這兩年孵化出不少創業公司，在產業上有什麼優勢嗎？曹婷：AIR 是張亞勤老師建的，他原來在微軟做到全球副總裁，後來回百度做過總裁。所以我們這裡的人基本都是從產業回來的，比如我是去年從微軟研究院回來的；周谷越老師，他原來是大疆早期核心成員之一，創辦的求之科技最近融了十幾億；創立了它石智航的陳亦倫老師之前是華為智駕的 CTO。

我們叫智能產業研究院，“產業”兩個字是張亞勤老師建議一定要加上去的，他說我們一定要賦能產業。院裡老師們基本都會辦創業公司，主要是兩個方向，一個生物醫藥，一個就是具身智能。▎AI科技評論：這是不是意味著，相比叉院或者自動化所，AIR 跟產業結合更近，對怎麼落地也更有經驗？曹婷：叉院創業公司也挺多的，我們 AIR 比較強的一點是，張亞勤老師本人在產業的影響力特別大，無論是國內還是國際上，他的影響力對我們在產業界獲取資源助力很大。▎AI科技評論：除了之前提到的 11 月即將發佈的工作，域變換近期還在做什麼？曹婷：我們更重視產業化了。

把模型從不會幹到能幹成這個 pipeline 搭起來以後，需要在實際場景裡去驗證。最近幾個月頻繁接觸了很多工廠，雖然投資市場有點冷，但實際的產業需求特別大。大多是流水線上的一些作業，比如擰螺絲釘，還有存在風險的行業，比如化工廠這類，很需要把機器人用上，避免人進入那種環境。另外，我們在做一個全屋操作的機器人。家庭還是具身的上限，它最能證明模型的泛化性。我們在雄安研究院把家庭的整個臥室、衛生間、客廳全搭在裡頭，機器人可以在裡面做全屋的任務。▎AI科技評論：團隊目前是以博士生為主力軍嗎？曹婷：產業線也有工程師，但主要是博士生，我們的博士生非常強。

他們不僅想法活躍，動手能力也非常快，有了想法很快就能實現。而且他們對外面技術變化的把控很強，隨時關注外面的變化。大家會互相分享今天又有什麼新工作，如果覺得某個技術特別有潛力，會立馬去試。有一天同學特別興奮地跟我說，他發現只要調 GPT，就能讓整個機械臂從什麼都不會做到完成一個任務。我說，那必須得做這個自進化的閉環。後來我們就做了 Zetta，一個月就做完了，現在才發佈兩個月，引用量已經非常大。我們看到了這個方向的影響力，在未來這可能是一條正確的道路。之後好多看了這個工作來找我們的公司都很奇怪，他們才剛剛意識到這個問題很重要，我們已經把論文發出去了。我覺得這還是同學們的功勞。

▎AI科技評論：現在有多少人？曹婷：大概 20 人。當他們發現這個事特別有趣、特別有影響力的時候，不用我去催，他們自己就往前衝，非常有熱情。反倒是我經常問他們累不累、要不要休息一下。05寫在最後曹婷在交流中曾有些得意地說：“當行業突然意識到具身自進化非常重要的時候，我們已經有連續不斷的成果發出來了。”事實的確如此，域變換近期發的幾項工作和行業的熱點方向幾乎逐一對應。6月，Z0 打出“做持續自主進化的物理智能體”的口號，在 RSI 成為顯學的幾個月前，率先從整體技術框架上考慮，把數據迴流和模型自迭代的閉環內置其中。

8 月 18 日，承擔 Harness 功能的 Zetta ζ 發佈；9 月 1 日，實現具身上下文學習的 Zeva 和同樣做 ICL 的 Skild、Generalist 等幾乎同期發出；一個月內，Zeva-Ego 正式亮相，進入了關於 ego 數據價值的主流討論。清華 AIR 不是傳統意義上的高校實驗室，它的定位一直是產學研一體。

院士的資源背書，幫助團隊在早期就和英偉達等機構建立合作，把前沿技術推到更大的場景裡驗證；曹婷帶來了七年產業研究院的工程化直覺，以及一套天然就以部署為終點來設計技術路線的思維習慣；而頂尖院校出身的博士生們則離學術前沿最近，飽含科研熱情，消化快，出手也快，不會被路徑依賴綁住手腳。熱點是陽面，熱鬧、喧囂、人人可見；問題是陰面，冷清、難啃、人跡罕至。在和交流的過程中，曹婷一直笑意盈盈，沒有距離感。工作之餘她爬山、跑步，整個人狀態極佳。你很難把眼前這個溫和優雅的人和十幾年來在暗處較勁的硬核研究者聯繫在一起，或許沉得下心在陰處下功夫，也豁得出去在陽處見真章，就是她多次提前命中熱點的秘密。