CoRL 2026 青年最高榮譽唯一華人得主清華趙行:「世界不會等模型」
時間是決定人形機器人量產的關鍵一環。作者丨鄧哲敏 編輯丨齊鋮湧 此時此刻,美國奧斯汀,機器人學習領域的頂會 CoRL 2026 正在如火如荼地舉行。清華大學交叉信息研究院助理教授、星海圖 CTO 趙行,在這屆大會主會場上登臺,發表了 Early Career Keynote 演講(青年成就獎)。與動輒萬人規模的 AI 大會不同,CoRL 是泛具身領域極其嚴肅專注的頂會,臺下坐著的幾乎全是這個星球上最懂機器人學習的學者。
Early Career Keynote 須同行提名、不得自薦,專門授予博士畢業十年內、已在機器人學習領域留下實質成果的年輕研究者,被視為該領域對新星研究者最高規格的認可之一,也是每年 CoRL 為主會場定調的重頭戲。今年全球僅有三位學者獲此殊榮,而趙行是其中唯一的中國面孔。站在臺上的趙行,一方面串聯過往的學術歷程,講述了自己從學術到產業的思考,另一方面,面對近期 GPT-6 Astra 接入機器人引發的行業焦慮,用一套極其嚴密的“時鐘理論”,戳破了當下具身行業裡不計時間成本製造出的基準測試幻覺,給了具身行業一個耳目一新的思考角度。
AI 科技評論()在現場全程記錄了這場演講,並結合趙行的學術研究路徑,給大家帶來這位中國頂尖年輕研究者的觀點分享:01時間是決定人形機器人量產的關鍵一環今天我想談“機器人的時間”:機器人智能應當如何在不同的時間尺度上組織起來。我從 Waymo 的輪式自動駕駛起步,七年前發表了第一篇 CoRL 論文;然後轉向有腿的機器人,花幾年教四足和人形機器人奔跑、跳躍、征服複雜地形;現在做帶手臂的機器人。歸根結底,我們希望機器人替人類做真正的體力工作。昨天我抵達奧斯汀,街上到處是 Waymo 和 Cybercab。對從自動駕駛起步的人來說,這感覺很好——駕駛已進入量產。人形機器人也能做到嗎?
今天我分享答案的一部分,它與時間有關。最近 GPT-6 Astra 發佈,幾天內人們就把它接入自己的機器人,發現直接能用。NVIDIA 研究者在 RoboLab-120 仿真上做了細緻研究:Astra 任務成功率 66%,π0.5 只有 28%。在另一個基準 RoboDojo 上結果類似:Astra 22 分,π0.5 僅 7 分。這很驚人,我相信領域裡很多人還沒準備好。但有個問題:這些基準不測時間。Astra 用的是直接策略,直接控制機器人。仔細看,每次調用基礎模型要 18 秒,機器人 97% 的時間在等模型思考。但現實中,機器人等不了模型思考這麼久。前沿模型非常好,我們該怎麼用?
為了弄清楚這事,我在家庭廚房仿真器 RoboCasa 裡做了受控實驗:5 個機器人從未見過的測試廚房、5 項任務,每項限 50 秒。我試了五種控制方式:一是編程策略,讓前沿模型理解任務後寫代碼,部署時程序直接跑,不再調模型;二是編程加詢問,代碼運行時失敗就向模型求助,平均每回合只調一次;三是編排策略,前沿模型調度不同技能,每回合約調 4 次;四是直接策略;五是智能體策略,每步可控機器人、可調用工具計算,更費 token。如果不限制思考時間,這些方法表現都不錯:除編程策略 45% 外,其餘成功率都超 60%。但加上真實時鍾就完全不同了:直接策略和智能體策略成功率分別跌到 15% 和 20%。
這告訴我們,慢模型沒問題,只要它與 System 1 結合,比如編排策略用小神經網絡技能處理高頻控制。正如趙行所說,自動駕駛已然量產,而人形機器人似乎還在另一個時區。那麼,自動駕駛有什麼經驗可以遷移?也許需要鋪墊一段趙行的背景,大家會更明白他所希望表達的。早在 2015 年的 MIT Media Lab,趙行就參與開發了世界上首個自動駕駛課程 Duckietown 的實踐項目,也是在那時,他主動申請去做機器人課的助教,跟著韓國學者 Sangbae Kim 搗鼓 MIT Cheetah 獵豹機器狗。
在與 AI 科技評論此前的對話中,趙行提到一個細節,那時候機器狗極度脆弱,上個飛機要走貨運,去一次展會光維修和運輸就要燒掉 3 萬美元。這段經歷讓他比任何人都清楚:實驗室裡的 demo 和產業級的產品之間,隔著一道名為“魯棒性”的深淵。因此,當他在演講中指出大模型直控的成功率會在真實時鐘下暴跌時,這絕非紙上談兵,而是他的真實經驗所談。02時鐘定義層級層與層的界限該畫在哪裡?老派答案按功能劃分:感知、規劃、控制。我主張另一種答案:時鐘定義層級,在時鐘變化處畫線。這裡講 System 0/1/2,指的不是思維層面的快慢,而是時間尺度上的層級。判斷一件事屬於哪層,要分兩步。
先問這一層必須對什麼做出反應,這決定時鐘要多快;再由時鐘決定層級。System 2 要利用過往經驗理解當下,時鐘以秒到分鐘計;System 1 要以交互發生的頻率響應機器人手與物的相對運動,幾十赫茲;System 0 要跟蹤接觸與力,所以必須幾百赫茲。我在自動駕駛時遇到過同樣棘手的問題。我們把 VLM 裝進車裡,發現它理解場景能力驚人,能看懂學校區域、減速等孩子過馬路,但它無法即時響應駕駛任務。於是我們把慢 VLM 和快駕駛棧裝進同一輛車,這套系統如今已大規模跑在量產車上。我從自動駕駛得到的經驗是:讓快的層開車,讓慢的層思考,各走各的軌道。
2023 年我們的四足機器人從視覺中學跑酷,隨後做到全尺寸人形,今年實現全身跑酷——手腳並用攀爬、與環境交互。自己讀深度、毫秒級反應,整個系統就是一個 System 0。跑酷給我上了第二課:反射必須住在快的層,且這一層要獨立完成從感知到動作的全部事項。但現實更復雜,一個任務往往需要多層配合。試想幾個場景:工業裝配線,固定重複,只需 System 0;物流分揀,任務固定但每個包裹不同,需要很強的 System 1;餐廳服務,要交談、下單、端盤子,三樣都要一點;做家務,任務定義複雜、跨度大,需要很強的 System 2,但速度可慢,System 1 和 0 稍弱即可。
這套分層系統還有兩個關鍵問題要解決:每層如何快到跟得上自己的時鐘?層與層之間傳遞什麼?這段分享中,趙行並沒有否認大模型應用於具身智能的可能性,相反,他認可前沿模型的能力,試圖通過解決時間延遲來更好地組織各類模型。“讓快的層開車,讓慢的層思考”,這套具身思路並非僅僅停留在學術領域。2019 年,趙行從 MIT 博士畢業,加入 Waymo,親歷了自動駕駛從實驗室走向規模化量產的過程。2020 年下半年他回國加入清華叉院,從四足跑酷一路做到帶臂操作,把視覺感知與全身控制推向極限運動的難度級別。據AI 科技評論瞭解,趙行曾和與小一屆的師弟王軼倫多次聊起自動駕駛的痛點。
兩人基於共同的技術嗅覺,自下而上地促成了後來與理想汽車的合作。當時全球打通數據閉環的車企屈指可數,而理想的工程基建為 DriveVLM 提供了土壤。對此,趙行曾剖析過其中的區別:L2+ 級別或許能靠小模型的端到端肌肉記憶應付,但 L4 級別必須依賴大模型解決長尾問題。於是,DriveVLM-Dual 快慢雙系統應運而生,大模型負責慢思考,傳統規控負責快響應,如今這套方案已經實打實地落地超過 40 萬輛量產車。這也是為什麼當他在 CoRL 講臺上拋出時鐘定義層級時,臺下的工業界同行會非常認同。03讓每一層快速運轉的三項工作先談第一個問題:讓每一層都足夠快。
今天的 System 1 普遍太慢,跟不上幾十赫茲,原因有三個,且都源於模型的出身。其一,若你的動作模型基於視頻生成模型,你會知道視頻生成其實很慢,生成 5 秒高清視頻要 2 到 3 分鐘,無法上機。其二,若你的 VLA 基於 VLM,則文本推理動輒 5 秒,對控制不可承受。其三,幾乎所有工作——VLA、擴散策略、動作模型——都先解碼整條動作塊再執行,白白等待。我們有三項工作分別應對。第一,Fast-WAM。世界動作模型往往在行動前先生成未來視頻。Fast-WAM 讓視頻模型與動作模型共享權重,訓練時只做一點注意力改動——訓練時想象,測試時可以跳過,提速 4 倍以上。
今年我們有了更強版本,參數量從 5B 擴到 16B,採用混合 Transformer 架構,優化後在 RTX 5090D 上每個動作只要 60 毫秒。第二,G0.5。這是我們星海圖自研的 VLA 模型,以視覺和文本為輸入,把任務、邊界框、動作軌跡寫進同一條離散 token 流。在同一組模型權重上,我們可以簡單地開啟或關閉推理。結果令人驚訝,90% 的任務上,有無推理成功率完全相同;跳過推理,速度快一倍;推理只在長程任務上有用。第三,ActionCodec2。動作分塊帶來的成本,是必須等整條動作軌跡生成完畢才能開始執行。這段動畫來自我們的工作,畫面中機械臂在追蹤一個不斷移動的方塊。
左邊是分塊 tokenizer,策略必須先解碼完整的一塊動作,機器人才能移動,因此它只能在塊與塊的邊界處看到方塊的位置。想更及時,就得解碼全新的一塊動作。右邊是流式動作 tokenizer,每個 token 都是一小段運動,機器人一收到就立刻執行,所以它在每一步都能感知到方塊的位置。注意看結尾,分塊那側的手臂跟丟了,流式那側的手臂抓住了。這就是我們所說的流式動作組織方式,用它,我們就可以構建一個流式 VLA。這一段,趙行介紹了很多團隊成員的工作,他作為一名年輕老師,能在學術界提出理論,又能在產業界和團隊一起交出 Fast-WAM、G0.
5 這樣硬核工作,在我們看來,離不開他此前在 Waymo 時期受到的極限錘鍊。2019 年他加入了剛成立研究院的 Waymo。那裡人才濟濟,bar 極高,坐在他左邊的可能是 PointNet 的作者祁瑞中,管理級別最高的周寅做過 VOXnet。在那個扁平且鼓勵跨界合作的體系裡,他遇到了比自己早兩個月入職的高繼揚。高繼揚既能交付產品又能做研究,“一個人幹倆人的活”,兩人跨三個組合做出了引領行業的 VectorNet。2023 年上半年,當機器人的創業時機如同 2016 年的自動駕駛一樣成熟時,兩人再次一拍即合成立了星海圖。
趙行曾公開回憶過那個瞬間:“你找我創業,我肯定和你一起,方向我們可以再找,但和你創業我現在就可以答應。”正是這種極度互信的搭檔關係,讓那些關於“流式動作”和“提速 4 倍”的構想,迅速變成了具身智能公司的核心壁壘。接下來,最關鍵的是,各個層間該傳遞什麼信息。04層間傳什麼:向下較為豐富,向上幾乎空白接下來談談第二部分,層間傳遞什麼。三條時鐘兩條邊界,雙向通行。向下:System 2 傳給 1 語言、目標、程序、動作;System 1 傳給 0 運動。向上:System 0 反饋接觸、力、跟蹤狀態;System 1 反饋進度、置信度與狀態。但今天多數工作只做向下通路,向上通路嚴重缺失。
向下我們已有一些工作。WB-WAM 是為人形機器人生成全身動作的世界動作模型。作為 System 1,它輸出全身和手的姿態,以及未來動作軌跡。更進一步有 OMG,一個動作多種輸入。System 2 發送文字、音樂、參考姿態給 System 1,System 1 再轉成可執行軌跡,由 System 0 跟蹤。儘管 System 2 和 1 之間有豐富的交互,但 System 1 到 0 之間,向下傳的仍只有運動。只有運動是不夠的。機器人只知道跟著軌跡,不知道目的,而且交互的本質是力,比如擦桌子,幾乎只有力、沒有運動。所以,現在人們已經開始超越運動,從關節目標,到身體運動,到接觸,再到力。
超越運動的第一步是保持接觸,無論是最早的那批重定向工作,還是我們發表在本次 CoRL 上的工作,都在盡力保住機器人與物體之間的接觸點和幾何關係。但說實話,這類方法只保住了接觸幾何,它們對力還一無所知。最近我注意到 UC Berkeley 的一項工作 Ctrl-F。它給跟蹤器參考動作和每隻手的力指令;頂層再配一個小規劃器,根據它實時看到的情況來調力。下面是一個機器人推 20 公斤重箱子的例子,左邊,SONIC 只跟蹤運動,箱子紋絲不動;右邊,他們的模型能推動箱子。注意是誰在決定力,是那個貼近物體的小規劃器,也就是 System 1,而不是遠在頂層的慢模型。我們再來看看失敗案例。
底層系統大多時候自己行動,卻不知道自己已經失敗;高層系統不夠快,沒注意到任務已失敗。這些失敗都落在層與層之間,而今天,跨邊界的反饋是缺失的,我認為我們迫切需要這套反饋機制。05分層或單模型,都需考慮時鐘最後,我認為未來有兩條路。第一條是分層路線:每層有自己的時鐘,上層不去精確指定接觸和力,它向下發意圖,下層向上發反饋。難點在於,下層必須能自己感知到失敗、自己糾正,並主動上報。第二條是單模型路線:統一架構共享權重,每個時鐘配各自的專家,推理時以不同時鐘運行。好處是架構統一、共享上下文、KV cache 可複用。
難點是如何聯合訓練:System 1、2 靠行為克隆,System 0 靠仿真強化學習,兩套訓練機制如何放進同一個環境裡一起訓?無論哪條路,時鐘都必須是模型設計的一部分。總結一下:在機器人領域,世界不會等模型。系統要對什麼做出反應,決定了它的時鐘;要選配得上時鐘的模型,而不是反過來。層間要向下發意圖、向上報失敗。不要只造一個快模型或一個小模型,要造整個系統。最後我懇請社區,以後做機器人仿真基準,請同時報告截止時限前的成功率和所需推理時間。演講結束時,奧斯汀會場的掌聲很熱烈。對於臺下的同行而言,這不僅是一場關於 System 0/1/2 的技術拆解,更是一份來自產業一線的深度思考。
在趙行看來,技術的演進從來不是孤立的算法遊戲。他曾跟 AI 科技評論聊起過一個宏大的命題:到底什麼樣的技術值得投入一生?當年畢業時,自動駕駛和AR/VR 是最火的兩個方向,但他果斷放棄了後者。類似的觀點他的好友樓天城也曾提到,AR/VR 難以發展不僅是因為技術不成熟,更因為它向社會輸出的正向價值太小。而自動駕駛和具身智能,因為與人的生命息息相關、能真正替代人類進行物理勞動,即使過去十年一直在燒錢,也總有行業力量前赴後繼地接力。這也是為什麼,2020 年回到清華後,他拒絕將自己的實驗室命名為“計算機視覺”或“深度學習”,而是取名 MARS,做一個純粹的 AI 實驗室。
因為他深知,神經網絡正在抹平語音、圖像與控制的傳統界限。從 2015 年在 MIT 修一臺動不動就壞的機器狗,到如今站在 CoRL 的講臺上定義人形機器人的時鐘法則;從 Waymo 的前幾名研究員,到星海圖的 CTO。趙行一直走在物理世界 AI 的最前線,並且始終確信:不要只造一個快模型,要造整個系統;不要只看基準測試的分數,要看它對現實世界的價值。讓我們再次恭喜趙行老師。國際機器人頂會 CoRL 2026 即將召開,歡迎參會的研究者、學生,以及關注 AI 前沿進展的讀者加入我們的交流群。在這裡,你可以認識同行、交流研究,分享招生信息、科研合作、約飯、投稿、組隊參會等,尋找潛在的合作伙伴。
大會期間,我們也會持續帶來現場報道速遞、嘉賓演講解讀、前沿方向梳理和論壇精華。會場見,也在群裡見。?進群傳送門: 掃碼進群或添加微信szhsn610,備註:CoRL+單位/學校+姓名+方向。
Related
相關文章
單張消費級顯卡跑出60FPS遊戲世界:Matrix-Game4.0上線Reactor,瀏覽器裡「邊玩邊生成
Reactor總部位於舊金山,以統一SDK與API、全球分佈式GPU網絡支持幾行代碼接入,11月7日官宣上線。Matrix-Game4.0為全球首款運行於單張消費級顯卡的視頻大模型遊戲,單張NVIDIA RTX5090上實現480p、60FPS實時交互,按鍵到首幀端到端延遲低於150毫秒,單步去噪穩態生成83FPS,顯存峰值18.
微軟鬆口允許關閉必應 AI 答案,但開門要收"過路費"
它端出兩樣東西:其一是名叫 Microsoft Bing AI Search Choice 的瀏覽器擴展,已向 Chrome 與 Edge 用戶開放預覽,裝好後一個開關即可全局啟停必應 AI 答案;其二是搜索詞末尾追加"-ai"運算符,比如"best laptops 2026 -ai",便退回傳統結果——代價是每次都得手敲。
衝刺 IPO 前夜,Claude 月訪問量衝上 12.53 億創紀錄
相比之下,ChatGPT 當月環比僅增 2.15%,Gemini 反而微降 0.15%——在主流 AI 聊天工具裡,Claude 的擴張曲線最為陡峭。擠進全球網站前 25迅猛漲勢把 Claude 推上 Similarweb 全球訪問量榜單第 25 位,較上月抬升 6 名,順勢坐上 AI 聊天機器人網站的第三把交椅,排位只在 ChatGPT 與 Gemini 之後。
AI日報:百度ERNIE 5.5 Flash Preview亮相;阿里官宣千問大模型Qwen4;火山引擎推出Seedance2.5flash
百度文心大模型再升級:ERNIE 5.5 Flash Preview 亮相,模型權重將於 11 月 25 日前正式開源該版本以280B總參數、14B激活的稀疏架構平衡性能與成本,1M上下文拓展長文檔與Agent應用邊界。作為後訓練中間版,其遊戲開發、3D建模等場景演示積極,但正式版需關注推理效率與穩定性。
追趕國際AI第一梯隊還需數年?張一鳴談字節大模型研發目標
他強調,字節大模型應對標國際第一梯隊,當前Seed系列模型與海外頂尖AI公司相比,預訓練數據集規模仍存在差距,這是現階段需要重點關注的問題。據外媒報道,字節Seed團隊正在預訓練一款參數規模最高可達10萬億的模型,其規模有望達到Anthropic最高端模型的量級。
智駕下半場:千里一手卷模型,一手卷量產
當所有人拿著同一張地圖,拼的是誰走得更遠、誰走得更穩。作者 | 姜 奕編輯 | 王瑞昊智駕行業最大的懸念曾經是技術路線的選擇:端到端、VLA、世界模型的討論此起彼伏。2026年,隨著黃仁勳提出物理AI概念,行業爭論迅速收斂,模型要真正理解物理世界,成為檢驗智駕的共識。新一輪的競爭由此拉開序幕:比拼的不再是單點技術突破,而是體系化的落地能力。千里智駕CEO陳奇在2026年世界互聯網大會烏鎮峰會上給出了一個鮮明的判斷:“大模型決定智能上限,工程體系決定交付能力和效率。