RoboTTT記住八千步

NVIDIA 研究團隊與多位學術合作者近日發表了一項名為 RoboTTT 的突破性機器人模型，將機器人策略的視覺動作上下文長度大幅擴展至 8,000 個時間步，比現今最先進的策略高出三個數量級，且推理延遲並未隨之增加。這項成果讓機器人首次能憑藉單段人類示範影片，即時在情境中模仿行為，並能在執行過程中動態改進自身策略，對環境干擾展現更強韌性，也顯著提升了多階段長期任務的成功率。現有的機器人基礎模型大多只能處理單步或少步驟的視覺動作歷史，這限制了它們對複雜、持續性任務的理解與執行能力。

RoboTTT 的核心創新在於將「測試時訓練」機制整合進視覺-語言-動作等機器人基礎模型中，形成一種特殊的序列模型。該模型的循環狀態由「快速權重」構成——這些權重在訓練與推理過程中透過梯度下降持續更新，從而將過去經驗壓縮至權重空間，並能從中提取所需的上下文資訊，實現超長上下文的條件化記憶。為了訓練如此長的上下文，研究團隊設計了一套結合「序列動作強制」與「截斷時間反向傳播」的訓練配方，使模型能夠在 8,000 步的範圍內有效學習與記憶。這項技術讓 RoboTTT 在不增加計算延遲的前提下，將可處理的歷史訊息量提升到前所未有的規模。在真實機器人操作任務的測試中，RoboTTT 的表現相當驚人。

與僅使用單步上下文的基線模型相比，整體性能提升了 87%。最令人矚目的是，RoboTTT 能夠完整執行一項長達五分鐘、包含十個階段的組裝任務，而所有基線模型皆未能在任何一次測試中完成這項任務。這證明了長上下文對於處理長時間、多步驟的現實操作具有關鍵作用。此外，研究團隊也觀察到一項重要的現象：模型在閉環控制下的表現，隨著預訓練上下文長度的增加而穩定提升。具體來說，使用 8,000 步上下文訓練的 RoboTTT 模型，其表現比使用 1,000 步上下文訓練的同一個模型高出 62%。

這意味著「上下文長度」本身可以成為機器人基礎模型一個全新的擴展維度，與模型參數數量或資料規模並列，為未來機器人學習開闢新的研究方向。RoboTTT 的出現，讓機器人不再只是被動執行預先編寫好的動作序列，而是能真正「記住」過去長達數分鐘的互動歷史，並根據這段歷史即時調整當下行為。這項能力使得機器人可從人類的視頻演示中直接學習新的操作技巧，無需額外的示範資料或大量的微調訓練。從工廠裝配到家庭服務，這項技術有望大幅降低機器人部署與適應新任務的門檻。論文也提到，RoboTTT 的核心——測試時訓練的序列模型——不僅限於特定硬體或模態，未來可望擴展至更廣泛的機器人基礎模型架構。

團隊已將完整的論文與示範影片公開至專案頁面（research.nvidia.com/labs/gear/robottt/），讓學術界與產業界得以深入理解這項技術的細節與潛力。這項研究由來自 NVIDIA、史丹佛大學、加州大學柏克萊分校等機構的研究人員共同完成，作者包括 Yunfan Jiang、Yevgen Chebotar、Ruijie Zheng、Fengyuan Hu、Yunhao Ge、Jimmy Wu、Tianyuan Dai、Scott Reed、李飛飛、Yuke Zhu 以及林夕「Jim」范。論文已於 arXiv 上線（編號 2607.15275），並獲得學術社群的高度關注。

多位評論者指出，RoboTTT 提出的長上下文擴展方向，可能成為下一代機器人基礎模型的關鍵技術突破。