RoboTALES具身智能新框架亮相

加州大學聖地牙哥分校（UCSD）的研究團隊近日發表了一項名為「RoboTALES」的全新框架，旨在解決預訓練影片生成模型在機器人視覺運動控制上的核心痛點——想像軌跡容易偏離任務目標，導致無法穩定地用於規劃或策略學習。該研究已在 arXiv 上公開，同時釋出程式碼與模型，引起機器人學習社群關注。 近年來，預訓練的影片生成模型被視為視覺運動控制極具潛力的骨幹架構。這些模型能夠根據當前觀測想像出未來幾步的畫面，理論上可作為機器人規劃行動的參考。然而，實際應用時模型想像的未來常常與任務意圖產生偏移，而且缺乏與動作條件的可靠連結，使得這類模型難以直接套用在策略提取或閉環規劃上。為彌補這項差距，研究團隊提出了 RoboTALES，一個能學習任務對齊模擬未來並藉此訓練機器人策略的整合框架。 RoboTALES 的核心設計包含兩項關鍵技術。第一項是基於大型語言模型（LLM）的分層規劃器，它能將複雜的長程任務拆解成一連串具體的子目標，進而引導影片生成模型的想像過程，使其不會在時間推進中迷失方向。第二項則是基於視覺語言模型（VLM）的評估機制，這個批評者會檢視模型所「想像」的未來畫面，並透過獎勵形式的回饋信號，讓模型內部表徵持續校準在最終目標上。 研究團隊強調，將影片生成器錨定在抽象推理之上，能產出時間上更一致的展開（rollout），以及更連貫的動作序列。換句話說，機器人不僅能看到合理的未來畫面，還能知道要採取哪些動作才能抵達那裡。這項設計讓 RoboTALES 能同時兼顧模擬品質與策略可用性，跳脫過去必須分兩階段處理的框架。 為了驗證效能，研究團隊在 RoboCasa 與 LIBERO10 兩套多樣化的操作任務集上進行測試。結果顯示 RoboTALES 在各種任務上 consistently 優於現有方法，尤其在需要多步驟推理與長時間執行的長程任務中，優勢更為明顯。論文指出，這得益於分層規劃與視覺批評對任務意圖的持續校準，有效減少了想像漂移造成的策略退化。 RoboTALES 的提出正值機器人學界積極探索如何將基礎模型（foundation models）嵌入決策流程之際。過去許多研究嘗試直接將影片生成模型的輸出當作計畫，卻往往因為生成的影片偏離事實或無法對應到具體動作而失敗。RoboTALES 選擇不把影片生成當作終端，而是將其作為可學習的中介表徵，並利用 LLM 與 VLM 的推理能力來監督這個中介表徵的生成過程。 值得一提的是，RoboTALES 被定位為單一階段（single-stage）框架，意即影片生成與策略學習並非分開最佳化，而是在同一個訓練流程中彼此強化。這樣的設計不僅簡化了訓練流程，也讓模擬未來與實際動作之間的對齊更為緊密。研究團隊表示，這種架構在樣本效率與任務泛化上都有正面效益。 參與這項研究的成員包括 Hanan Gani、Tejal Kulkarni、Madhoolika Chodavarapu、Nicklas Hansen 與 Manmohan Chandraker。團隊來自加州大學聖地牙哥分校，其中多位成員長期投入視覺推理與機器人學習的交叉領域。此次發表也獲得了 Hugging Face 社群的關注，論文頁面上線不久即獲得社群推薦。 RoboTALES 目前已於 GitHub 上公開完整程式碼與預訓練模型，研究人員與開發者可直接下載使用。論文作者也鼓勵學界在更多真實機器人平台上測試該框架，進一步探索不同感測器輸入與任務類型下的表現。這項工作為結合基礎模型與機器人學習提供了新的實作方向，也為長程操作任務的策略學習帶來了更具可行性的解決方案。 隨著機器人應用場景日益複雜，如何讓機器人真正理解任務並在時間軸上保持目標意識，已成為從模擬邁向真實部署的關鍵課題。RoboTALES 將高層語言推理與低層視覺生成加以整合，提供了一個兼顧可解釋性與實用性的新思路。未來若能將這套框架進一步與即時學習或適應性機制結合，可望大幅降低機器人策略對大量示範資料的依賴。