雷峰網生成式AI

GAIR Paper 108 | CVPR 2026 冠軍獎論文:4K 參數撬動 VLA 泛化,空間才是真正的瓶頸!

2026年7月17日 06:22

重點摘要

機器人在新場景下失靈,根源不是不懂物理,而是空間表徵錯了——用極少參數校準這一層,就能打開通往原生世界動作模型的路。 作者丨張 璐 編輯丨齊鋮湧 讓機器人真正理解世界,需要更大的語言模型、更逼真的視頻生成,還是別的什麼?雷峰網小編在中山大學與 X-Era AI Lab 團隊的研究中f x了一個意外的答案:很多時候,機器人在新場景下失靈,不是因為它不懂物理,而是因為它"看到的空間變形了"。

站內 AI 整理稿

機器人在未曾見過的環境中突然失靈,背後原因可能不是它學不會物理規則,而是它「看到的空間」出了問題。中山大學與 X-Era AI Lab 團隊近日發表的研究指出,當前視覺-語言-動作模型(VLA)在面對新視角、光照變化、紋理差異或傳感噪聲時表現脆弱,根源在於空間表徵發生錯位,而非模型缺乏物理推理或動作控制能力。這項成果連同兩篇論文,分別被 CVPR 2026 與 ACM MM 2026 接收,其中一篇更獲得首屆 CVPR Compute Transparency Champion Award 冠軍論文獎。傳統觀點常將 VLA 視為端到端系統:輸入影像與語言指令,直接輸出機器人動作。

但這組論文提出更細緻的拆分,將 VLA 內部功能分為兩個部分。第一部分是空間建模,由視覺編碼器負責,任務是從圖像中恢復物體的位置、朝向、遮擋關係與視角結構,形成後續策略所需的空間表徵。第二部分則是物理建模,由視覺語言模型與動作專家共同承擔,結合任務語意、空間表徵與動作歷史進行高層推理,並產生可執行的動作序列。研究團隊透過實驗發現,當相機視角改變時,真正受到影響的是空間配置,而非任務語意或執行工作所需的物理規律。這意味著新視角下的效能下降,更可能來自空間表徵與後端策略之間的對齊失靈,而非整個 VLA 的物理推理失效。

這個判斷將改善焦點從「堆疊更多數據、擴大模型規模」轉移到一個更具體的問題:模型內部看到的空間,是否足夠真實且穩定。為了驗證這項假設,論文提出一套 one-shot 穩健適應框架,僅用極少量可學習參數來校正 VLA 的視覺空間表徵,其餘部分完全凍結。其中,Feature Token Modulation(FTM)只引入兩個全域可學習向量,對視覺 token 進行簡單的仿射變換——重新縮放與重新置中特徵分佈。僅需學習約 4K 個參數,便將 LIBERO 新視角任務的成功率從 48.5% 提升至 87.1%。

另一種方法 Feature Linear Adaptation(FLA)則在 ViT 編碼器的線性層中加入低秩更新,動用約 4.7M 個參數完成更深層的特徵對齊。在相同測試中,FLA 達到 90.8% 的成功率,超越強 LoRA 基線的 90.3%,且參數量從 467M 降至 4.7M,減少約 99 倍。在擴展的 LIBERO-V 視覺擾動基準上,FLA 在相機、光照、紋理與噪聲四類擾動條件下取得 94.8% 的平均成功率,而 FTM 以僅 0.004M 參數達到 90.5%。這些數據清楚顯示,對空間表徵進行有針對性的輕量校正,效果不輸全模型微調,空間建模確實是 VLA 泛化鏈條中的真正瓶頸。

這項發現帶來更深層的啟發:空間智能與物理智能是兩個可以分別分析、校正與重組的層面。空間智能對應模型對幾何結構的建模能力,包括三維位置、視角變化、遮擋關係與物體佈局;物理智能則指模型對動作、接觸、約束與因果後果的建模能力。論文提出的「空間與物理可分離」觀點,為所謂的原生世界動作模型(Veridical World Action Model,VWA)鋪平了道路。在 VWA 框架中,空間不再是視覺語意的附屬品,而是世界動作模型的幾何基礎;物理也不是動作頭之後才訓練出來的表面能力,而是在預訓練階段就必須直接學習的時空演化與因果約束。

當前許多具身模型仍遵循「先預訓練視覺語言模型或影片模型,再後訓練成動作模型」的路徑,隱含假設語言或影片中的世界知識最終會自然遷移為動作能力。但真實機器人需要的不是預測下一個詞元,也不是生成未來畫面,而是在物理世界中預測動作及其後果。VWA 的核心主張正是修正這種錯位:如果最終目標是讓模型在物理空間中行動,預訓練階段就應該直接學習真實世界中的狀態、動作與時空變化,包括未來三維位置、運動趨勢、接觸狀態、材質屬性、可操作性與環境約束。機器人動作則可被視為從這個密集物理預測場中讀出的本體軌跡。

值得一提的是,論文「VLA Models Are More Generalizable Than You Think」獲得了 CVPR 2026 Compute Reporting Initiative 的最高認可——Compute Transparency Champion Award。這是 CVPR 首次設立此獎項,旨在表彰在計算資源、實驗方法與可復現細節上達到示範性揭露的研究。這項榮譽與論文主題形成巧妙呼應:具身智慧需要模型理解真實世界,而研究過程本身也需要真實、透明與可復現。

論文同時推進了兩個方向的透明化——讓機器人更清楚地理解物理世界,也讓研究社群更清楚地理解智慧模型是如何被訓練、評估與復現的。在世界模型、空間智能與物理智能快速匯流的當下,這兩篇論文提供了一個簡潔而重要的判斷:對 VLA 的有效改進,不應只是把語言、視覺與動作繼續堆疊,而應重新理解空間與物理的關係,並在此基礎上構建真正原生於物理世界的動作模型。從僅 4K 參數的輕量校正到原生世界動作模型的藍圖,這條路徑或許正是突破當代具身智慧瓶頸的關鍵方向。

Related

相關文章

六巨頭定AI插件新標準,撞臉Claude,Anthropic沒上桌

六大科技巨頭(AWS、Anysphere、GitHub、微軟、OpenAI、Vercel)聯合發布AI智能體插件統一開放規範Agent Plugins 1.0.0,旨在統一插件打包格式,減少開發者重複勞動。該規範的結構與Anthropic的Claude Code插件系統高度相似,但Anthropic並未參與制定,而是繼續經營自己的封閉生態。

剛剛
鈦媒體生成式AI

DeepSeek重啟融資,三年市值對齊騰訊?

DeepSeek重啟第二輪融資,以5000億元人民幣估值尋求籌集80億美元,但網傳一份由小型醫藥私募發起的專項基金募資材料引發網友質疑,後經DeepSeek員工證實部分數據屬實。該公司近期宣布API大幅漲價,可能打破其以低價換規模的估值邏輯,面臨客戶流失風險。市場關注其能否從「價格屠夫」轉型為價值提供商,以及三年內市值能否對齊騰訊等巨頭。

13 分鐘前

可靈AI核心技術骨幹王鑫濤被曝離職

快手可靈AI核心技術骨幹王鑫濤被曝離職,去向未知,快手官方與本人均未回應。王鑫濤是圖像與視頻生成領域知名開源項目主要作者,被視為可靈從0到1的關鍵推手。其離職發生在可靈完成獨立融資、估值180億美元的關鍵階段,可能影響研發進度與競爭優勢。

14 分鐘前

AI短劇、漫劇、戀綜、電影、藝人都有了,AI觀眾也不遠了

2026年AI影視內容全面爆發,從短劇、長劇到電影、綜藝,AI製作的作品大量湧現,衛視也開始播出AI短劇。AI演員如方桃子迅速走紅,商業變現能力驚人,廣告報價甚至超過許多真人網紅。AI短劇市場規模已突破220億元,用戶超過6億,但同時也引發了對真人演員就業和內容品質的擔憂。

18 分鐘前