剛剛,首個空間原生的具身視覺基模開源!機器人更會看我們的世界了

重點摘要
螞蟻靈波開源首個空間原生的具身視覺基模LingBot-Vision,並同步釋出深度模型LingBot-Depth 2.0,專門解決機器人在透明物體、遠距離小目標與複雜場景中的深度感知難題。該技術透過邊界強制預訓練機制,讓機器人更準確辨識物體邊界與空間結構,在深度補全等多項基準測試中表現領先。相關模型權重與程式碼已於Hugging Face與GitHub公開,有助於降低機器人視覺系統的開發門檻。
螞蟻靈波近日開源首個空間原生具身視覺基模 LingBot-Vision,並同步推出基於此技術的深度感知模型 LingBot-Depth 2.0。這兩項成果讓機器人對真實世界的視覺理解出現明顯躍進,尤其是在透明物體、遠距離小目標、室內複雜光影等過去極易失敗的場景中,深度圖的穩定度與完整度都大幅提升。從官方公布的示範影片可清楚看到這項進步。左側是原始 RGB 畫面,中間是傳統深度模型輸出的原始深度圖,杯子的輪廓破碎,部分杯壁與背景融在一起,香檳塔更出現大量空洞,幾乎無法辨識形狀。但經過 LingBot-Depth 2.
0 處理後,最右側的深度圖則呈現出清晰的杯子邊界、層次與整體結構,就連極細的透明水柱都穩定可見。對機器人來說,這種差異極為關鍵。若機械臂要抓取一個杯子,邊界看不準就可能抓偏;若機器人需在家庭、商場或工廠中持續移動,深度圖一旦破碎,後續的運動規劃與控制都會跟著抖動。正因如此,螞蟻靈波決定推出這兩套模型:LingBot-Vision 作為面向機器人真實任務的空間原生視覺底座,LingBot-Depth 2.0 則將這個底座進一步轉化為更穩定的深度輸出,補足傳統視覺模型在幾何結構上的弱點。機器人視覺長期面臨幾類難題。
首先是透明與反光材質,香檳塔就是典型:透明杯壁在 RGB 畫面中能被看到,但深度感測器與深度模型常在此處出現空洞、邊緣沾黏或區域遺失。LingBot-Depth 2.0 的輸出則盡量維持杯口、杯壁、杯身之間的幾何關係,讓機器人知道杯子的邊界、開口方向與可接近位置。第二類是小目標與遠距離目標,例如一隻狗在戶外追逐網球,傳統深度圖完全模糊,地面、牆體、網球、樹木和狗無法區分;而新模型則能清楚呈現這些物體的位置關係,對於移動機器人提前感知遠處障礙物至關重要。第三類是室內複雜場景,如玻璃門、窗簾、電視櫃等,在光照變化下很容易產生大片破碎與空洞,LingBot-Depth 2.
0 的結果則更連續,牆面、門框、地面與近處物體的空間層次保留完整。第四類是弱光、遮擋與雜亂環境,傳統模型在邊緣位置常有噪點與缺口,新模型則穩定許多。這些案例指向同一個核心問題:機器人看世界不能只靠語義理解,它需要的視覺能力更接近一種空間常識——哪裡是邊界、哪裡是空的、哪裡能走、物體距離多遠。這也是 LingBot-Vision 的設計出發點。傳統視覺基礎模型長期圍繞「理解圖像內容」來訓練,但機器人還要知道物體的幾何結構。
LingBot-Vision 的做法是把邊界與空間結構直接放進預訓練目標,團隊為此提出 masked boundary modeling,這是一種讓模型專門學習難點的自監督訓練方式。具體來說,普通的 Mask modeling 隨機遮住圖像的一塊讓模型猜回來,但遮住的地方可能只是牆面或天空等資訊密度較低的區域。LingBot-Vision 則讓教師模型在線發現圖像中的邊界 token,並將這些邊界 token 強制加入學生模型的 mask 中,這就是 boundary-forcing。模型不能只在平坦區域練習,而必須去學習更有空間資訊量的邊界區域。
邊界 token 還會被分配幾何目標,讓模型同時學習語義與邊界場——描述邊界位置、方向與幾何關係的訊號。為使訓練更穩定,團隊還引入分類化的邊界場表示以及 a-contrario 檢驗,減少將噪聲誤判為真實結構的情況。從技術規格來看,LingBot-Vision 是一個約 10 億參數的 ViT,透過純自監督訓練,在密集空間任務上可匹敵甚至超越參數量最多約 7 倍的視覺基礎模型。在 NYU-Depth v2 基準上,它取得所有對比模型中的最佳精度,包括 7B 的 DINOv3 在內。更值得留意的是它的蒸餾學生模型:0.
3B 的學生模型在 NYU-Depth v2 上能達到與 7B DINOv3 相當的精度,參數量少了約 23 倍。這對機器人端側部署、算力成本與延遲來說,是非常現實的優勢。LingBot-Depth 2.0 正是這條技術路線的直接驗證。它基於 LingBot-Vision 升級,在 12 個深度補償基準上取得領先結果。論文更指出,隨著下游訓練數據增加,LingBot-Vision 編碼器帶來的優勢會進一步擴大,不會被數據稀釋。換言之,LingBot-Vision 與 LingBot-Depth 2.0 的關係不是簡單的「視覺模型加深度模型」,而是空間原生視覺底座與空間感知落地驗證的搭配。
這項開源成果也獲得業界關注,不少網友直言玻璃與透明物體是機器人視覺的噩夢,此次突破可視為重要里程碑。此外,LingBot-Depth 2.0 已通過奧比中光深度視覺實驗室認證,雙方也圍繞 EGO-RGBD 數據採集設備、SDK 以及後續一體化相機產品展開合作,顯示這套能力正從論文與開源走向硬體與產品整合。具身智能的發展浪潮中,大模型讓機器人能聽懂指令與規劃任務,但視覺一旦不穩,後續所有環節都會受影響。移動機器人可能繞不開障礙物,機械臂可能抓偏,服務機器人可能誤判門、牆、玻璃與人之間的相對位置。LingBot-Vision 與 LingBot-Depth 2.
0 的開源,等於為機器人企業、開發者與研究機構提供一個更容易複用的視覺底座,有助於降低使用門檻,讓下游團隊能更快驗證移動、避障、抓取等真實任務。當機器人開始真正看懂空間,具身智能離全面上崗也就更近了一步。
Related
相關文章

Meta 旗下 AI 模型測試時意外入侵第三方企業系統
Meta 在進行AI模型安全測試時,因第三方公司Irregular配置錯誤,導致模型意外入侵另一企業系統。涉事模型為Muse Spark 1.1,事件引發對AI模型可能衝出邊界、發動網絡攻擊的擔憂。

拆解“AI辦公入口戰”底層:怎麼做才能成為最終贏家?
字節、阿里、騰訊等大廠正透過組織調整與產品整合,全力爭奪AI辦公入口,關鍵在於模型、場景、生態與商業體系的全面競爭。這場戰爭的核心是透過AI產品實現Token經濟的商業閉環,並以「效果」為標準,透過自有體系與外部生態滿足企業用戶的真實需求。最終贏家需兼顧模型能力、場景積累與生態建設,才能在AI生產力時代站穩腳步。

千人聯機世界模型“RhOS-World: Khora”正式發佈
RhOS.ai與Ophilus.AI共同發布了千人聯機世界模型「RhOS-World: Khora」,該模型能讓多達1024個智能體在共享的3D空間中即時互動,且無需傳統物理引擎。其核心技術「STBoard(時空黑板)」架構,透過統一的物理狀態管理,解決了多視角一致性的難題,並大幅降低了擴展智能體數量的運算成本。
TutorMoments:AI 家教何時該出手,何時該放手?
今日我們推出 TutorMoments 預覽版,這是一個評估框架,旨在衡量尖端大型語言模型能否掌握教育中最難的平衡:何時介入協助學生,何時退後讓學生自行努力。TutorMoments 基於真實的一對一數學輔導課程,透過重播方式進行評估。經驗豐富的數學教師會檢視從美國收集的對話記錄。

告別反覆操作 OSD,華碩顯示器管理軟件 DisplayWidget Center 接入 AI 智能體
華碩顯示器管理軟體 DisplayWidget Center 推出重大更新,加入 AI 智能體功能,用戶可透過自然語言調整亮度、色溫等參數,無需操作 OSD。該功能支援 CLI 與 Agent Skill,可根據使用習慣自動切換模式,並適用於企業環境的統一部署。

千問App部分功能探索收費,想學豆包能跑通嗎?
千問App於8月7日更新,新增辦公助理等付費功能,基礎功能仍免費,但辦公場景使用額度需付費取得。此舉仿效豆包專業版等產品的訂閱模式,反映AI行業正集體轉向辦公場景收費,以尋求變現機會。