Ant Group’s Robbyant Open-Sources LingBot-Vision: A 1B Boundary-Centric Vision Foundation Model for Dense Spatial Perception

螞蟻集團旗下專注於具身人工智慧（Embodied AI）的子公司 Robbyant，近日正式開源一款專為稠密空間感知設計的視覺基礎模型系列 LingBot-Vision。該系列以自監督 Vision Transformer 為架構，並已在 Hugging Face 上以 Apache-2.0 授權釋出模型權重，同時附上技術報告與推論程式碼。LingBot-Vision 提供 ViT-giant、ViT-large、ViT-base、ViT-small 四種規模，可根據運算需求選用，其中旗艦模型 ViT-g/16 參數量約 11 億。 現有大多數視覺基礎模型都圍繞語義不變性進行訓練，重點是學習「影像中有什麼」，卻在過程中捨棄了精細的空間結構，例如物體邊界、輪廓與深度不連續性——而這些恰恰是機器人與其他實體系統賴以運作的核心資訊。LingBot-Vision 的設計邏輯正好相反，它將邊界視為原生的預訓練訊號，而非等到下游任務才處理。這項取捨讓僅 11 億參數的主幹模型，在稠密空間任務上得以比肩甚至超越參數量大七倍（70 億）的模型，例如 DINOv3。 LingBot-Vision 的本質是一個自監督預訓練編碼器，專門服務於需要空間結構的下游任務。旗艦 ViT-g/16 參數約 11 億，採用全新的訓練目標「遮罩邊界建模」（Masked Boundary Modeling），在所策展的約 1.61 億張圖片上進行訓練——這些圖片從 20 億張的網路資料池中篩選而來——全程無需人工標註、無需外部邊緣偵測器，也不需要任何預訓練主幹模型作為起點。值得注意的是，這個訓練語料庫規模比 DINOv3 使用的 LVD-1.689 億資料集小了一個數量級，且模型在訓練過程中所消耗的樣本數不到 DINOv3 的三分之一。編碼器輸出稠密的 patch 特徵向量，可直接用於凍結特徵的線性讀出。若要在更小的運算預算下部署，旗艦模型可透過蒸餾產生 ViT-L（3 億）、ViT-B（8600 萬）與 ViT-S 學生模型，它們在同級參數量中均能達到頂尖的稠密預測表現。 遮罩邊界建模的技術核心建立在 DINO/iBOT 的自蒸餾框架之上：教師模型（學生的 EMA 副本）產生線上目標，學生則從遮罩視圖中還原這些目標。傳統的遮罩影像建模隨機遮蓋 patch，完全忽略每個 patch 描繪的內容。平坦的內部 patch 很容易從鄰近 patch 還原，但跨在物體邊界上的 patch 承載的結構遠非上下文所能補齊——邊界正是影像中最缺乏冗餘、資訊量最豐富的區域，然而隨機遮罩卻一視同仁地處理它們。LingBot-Vision 以兩個關鍵設計填補了這個缺口。 首先是邊界強制（Boundary-forcing）。教師模型在線上預測出稠密的邊界場，並辨識出邊界 token B，然後將這些 token 強制加入學生的遮罩集合中，疊加在隨機遮罩 M 之上，形成複合遮罩 M⁺ = M ∪ B。遮罩後的 token 根據幾何屬性分流：邊界 token 除了語義自蒸餾目標之外，還會額外接受一個明確的幾何目標；而內部的遮罩 token 則維持標準的語義目標。這個分流之所以重要，是因為在兩個區域的交界處，語義目標本身存在模糊性，而幾何目標正好在傳統遮罩建模最弱的環節能夠明確定義，從而讓語義與幾何表徵共同湧現，而非互相競爭。 第二項設計是分類式邊界場（Categorical boundary field）。邊界被模型化為線段，再映射成稠密場：每個鄰近像素儲存一個屬性向量 a(p) = (d, θ, φ¹, φ²)，記錄它到最近線段的距離與三個定位角度。如果在教師－學生迴圈中直接回歸這個場，模型會崩潰。解決方法是將每個通道離散化成 K=32 個區間，把邊界預測重新框架為逐像素分類——這讓邊界分支得以繼承現代自蒸餾中用來穩定訓練的集中化（centering）與銳化（sharpening）機制。分類形式還帶來一個優雅的效果：在經典的 a-contrario 虛無假設「沒有結構」之下，邊界方向應為均勻分布，而該虛無假設現在正好對應各區間的均勻分布。偏離均勻分布就是真實邊界的證據，因此不需要額外參數的「誤報次數」（Number-of-False-Alarms, NFA）檢定，就能以零成本驗證每個解碼出的線段。教師模型在每次迭代中利用這個特性：從自己的場預測中解碼候選線段，只保留通過 NFA 檢定的線段，再將它們重新渲染成目標場——如此一來，沒有證據支持的結構永遠不會成為教學訊號。完整的目標函數由四項組成：語義自蒸餾損失、遮罩影像建模損失、邊界損失，以及多樣性損失 KoLeo。 在效能方面，以下所有稠密結果均使用凍結特徵搭配單一線性層，因此表現可直接歸因於表徵品質，而非解碼器。在 NYU-Depth v2 深度估計任務中，LingBot-Vision ViT-g 以 RMSE 0.296 締造比較中最佳成績，超越參數量近七倍的 DINOv3（0.309），也優於 20 億參數的 V-JEPA 2.1（0.307）。在 KITTI 深度估計上，它是 20 億參數以下的最佳模型。在語義分割方面，LingBot-Vision 與經過蒸餾的 DINOv3 ViT-H+ 表現相當：ADE20K 上 mIoU 落後 1.3，Cityscapes 持平，VOC12 則領先；同時，它在這三個基準上均比同參數量的 DINOv2 提升超過 4 個 mIoU。目前與 DINOv3 家族之間唯一的差距（ADE20K 上落後 7B 模型 2.4 mIoU），但其成因來自 DINOv3 的蒸餾與專屬的稠密特徵目標。在影片物件分割方面，LingBot-Vision 在 DAVIS-2017 達到 70.0 J&F，在 YouTube-VOS 達到 73.5，與 DINOv3 ViT-H+（71.1 / 74.0）和 7B DINOv3（71.1 / 74.1）幾乎持平，並且在所有其他規模的模型中表現最佳。其邊界 token 甚至穩定到可以單純用凍結特徵的餘弦相似度進行影片跨幀追蹤，完全不需要時間監督。 這樣的設計取捨也反映在影像層級的辨識任務上。ImageNet-1K 線性探測成績為 86.32，k-NN 為 83.39，落後於將容量完全用於影像層級不變性的 DINOv3-7B。然而，蒸餾後的學生模型依然保留了稠密優勢：參數量僅 3 億的 ViT-L 學生，在 NYUv2 深度任務上以 RMSE 0.310 追平 7B DINOv3 的 0.309，參數量卻只有後者約 1/23。 在實際應用上，LingBot-Vision 產生的凍結 patch token 可直接服務多項稠密任務：深度估計從特徵中直接讀取幾何資訊，語義分割受益於精準落在物體輪廓上的特徵過渡，而影片物件分割則可透過餘弦相似度的 token 匹配來完成。該編碼器也可作為下游深度補償（depth completion）訓練的初始化起點。 Robbyant 同時表示，雖然旗艦模型已展現出優異的空間感知能力，但團隊也正基於此編碼器開發專用的深度估計模型 LingBot-Depth 2.0，以進一步展示空間感知原生編碼器在下游任務中的實質效益。目前 LingBot-Vision 的所有模型已可透過 GitHub 與 Hugging Face 取得，開發者只需按照官方儲存庫的指示，即可載入不同大小的主幹模型，並利用數行程式碼提取稠密 patch 特徵。隨著開源社群加入，這項技術可望加速機器人、自動駕駛、擴增實境等領域對空間理解的需求。