Google DeepMind發佈GenCeption:基於視頻生成模型實現多項計算機視覺突破

Google DeepMind 近日發表了一款名為 GenCeption 的全新模型，這項研究最大的特點在於利用預先訓練好的影片生成模型，來解決深度估計、影像分割、3D 姿態估計等經典電腦視覺任務。根據 DeepMind 公布的測試結果，GenCeption 在多項主流基準中表現接近甚至超越當前領域的頂尖水準，更值得關注的是，它所需要使用到的訓練資料規模遠低於傳統的專用視覺模型，為電腦視覺的發展帶來截然不同的路徑。 目前電腦視覺領域的主流做法仍以任務專用模型為主，例如專門用於影像分割的 Segment Anything，以及專注於深度估計的 Depth Anything。不同任務往往需要各自獨立設計的架構，從資料蒐集、標註到訓練流程都必須量身打造，不僅耗費大量時間與運算資源，也導致模型之間難以共享學習到的空間理解能力。DeepMind 研究團隊認為，大型文字到影片模型在預訓練過程中已經學會了場景的空間結構、物體的運動規律，以及語言與視覺之間的對應關係，這樣的特質讓它們有潛力成為通用的視覺基礎模型。 GenCeption 正是基於這個想法而誕生。它採用阿里巴巴開源的影片生成模型 Wan2.1 作為骨幹，並透過簡化的架構設計，實現只需要一次前向傳播便能完成多種視覺任務預測。相較於過去需要為不同任務訓練獨立網路的做法，GenCeption 統一了推理流程，在同一個模型內同時處理多項輸出，大幅提升效率。 在功能方面，GenCeption 可依據文字提示，從同一段影片中生成深度圖、表面法線、分割遮罩以及姿態估計結果。除此之外，它的設計還能透過額外的可訓練模組支援非圖像形式的輸出，例如 3D 關鍵點的定位。這讓 GenCeption 不僅止於 2D 影像的理解，更跨足立體空間的感知，為機器人、自動駕駛、擴增實境等應用領域提供了更全面的視覺基礎。 為了訓練這樣一個多工模型，研究團隊使用了合成資料集，總計包含 7,500 部影片，由 800 個人體模型搭配 200 組動作序列所構成，並透過 Blender 渲染引擎生成。這種完全合成生成的訓練方式，最大的好處是不需要耗費大量人力進行真實世界資料的標註，同時能提供非常精確的像素級標註資訊，讓模型學會準確的幾何與語義理解。 在實際測試中，GenCeption 在深度估計、表面法線預測、3D 姿態辨識以及語言引導分割等任務上都繳出亮眼成績。研究報告指出，它在多項基準測試中達到接近或超過當前領先專用模型的表現，而背後所使用的訓練資料量僅為目前某些業界模型的七分之一到五百分之一。如此懸殊的資料需求差距，不僅證明了影片生成模型作為通用視覺基礎的可行性，也為未來訓練更大規模、更通用的視覺模型打開一扇門。 這項研究的意義在於，它挑戰了電腦視覺多年來「一個任務一個模型」的既定典範。若能持續驗證生成模型內涵的空間與運動知識確實可以遷移到各種感知任務，未來的視覺系統或許不再需要為每個新任務從頭收集龐大的標註資料，而是像語言模型一樣，在預訓練階段就具備大量常識，再透過少量微調或提示來適應多樣的需求。 GenCeption 的出現也反映生成式模型與判別式任務之間正在加速融合。過去生成模型主要被用來創造影像與影片，如今 DeepMind 證明了這些模型內部表徵同樣可以用來解決傳統的感知問題。這種跨界的應用思維，有可能改寫電腦視覺的研究方向，尤其對於資料取得不易或標註成本過高的應用場景，提供一條更輕量、更高效的解決路徑。 當然，從研究到實際落地還有不少挑戰需要克服。GenCeption 目前仍在特定基準上進行驗證，合成資料訓練出的模型能否無縫遷移到真實世界多變的場景，以及模型在複雜遮擋、光影變化等邊際狀況下的穩定性，都是下一步需要深入探討的課題。不過，單就這項研究所展現的成果來看，將影片生成模型重新定位為通用視覺理解引擎，已經為業界帶來全新的思考方向。 隨著生成式 AI 技術持續進展，GenCeption 這類工作很可能只是一個起點。未來我們或許會看到更多研究工作投入探索如何從大型生成模型中萃取空間與運動知識，並將其應用於機器人操作、自動駕駛感知、醫學影像分析等領域。藉由降低對大規模人工標註資料的依賴，電腦視覺的開發門檻有望進一步下降，讓更多創新應用得以更快實現。