幾何的「反攻」！港科大譚平：從局部先驗到全局一致，3D 幾何如何增強視覺大模型 | ECCV 2026

在生成式人工智慧技術持續突破之際，以 Sora 為代表的影片與影像擴散模型，已展現令人驚豔的視覺生成能力。然而，這類模型在跨視角、長距離場景中，往往出現不一致或變形等問題。針對此一痛點，香港科技大學教授譚平於 ECCV 2026 會議中發表關鍵觀點，主張必須導入 3D 幾何資訊，才能從「局部先驗」跨越到「全局一致」，為視覺大模型注入更穩固的空間理解能力。譚平在演講中指出，目前的視覺大模型在處理單一視角或局部區域時表現優異，這得益於大量數據訓練所累積的豐富局部視覺先驗。這種先驗讓模型能精準生成紋理、光影與細節，使單幀畫面品質極高。

然而，一旦任務轉向多視角同步生成或需要維持長時間空間連貫性，例如在動態場景中讓物體在不同角度下保持形狀不變，模型便容易出現結構扭曲或幾何矛盾。譚平認為，這正是當前生成模型的根本瓶頸：缺乏對三維空間結構的內在認知。為了解決此困境，譚平提出「幾何的反攻」這個鮮明主題，呼籲學術界與產業界重新審視 3D 幾何在視覺大模型中的角色。他強調，擴散模型所學習到的視覺特徵雖強大，但本質上是二維的、局部性的；若要讓模型真正理解物體在三維空間中的位置、朝向與尺寸關係，就必須引入幾何先驗作為全局約束。這種從局部到全局的進階，正是 3D 視覺與空間智能領域當前最核心的研究課題。

具體而言，3D 幾何可以為模型提供一個穩固的空間框架。譚平解釋，當模型知道物體在三維空間中的真實結構與相對位置後，就能在生成不同視角的影像時，自動維持一致的形體與深度關係，避免產生視角跳躍或形狀變形。這種方法不僅能提升生成內容的真實感與可信度，更可為自動駕駛、機器人導航與擴增實境等應用帶來突破性進展，因為這些領域高度依賴對環境空間的連續理解。自動駕駛系統需要即時感知周邊物體的立體位置與運動軌跡，機器人導航則要求對場景有幾何一致的建圖能力，擴增實境更需要在不同視角下將虛擬物體穩定疊加於現實空間。

若視覺模型能將局部視覺先驗與全局幾何約束有效結合，這些應用將能擺脫目前因幾何不一致而產生的誤判或抖動問題，實現更流暢、更可靠的互動體驗。譚平在 ECCV 2026 的演講中，進一步勾勒出未來研究的技術路線圖。他認為，下一代的視覺模型應該從設計層面就將擴散模型的視覺特徵與幾何先驗進行深度融合，而不是在後端才加入幾何校正。這種融合可以透過引入可微分的幾何運算層、空間變換模組，或以點雲、網格等三維表示作為中間表徵來實現。目標是創造出能同時擁有高品質局部細節與長程一致性的全新模型架構。「幾何的反攻」這個命題，也反映出譚平對於當前視覺 AI 發展方向的反省。

他認為，過去幾年業界過度依賴大規模數據與神經網路的表徵能力，卻忽略了幾何作為底層結構的重要性。如今，隨著擴散模型在局部生成上的成熟，下一代突破勢必來自於如何補齊全局一致性這塊拼圖。而 3D 幾何，正是那把關鍵的鑰匙。這場演講在 ECCV 2026 現場引發熱烈討論。與會學者普遍認同，將幾何先驗融入視覺大模型不僅是學術上的重要挑戰，更具備即時的工業應用價值。許多與會者指出，譚平提出的路線圖為後續的空間智慧研究提供了清晰的方向，也為自動駕駛、機器人與 AR/VR 領域的工程實踐開啟了新的可能性。

綜合譚平的觀點，可以預見未來視覺大模型的發展將不再只是數據規模與參數量級的競賽，而是轉向如何在二維視覺與三維幾何之間搭建橋樑。這種從局部先驗到全局一致的演進，不僅是技術上的必然趨勢，更可能催生下一代真正具備空間推理能力的智慧視覺系統。譚平在 ECCV 2026 上的呼籲，無疑為這場「幾何反攻」吹響了號角。