ICML 2026 | 面向視覺語言模型的語義魯棒性認證

原文作者：公眾號“專知”原文鏈接：https://mp.weixin.qq.com/s/8GZParVJfj9fBuflTFTzlA 雷峰網轉載ICML 2026 | 面向視覺語言模型的語義魯棒性認證：用文本提示刻畫可證的語義變化區間論文題目：Semantic Robustness Certification for Vision-Language Models論文鏈接：https://arxiv.org/abs/2606.18839論文作者：Peiyu Yang、Paul Montague、Feng Liu、Andrew C. Cullen、Amardeep Kaur、Christopher Leckie、Sarah M. Erfani論文機構：The University of Melbourne、Defence Science and Technology Group代碼地址：https://github.com/ypeiyu/vlm-semantic-cert視覺語言模型（VLM）已經成為開放詞表識別、圖文檢索、檢測、分割和視覺問答等任務的基礎組件。但在真實應用中，輸入圖像經常發生語義層面的變化：物體形狀變了、尺寸變了、風格變了、背景變了、視角變了、光照變了。傳統魯棒性認證多關注像素擾動、幾何變換或生成模型潛空間變化，很難直接回答一個更貼近日常部署的問題：當圖像沿著某個“語義方向”變化時，VLM 的預測在多大範圍內保持不變？這篇 ICML 2026 論文提出了一個新的語義魯棒性認證框架。核心想法非常漂亮：利用 VLM 的開放詞表能力，把文本提示作為語義代理，用一對 source/target prompt 在圖文共享嵌入空間中定義語義變化方向；再利用 VLM 分類器決策邊界的閉式幾何結構，精確計算預測類別保持不變的 semantic extent interval。換句話說，模型不僅判斷“這個圖像是什麼”，還可以被認證為“當它朝某個語義屬性變化到什麼程度之前，預測仍然不會變”。1. 研究背景：魯棒性認證為什麼需要進入語義層魯棒性認證的目標，是給出模型預測在一組允許輸入變化下不變的保證。經典工作通常圍繞像素級擾動，例如 Lp ball 內的對抗擾動；也有工作處理旋轉、平移等幾何變換；近年還有方法在生成模型潛空間中做 semantic transformation certification。這些方向各有侷限。像素級擾動能描述 worst-case 局部變化，卻難以表達“更圓”“更暗”“更像素描風”“換成桌面背景”等語義變化。幾何變換有明確閉式參數，但覆蓋範圍有限。生成模型潛空間可以表達更復雜語義，但通常需要針對每種語義變化準備足夠數據並訓練或使用相應生成模型，實際部署成本較高。VLM 提供了一個新機會：圖像和文本被映射到同一個單位球嵌入空間，分類通常通過圖像 embedding 與類別文本 embedding 的餘弦相似度完成。這意味著文本 prompt 本身可以作為語義錨點。作者正是從這裡切入，將“語義變化”轉化為嵌入空間中由文本 embedding 張成的二維子空間上的連續變換。圖中，輸入圖像是 gyoza。若目標語義是 triangular，隨著語義 extent 增大，模型預測在 0 到 0.77 區間內仍為 Gyoza，超過後會翻轉到 Samosa；若目標語義是 on a plate，則整個區間內預測仍保持 Gyoza。這種區間化輸出比單點預測更有診斷價值。2. 相關工作：本文和已有認證方法的差異論文把相關工作放在三條線索中。第一是 VLM 魯棒性。已有研究關注分佈偏移、對抗攻擊、多模態安全、魯棒優化、蒸餾和解釋方法，但多數是在觀測到變化後分析或提升模型表現，並沒有給出閉式的 prediction-invariant interval。第二是魯棒性認證。隨機平滑、PixelDP 等概率方法給出置信意義下的認證；DeepPoly、CROWN、PRIMA 等抽象解釋或 convex relaxation 方法給出 sound 但可能保守的保證；ReluVal、branch-and-bound 等 complete verifier 追求精確性。這些方法大多面向像素擾動或神經網絡內部結構，不適合直接描述開放詞表語義變化。第三是輸入變換建模。DeepG、GeoRobust 等關注閉式幾何變換，ApproxLine、GCERT 等利用生成模型潛空間做語義變化認證。本文與它們的關鍵不同在於：不需要為每個語義變化額外訓練生成模型，而是藉助 VLM 自身的文本-圖像嵌入幾何，用 prompt 直接指定語義方向。3. 問題定義：在 VLM 嵌入空間中認證語義 extent論文考慮雙編碼器 VLM。圖像 x 經視覺編碼器得到單位 embedding z，類別 prompt 經文本編碼器得到單位 embedding uc，分類規則是選擇與 z 內積最大的類別文本 embedding。由於 embedding 都在單位球上，內積等價於餘弦相似度。作者希望定義一個語義變換 γ(φ)，其中 φ 是 semantic extent，表示圖像從 source semantic a 向 target semantic a' 變化的強度。認證目標是：給定 extent 範圍，判斷 VLM 預測在哪些子區間保持不變，在哪些點發生類別翻轉。這種表述有兩個要點：語義變化不是直接在像素空間做，而是在 VLM 共享嵌入空間做。語義方向不是人工手寫公式，而是由文本 prompt 的 embedding 指定。因此，問題從“如何生成所有可能語義變化圖像”變成“如何在 VLM 嵌入幾何中沿語義方向移動，並精確分析分類邊界”。4. 方法：文本代理、語義平面與閉式決策邊界論文方法分三步：先證明/利用嵌入空間中的結構化語義，再構造語義變換，最後做區間認證。首先，作者使用一對文本 prompt 表示 source semantic 和 target semantic。例如 source 是 “a photo of a gyoza”，target 可以是 “a photo of triangular gyoza”。對應文本 embedding ua 與 ua' 張成一個二維 semantic plane。圖像 embedding z 被分解為兩部分：位於該平面內的 z∥，以及與該平面正交的 z⊥。語義變換隻改變平面內分量的方向，不改變正交分量。這樣做的直覺是：ua 與 ua' 所定義的平面負責描述目標語義變化，而 z⊥ 保留與這對語義無關的剩餘信息。其次，作者定義 semantic extent φ。φ 控制 z∥ 在 source-target 語義平面中的角度位置。起點對應 source semantic，終點對應 target semantic。實際應用中，target extent 可以通過兩種方式確定：Text-specified：直接用 target prompt embedding 作為終點語義。Image-specified：如果有目標語義參考圖像，則用參考圖像 embedding 投影來確定終點。最後是 certification。VLM 分類器的決策邊界由類別文本 embedding 的 pairwise bisector 決定，也就是 Voronoi decision regions。把語義變換 γ(φ) 代入類別 margin 後，類別切換點可以寫成 φ 的閉式方程。收集所有可能類別對的切換點並排序，就可以把 extent 區間切成若干 prediction-invariant intervals，每個區間都有確定預測類別。這就是本文最核心的技術貢獻：不是採樣很多語義變化圖像再觀察模型是否翻轉，而是在 embedding space 中解析地找出預測保持不變的區間。5. 實驗：語義變化、證書邊界與真實數據論文在 CLIP ViT-B/32 上實驗，並覆蓋生成數據與真實數據。作者關注三個問題：構造出的 semantic transformation 是否與目標語義一致？認證區間是否能正確對應預測變化？在真實數據集上是否比基線更穩定？首先是定性結果。作者用顏色、形狀、材質、風格、紋理、背景、視角、光照等 descriptor 構造目標語義，觀察證書區間如何變化。這些例子展示了方法的可解釋性：wallflower 在 red flower、spiral flower、front-view flower 等方向上會出現不同類別邊界；beagle 在 pointy dog、gray dog、close-up photo 等語義變化下也有不同的穩定區間。證書不只是一個標量 robustness score，而是沿語義方向展開的預測軌跡。論文還將 semantic descriptors 按屬性類型分組，覆蓋 color、shape、material、style、texture、background、viewpoint、illumination 等變化。然後是證書邊界評估。作者引入 misalignment budget δ，模擬視覺與文本 embedding 之間可能存在的跨模態不對齊。結果顯示，隨著 δ 增大，stable coverage 會下降，這是預期現象；但 empirical invariance 和 conditional invariance 仍保持較高，說明證書邊界整體偏保守但可靠。在合成語義變化實驗中，作者使用多模態 LLM 生成逐漸變化的圖像序列，覆蓋 OxfordPets、Flowers102、Food101 等數據集，並比較 ExactLine、文本指定變換 T-Spec 與圖像指定變換 I-Spec 的 mean absolute discrepancy。數值越低，表示構造的變換與參考語義變化越一致。在真實數據上，論文使用 DTD、FGVCAircraft、Caltech101、StanfordCars、Flowers102、OxfordPets、Food101、UCF101 等 8 個圖像識別數據集。由於真實圖像序列往往不能完全隔離目標語義，作者用 VLM 按 prompt similarity 對圖像排序，構造近似的真實語義變化序列。整體上，本文方法在合成和真實數據上都比 ExactLine 更穩定地對齊語義變化。I-Spec 通常更強，因為它使用目標語義參考圖像；T-Spec 更輕量，因為只需要文本 prompt，就能指定開放詞表語義。6. 討論：證書的用途與邊界本文的證書有幾個實際用途。第一，可用於魯棒性審計。開發者可以指定“顏色變暗”“背景變成街道”“視角變為 close-up”等語義方向，檢查 VLM 在多大 extent 內預測穩定。第二，可用於 failure mode 診斷。證書區間短，說明模型對該語義方向敏感；類別翻轉點可以揭示模型把哪些屬性當作決策依據。第三，可用於 prompt learning 或 prompt engineering。不同 prompt 定義的語義方向可能產生不同穩定區間，證書長度可以作為選擇 prompt 的參考標準。第四，可用於下游圖像文本檢索、檢測和分割等任務，因為這些任務往往復用同一個 image-text scoring mechanism。不過，作者也強調了兩個限制。一是證書依賴文本代理質量以及圖像/文本 embedding 對齊程度。論文通過 bounded misalignment 顯式建模這部分不確定性，但如果跨模態 gap 很大，證書會變得保守。二是真實世界語義變化很難完全隔離。真實序列中可能混入非目標因素，例如改變背景時也改變了物體姿態或光照。因此，證書不應被解釋為任意現實變換下的安全保證，而是對 prompt 指定語義方向和給定 misalignment 假設下的穩定性刻畫。7. 小結《Semantic Robustness Certification for Vision-Language Models》提出了一個面向 VLM 的語義級魯棒性認證框架。它把文本 prompt 作為 semantic proxy，在 VLM 嵌入空間中定義可參數化的語義變換，並利用分類決策邊界的閉式幾何結構，計算預測保持不變的 semantic extent intervals。這項工作的關鍵意義在於，它把魯棒性認證從像素擾動和少數幾何變換推進到開放詞表語義變化：不需要為每個語義訓練生成模型，也不需要額外標註數據，就能用文本描述目標語義並獲得可解釋的穩定區間。對未來 VLM 部署而言，這類方法可以作為模型審計、語義漂移監控、prompt 選擇和失敗模式分析的基礎工具。它提醒我們：一個視覺語言模型是否可靠，不僅要看靜態 benchmark 分數，還要看它在語義連續變化過程中，預測邊界究竟在哪裡。專知便捷查看，訪問下面網址或點擊最底端“閱讀原文”https://www.zhuanzhiai.com/vip/0d5fcc77a2b211dd82e3b9ea483758a8更多AI資料教程請上專知網站 www.zhuanzhiai.com點擊“閱讀原文”