ICML 精選 Spotlight Poster 彙總：Session 4-1

機器學習頂級學術會議 ICML 2026 於 7 月 8 日進入正會第二天，今年大會共接收 6352 篇論文，其中 Spotlight 論文僅 536 篇，約佔投稿總數的 2.2%，Oral 論文更只有 168 篇，比例低至 0.7%。在投稿量幾乎翻倍、評審標準歷經嚴格重新校準的背景下，這些脫穎而出的研究成果無疑是本屆會議最值得關注的學術精華。雷峰網已派出報導小組前往首爾 COEX 會展中心，從 Poster 展區數千張學術海報中精選出具代表性的 Spotlight 論文，以「一張圖一段解讀」的方式呈現給未能到場的讀者。以下為 Session 4 的十篇 Spotlight 論文彙總。 大核卷積在電腦視覺任務中表現出色，卻長期被效率困局束縛：卷積核越大，基於 gather 操作的不規則記憶體存取就越拖慢速度。現有的大核加速技術（LKA）在小特徵圖上尚能發揮作用，但遇到大特徵圖反而比不加速更慢。WBMM（Windowed Batch Matrix Multiplication）從根本上改變了運算方式，它將輸入劃分為連續窗口，透過索引緊湊的相對位置偏置表建構權重矩陣，再以批量矩陣乘法實現規則化的記憶體存取。這帶來一個反直覺的現象：WBMM 的吞吐量隨窗口增大而提升，完全逆轉了深度卷積「窗口越大越慢」的退化規律。在算力基準測試中，使用 14×14 窗口的 WBMM 速度超越 5×5 深度卷積基線，同時提供 7.8 倍的單層感受野；搭配跨窗口通訊與分層窗口重參數化後，WBMM 在 ImageNet-1K、COCO 和 ADE20K 上以 1.31 至 1.88 倍訓練加速達成相當或更高的精度，且在 GPU、CPU 與邊緣裝置上均展現一致性優勢，無需專用加速核心。 離散生成建模長期被兩種範式分割：Masked Diffusion Language Models（MDLM）擅長語義理解與零樣本泛化，但少步生成品質不佳；Uniform-noise Diffusion Language Models（UDLM）則相反，少步生成強勁但理解能力有限。XDLM 透過一個靜態噪聲核（stationary noise kernel）將兩者架構在統一的理論框架中，證明 MDLM 與 UDLM 均可視為該框架的特例。在此基礎上，透過後驗機率的代數簡化，XDLM 有效緩解了離散擴散模型的記憶體瓶頸。實驗結果顯示，零樣本文本基準比 UDLM 高出 5.4 分；少步圖像生成 FID 從 MDLM 的 80.8 降至 54.1；在 8B 參數大語言模型上僅用 32 步即達到 15.0 MBPP，將基線性能翻倍。訓練動態分析更指出 XDLM 在長期擴展方面展現出較佳潛力，可能成為理解與生成之間真正平衡的新起點。 大語言模型的訓練成本持續居高不下，4-bit 全量化訓練若能近乎無損地保持精度，將帶來革命性的效率提升。NVFP4 格式已在硬體層面提供可能性，但權重振盪與異常值兩大問題始終難以克服。TetraJet-v2 提出無偏雙塊量化方法，在 NVFP4 線性層中實現近乎最優的收斂性；針對權重振盪，OsciReset 首次有效抑制此現象；OutControl 則以混合精度策略專門守護異常值的精度。三者結合後，所有線性層的激活、權重與梯度均採用 NVFP4，達成端到端的 4-bit 全量化訓練。在 370M 參數、212B 訓練 token 的規模上，TetraJet-v2 將 FP4 與 BF16 之間的性能差距平均縮小 51.3%，同時相比 FP8 實現 1.67 倍的端到端加速，為中小型團隊與研究機構提供了進入大模型時代的「入場券」。 DPO 因聲稱與 RLHF 理論等價且實作更簡潔，已成為對齊訓練的主流方法。然而這篇論文指出，等價性依賴於一個隱含假設：RLHF 最優策略必須偏好符合人類偏好的回應，而這個假設在實踐中經常被違反。當假設失效時，DPO 會出現「病態收斂」：策略在降低 DPO 損失的同時，越來越偏好不被人類偏好的回應，即損失下降但行為惡化。理論證明此時 DPO 與 RLHF 實際上在優化完全不同的目標函數。作者提出的 CPO（Constrained Preference Optimization）透過為 RLHF 添加約束來實現可證明的對齊保證，同時保持實作簡潔性，並在標準基準測試上達到當前最佳性能。這項工作迫使整個社群重新審視一個曾被視為「已解決」的基礎問題。 稀疏專家混合（SMoE）架構能有效提升大模型訓練效率，但專家坍縮（expert collapse）始終難以根除。現有方案幾乎都在改進路由器，不僅需要從頭訓練或微調，且實證顯示即使如此，在推進已充分預訓練的 SMoE 模型時坍縮問題依然存在。這篇論文發現，專家權重矩陣的特徵向量本身就編碼了豐富的語義資訊，因此提出 SSMoE（Singular Value Decomposition SMoE），一個完全無需訓練的框架，直接利用專家權重矩陣的譜屬性（特徵向量/奇異值分解）來決定路由，不需微調、不需額外參數、不增加計算開銷。在語言和視覺的多樣化任務上，無論是乾淨資料或損壞資料，SSMoE 都展現出強大的泛化能力與魯棒性，揭示了模型內部結構攜帶的資訊可能比重新訓練一個組件來學習這些資訊更有效。 大語言模型存在一個「玻璃心」特性：僅是換一種措辭、語義完全不變，就可能導致模型輸出天差地別。這種非對抗性提示詞變體帶來的性能波動，在真實應用中遠比精心構造的對抗攻擊更常見且更難防範。作者透過理論分析揭示，影響模型魯棒性的關鍵因素是神經網路模組輸出中的擾動誘導偏置，並提出一種極簡的去偏置微調方法，專門針對此偏置進行校正，無需全量重訓練，僅需輕量級微調即可顯著提升魯棒性。該方法更明確識別了去偏置的有效邊界，並能為隨機提示擾動提供形式化的魯棒性認證，從「經驗有效」躍升到「可證明可靠」，為大模型在真實世界的穩定部署提供了新的保障。 離線黑盒優化（BBO）是機器人與 DNA 設計等領域的核心問題。自迴歸大語言模型雖已被嘗試用於此任務，但其從左到右的單向生成模式無法捕捉設計問題中強烈的雙向依賴關係。這篇論文首次將擴散語言模型引入 BBO，利用其雙向建模能力解決侷限。為克服自然文本預訓練與 BBO 異質信號之間的領域鴻溝，作者設計了統一提示-回應語料庫與分隔符標記來標記欄位邊界，並提出兩階段後訓練框架：第一階段透過遮罩回應預測進行監督微調，第二階段以標籤改進為獎勵信號進行強化學習。在 Design-Bench 基準上達到最佳性能，而離散任務僅需 1.5 個 H100 GPU 小時即可完成訓練，效率極高，特別在小資料場景下展現出強大優勢，為擴散語言模型在非自然語言領域的應用打開新大門。 多模態學習推動了點雲補全的進展，但理論機制長期不明。這篇論文給出一個重要診斷：標準的硬投影（hard projection）非但沒有建立模態之間的連接，反而將其切斷。當稀疏點雲被硬投影到圖像平面時，支撐集極度稀疏，視覺先驗無法有效傳播，作者將其命名為「跨模態熵坍縮」。SplAttN 將硬投影替換為可微分高斯散點（Differentiable Gaussian Splatting），將投影重新定義為連續密度估計，避免稀疏支撐坍縮、促進梯度順暢流動、提升跨模態連接的可學習性。在 PCN 和 ShapeNet-55/34 上取得最佳表現，更在 KITTI 真實世界基準上透過反事實證明：當移除視覺資訊後，基線方法直接退化為單模態模板檢索器，而 SplAttN 保持魯棒的視覺依賴，證明其真正建立了有效的跨模態連接。 腦機介面領域長期被「一任務一模型」的思維定式所禁錮，編碼與解碼使用不同模型，不同任務之間缺乏協同。Mind-Omni 首次將七個不同的腦訊號編碼與解碼任務統一到一個離散擴散框架之下，核心創新是一個精巧的 Brain Tokenizer，將異質連續的腦訊號轉化為標準化離散令牌，使大腦訊號、視覺與語言三種模態在共享語義空間中實現令牌級直接交互。作者還專門策劃了 Brain Question Answering（BQA）指令微調資料集，解鎖神經訊號的高階推理能力。Mind-Omni 不僅在多任務統一框架中建立新最佳表現，更提供多任務協同效應的有力證據：統一訓練後的模型在某些任務上甚至超越了規模更大的專用模型，預示著神經活動基礎模型時代的到來。 在長時程機器人操控中，記憶是不可或缺的能力，但如何系統性評估不同記憶方案的有效性始終缺乏標準。RoboMME 首次給出標準化答案，這個大規模基準包含 16 個操控任務，按照時間記憶、空間記憶、物體記憶與程序記憶四個維度進行分類。研究團隊基於 π0.5 骨幹網路建構了 14 種記憶增強的 VLA 變體，系統探索不同記憶表示形式與整合策略的組合。最重要的發現是：記憶表示的有效性高度依賴任務類型，不存在「一刀切」的最優方案，每種設計在不同任務上各擅勝場，也有各自的盲區。這項結論直接擊中了當前 VLA 研究中一個核心誤區——想用通用記憶模組解決所有問題，而 RoboMME 的出現為該方向的系統性研究鋪平了道路。 這十篇 Spotlight 論文各自在其領域提出獨到的洞察與方法，涵蓋效率與智能的交互、理論與工程的對話、專用與通用的博弈。雷峰網與 AI 科技評論將持續在現場帶來更多 ICML 2026 的精彩內容，也歡迎各位研究者推薦其他論文或聯繫我們進一步交流。一個人讀論文太孤單，一群人刷頂會才好玩。ICML 2026 召開之際，我們正在召集高含金量的 AI 研究者，群內主打即時論文追蹤與硬核技術探討，拒絕灌水。掃描上方二維碼或點擊「閱讀原文」關注專區，即可獨家暢覽專家演講 PPT、大會報告全文、熱門論文解讀與學術新星訪談，一起快人一步。