ICML 精選Spotlight Poster彙總：Session 3-3

機器學習領域頂尖學術會議 ICML 2026 於 7 月 8 日在首爾 COEX 會展中心進入正會第二天。今年大會共接收 6352 篇投稿論文，其中僅有 536 篇獲選為 Spotlight 論文，占投稿總數的 2.2%，而 Oral 論文更只有 168 篇，比例為 0.7%。在投稿量較去年翻倍、評審標準經歷深刻重新校準的背景下，這些脫穎而出的論文代表了當前最具前瞻性的學術精華。雷鋒網報導小組在現場從數千張學術海報中精選出多項代表性研究成果，以下彙整 Poster Session 3 的九篇 Spotlight 論文，呈現從理論基礎到應用突破的最新動向。

第一篇論文探討浮點神經網路在表示浮點函數時的最小深度與寬度。過去關於神經網路表達能力的研究大多基於理想精確算術，無法直接應用於真實計算機的有限數值與捨入誤差環境。本研究填補此理論空白，透過嚴謹數學推導，系統分析浮點 ReLU 網路在不同約束下的表示能力。結果顯示，浮點網路的最小深度通常為三層（特定條件下可縮減至兩層），最小寬度範圍在 2 到 2d+1 之間；若域限制為非負浮點數，寬度範圍則縮小為 1 到 d+1。這項工作首次給出浮點 ReLU 網路最小深寬度的邊界，證明浮點環境與精確算術環境下的表達能力本質不同，為實際計算機浮點操作的網路拓撲設計提供理論指引。

第二篇論文從觀點文章的角度，推動自動形式化研究從單一陳述層次邁向完整理論層次。現有自動形式化研究大多聚焦於將非正式自然語言轉化為形式化語言的單一陳述，忽略理論層面的複雜結構。本研究主張將範疇擴展到支援公理、定義、定理、證明及其依賴關係的結構化理論庫，並提出系統性框架，正面回應學術界三種常見反對觀點，明確當前五大核心挑戰與三條未來研究方向。雖然論文未涵蓋具體實驗，但首次系統性地提出理論層次自動形式化的概念，為該領域提供戰略路線圖。第三篇論文聚焦帶寬凸優化中的梯度變動特性，特別是針對非連續梯度變動的維度依賴性改進。

梯度變動的在線學習因與博弈論、優化等領域的深刻聯繫而備受關注，但在帶寬反饋場景下研究仍顯不足。研究團隊提出一種適用於兩點反饋的梯度變動分析技術，並將其拓展至一維帶寬線性優化域的梯度變動界限。基於改進的非連續梯度變動分析，該方法在凸與強凸函數場景下顯著提升了維度依賴性，並首次獲得梯度變動動態與普適後悔界及快速收斂率，實現帶寬遊戲與後悔優化領域的新突破。第四篇論文針對大規模語言模型訓練中的權重漂移問題，提出譜球優化器（Spectral Sphere Optimizer, SSO）。現有優化器如 Muon 在權重控制方面僅部分符合寬度無關理論約束，缺乏嚴格數學約束。

SSO 基於嚴格的頻譜約束計算最陡下降方向，並輔以高效並行演算法，完美適應大規模分佈式訓練。實驗在 Dense 1.7B、MoE 8B-A1B 及深達 200 層的 DeepNet 等架構上進行，結果顯示 SSO 的訓練性能全面優於 AdamW 與 Muon，實現更穩定、更高效的訓練表現，為超大規模高層數模型提供全新優化解決方案。第五篇論文探討學習增強分頁算法的最優魯棒性。過去演算法在預測資源使用上常出現過度或不足問題，導致隨機環境下的魯棒性界限與最優競爭比存在差距。

研究團隊重訪在線最優性，提出統一原語「相對預測預算」，並以此設計全新框架，成功將魯棒性從現有界限提升至 H_k + O(1)（其中 H_k 為第 k 個調和數），在理論上首次實現學習增強分頁的最優魯棒性。實驗驗證新框架的實用性與穩定性能，揭示預測資源使用的核心規律。第六篇論文從分佈視角重新定義視覺機制可解釋性。現有方法依賴啟發式手段，難以有效揭示特徵激活對自然圖像分佈的真實影響，常導致結果對人類不可解釋或對模型內部機制不夠忠實。本研究提出 KL-最小化軟約束原則，透過能量引導的擴散後驗採樣，實現分佈視角下的優化過程，在可解釋性與機制忠實性之間找到平衡。

在 DINOv3 視覺模型上的大量實驗驗證了該框架的合理性與有效性，開闢了視覺機制可解釋性的新方向。第七篇論文聚焦大語言模型的默認「助手人格」穩定性。語言模型雖具備多重人格表達能力，但其默認助手模式容易因複雜情境而偏移。研究團隊挖掘模型內部激活空間，發現一個獨特的「助手軸」，並指出模型在面對情感需求或自反性對話時更容易觸發人格漂移。論文提出透過精準調控助手軸方向上的激活區域來固定人格空間，有效抑制行為漂移。在多種主流語言模型上的實驗系統分析了助手軸與行為漂移的關聯，為強化大模型人格錨定方法奠定理論與技術基礎。

第八篇論文提出 DecFus 框架，解決分佈式聯邦學習中更新方向多樣性差與探索能力不足的問題。現有分佈式方法多集中於參數平均，對損失函數局部的探索有限。研究團隊發現客戶端間的層級參數交換能增強探索但易引入不穩定性，因此 DecFus 透過動態調整探索與利用階段平衡，並採用基於餘弦相似度的層級劃分策略進行參數交換與平均。在 IID 與 Non-IID 數據集上的實驗顯示，DecFus 表現顯著優於現有集中式與分佈式基線方法，且從理論上證明其收斂性，無需依賴雙隨機矩陣假設。第九篇論文提出 HELIX 方法，用於時間序列插補中有效利用跨特徵關聯。

現有注意力機制傾向在各層重複建立特徵關係，缺乏一致性的表示錨點，導致無法持續捕捉特徵間的內在語義依賴。HELIX 引入「可學習的特徵身份嵌入」來持久表達特徵固有語義，並結合「混合時序-特徵注意力機制」，實現端到端挖掘任意特徵間依賴關係。在 21 種實驗設置下對比 17 種主流基線方法，HELIX 均取得當前最佳性能，驗證其處理複雜空間與語義混合變量數據的卓越能力，為時間序列插補領域帶來重要突破。