深圳市大數據研究院4項科研成果被ICML 2026錄用

原文作者：公眾號“深圳市大數據研究院”原文鏈接：https://mp.weixin.qq.com/s/ex36drATo7qIy_MwFFp5hA近日，深圳市大數據研究院四項科研成果同時發表於第43屆國際機器學習大會（International Conference on Machine Learning, ICML）。會議介紹國際機器學習大會（International Conference on Machine Learning, ICML）是人工智能領域頂級學術會議，為中國計算機學會（CCF）推薦的A類國際學術會議，與NeurIPS、ICLR通常並稱為機器學習領域的三大頂級會議。ICML長期關注機器學習基礎理論、深度學習、強化學習、優化方法、概率建模、可信機器學習、機器學習系統，以及機器學習在計算機視覺、計算生物學、語音識別和機器人等領域的應用。公開數據顯示，ICML 2026共收到23,918篇有效投稿/進入評審的投稿，錄用率約為26.6%。論文簡介AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the MomentsAdaMeZO：無需保存動量矩的 Adam 風格零階大語言模型微調優化器關鍵詞大語言模型微調、零階優化、優化器、內存效率摘要：大語言模型微調是提升模型在特定下游任務中表現的重要手段，但傳統基於反向傳播的一階優化方法需要計算並存儲梯度，顯著增加顯存開銷，限制了大模型在資源受限設備上的部署與應用。已有零階優化方法 MeZO 僅依賴前向傳播即可完成微調，大幅降低了顯存需求，但其更新方式類似隨機梯度下降，難以感知不同參數維度上的損失曲率差異，導致收斂速度較慢。與此同時，直接引入Adam 等自適應優化器雖然能夠利用一階與二階矩估計提升收斂效率，但直接引入會額外存儲與模型參數同規模的動量信息，從而削弱零階優化的內存優勢。針對上述問題，論文提出 Adam 風格零階優化器 AdaMeZO。該方法通過截斷歷史梯度構造近似的一階與二階矩估計，並結合更細粒度的偽隨機數生成器狀態緩存機制，在需要更新參數時按塊原地重建歷史隨機方向，而無需在顯存中長期維護完整動量向量。由此，AdaMeZO 在保留 MeZO 低顯存優勢的同時，引入類似 Adam 的自適應預條件更新能力，使模型能夠更有效地適應複雜損失函數景觀中的不同曲率區域。理論分析表明，在非凸優化假設下，AdaMeZO 能夠以O(1/√T)的速度收斂到平穩點附近。實驗在 RoBERTa、OPT、LLaMA 等模型及多類自然語言處理任務上驗證了方法有效性。結果顯示，AdaMeZO 在多個任務中優於 MeZO 和相關強基線，並在達到相同終止損失時最多減少約 70% 的前向傳播次數；實測額外顯存僅約 7%，顯著低於需要顯式存儲矩估計的方法（額外顯存約50-100%）。該工作為低顯存開銷大語言模型高效微調提供了一種新的優化方法。圖1：圖AdaMeZO 與 MeZO 在 SST-2 任務上的損失曲線對比。AdaMeZO 在 RoBERTa-large、OPT-1.3B 和 LLaMA-3B 上達到 MeZO 終止損失時，分別減少 69.75%、70.48% 和 70.90% 的前向傳播。圖2：AdaMeZO 的分塊矩估計機制。與基於 seed 的整體隨機流控制相比，基於 PRNG 狀態緩存的分塊控制可在計算並釋放一、二階矩後進入下一參數塊，從而減少額外顯存。論文第一作者蔡智捷與共同第一作者陳浩瀧為深圳市大數據研究院-香港中文大學（深圳）聯合培養博士生、香港中文大學（深圳）理工學院博士生，通訊作者為深圳市大數據研究院研究員朱光旭博士。Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional VarianceRomberg 外推零階梯度估計器：保留主導方向方差的高階偏差減少關鍵詞零階優化、梯度估計、龍貝格外推摘要：在現代學習與優化中，常因梯度計算昂貴或不可得，需僅通過函數值查詢估計梯度。標準梯度估計存在偏差-方差制約，現有改進方法難以兼顧兩者優化。為此，本文提出Romberg-ZOGE方法，通過多尺度兩點估計結合Romberg外推，在降低偏差的同時保持方差不增。理論上，Romberg-ZOGE可實現高階偏差縮減且不增加主導方差。對確定性函數評估，其在多個半徑上構造兩點估計並加權，將偏差從O(r2) 降至 O(r2R+2)，且主導方向方差與標準兩點估計器一致。針對ZO-SGD的隨機函數查詢，同次梯度估計的多查詢共享隨機樣本，噪聲可在差分與外推中抵消，避免額外放大，收斂複雜度不劣於基線。實驗覆蓋三類場景：合成函數實驗中，R=2時偏差呈接近O(r6)下降，遠優於標準兩點估計器的O(r2)，且主導方差與基線相近；優化實驗中，相同查詢預算下收斂更快更穩定；無線網絡優化任務中，提升了平滑分位數頻譜效率目標值；OPT-1.3B的SST-2黑箱prompt tuning任務中，取得最低訓練損失及最高驗證、測試準確率。結果表明，Romberg-ZOGE兼具理論優勢與實際黑箱優化的穩定收益。圖3：圖AdaMeZO 與 MeZO 在 SST-2 任務上的損失曲線對比。AdaMeZO 在 RoBERTa-large、OPT-1.3B 和 LLaMA-3B 上達到 MeZO 終止損失時，分別減少 69.75%、70.48% 和 70.90% 的前向傳播。論文第一作者董洪成為深圳市大數據研究院-香港中文大學（深圳）聯合培養博士生，通訊作者為深圳市大數據研究院副研究員蒲文強博士，共同作者為深圳市大數據研究院副研究員趙立成博士、周睿博士，香港中文大學（深圳）人工智能學院尹峰教授。Think in Cloud, Look at Edges: Semantic-Driven Query Decomposition for Efficient Video Reasoning雲端思考，邊端觀察：面向高效視頻推理的語義驅動查詢分解關鍵詞長視頻理解、邊雲協同、語義驅動查詢分解、關鍵幀選擇、多模態大模型摘要：長視頻理解面臨帶寬、時延與精度矛盾：純雲端方案能力強但上傳成本高，純邊緣方案響應快但推理能力有限。本文發現，現有邊雲協同方法常將複雜問題壓縮為單一語義向量進行相似度檢索，容易產生“語義淹沒”，使邏輯上關鍵但不突出的證據被顯著視覺線索覆蓋。為此，本文提出 SCOPE 框架，採用“雲端思考、邊緣觀察”的範式：雲端大模型將用戶問題分解為帶依賴關係和重要性權重的 DAG 觀測計劃，邊緣側據此進行預算分配、並行語義匹配與關鍵幀選擇，上傳高價值證據幀。Video-MME 和 LongVideoBench 實驗表明，SCOPE 在嚴格幀預算下穩定優於 Uniform、Top-K、AKS 等基線；在 16 幀設置下達到與純雲端相同的 66.04% 準確率，並將端到端時延由 154.22 秒降至 23.94 秒，降低約 85%。該研究為資源受限場景中的長視頻高效推理提供了可部署的邊雲協同新範式。圖4：SCOPE總體框架。雲端大模型先生成結構化觀測計劃，邊緣側依據計劃完成預算感知關鍵幀選擇，並將證據幀上傳雲端進行深度推理。本文第一作者為深圳市大數據研究院訪問博士Jackie Zou，第二作者為深圳市大數據研究院-香港中文大學（深圳）聯合培養博士生、香港中文大學（深圳）理工學院博士生蔡智捷，通訊作者為香港中文大學（深圳）數據科學學院助理教授餘旻晨博士，深圳市大數據研究院研究員朱光旭博士。MIMOMamba: From Scalar Duality to Matrix-Valued AttentionMIMOMamba：從標量對偶到矩陣值注意力關鍵詞狀態空間模型（SSM）、循環神經網絡（RNN）、結構化矩陣、線性注意力機制摘要：現代序列建模需兼顧表達能力與效率。Transformer自注意力能力強，但複雜度隨序列長度二次增長；Mamba等結構化狀態空間模型雖具線性效率，卻常將時序建模與跨通道交互分離，難以刻畫時變耦合。本文提出MIMOMamba，通過矩陣多項式參數化將狀態空間對偶性推廣至多輸入多輸出（MIMO）設置，在單一選擇性遞推中聯合建模時間依賴與跨通道交互，並保持線性效率。該方法將注意力元素由標量擴展為D×D矩陣，實現矩陣值結構化注意力；同時藉助共享代數基底保證交換性、降低參數冗餘，使核心參數複雜度由Transformer約3D²降至約D²。實驗表明，MIMOMamba在SSP物理預測基準上以約35k參數取得最優精度（RMSE=0.687），優於多種先進基線；推理內存線性增長，訓練吞吐量較Mamba-2提升1.5–1.6倍，為高效序列建模提供了新的理論與方法支撐。圖5：MIMOMamba 從遞推狀態空間模型到矩陣值注意力的對偶視角本文第一作者為深圳市大數據研究院訪問博士生、香港中文大學（深圳）博士生李彥伯，第二作者為香港中文大學（深圳）博士生Richard Cornelius SUWANDI，通訊作者為香港中文大學（深圳）人工智能學院尹峰教授，共同作者為香港中文大學（深圳）博士生孫藝勇、中國海洋大學黃威教授、深圳市大數據研究院副研究員蒲文強博士。雷峰網