犀牛鳥前沿 | 犀牛鳥精英人才 ICML 2026 入選論文解讀

前言騰訊犀牛鳥精英人才計劃定位拔尖科研人才的產學聯合培養。自2017年開展以來，項目每年開放新技術研發中的關鍵難題，選拔具備科研潛力的優秀學生，在校企雙導師聯合指導下開展前沿探索與應用創新。依託真實產業場景，同學們在科研探索與技術實踐中不斷鍛鍊創新研究能力，並形成了一系列高水平研究成果。本文分享入選 ICML的三篇論文，分別圍繞高效模型蒸餾、長上下文推理和稀疏視角視頻生成等技術方向展開。Hybrid Policy Distillation for LLMs該論文由騰訊犀牛鳥精英人才朱文紅同學在上海交通大學王瑞副教授、劉鵬飛副教授和騰訊混元團隊企業導師的聯合指導下完成。摘要：知識蒸餾（Knowledge Distillation，KD）是一種用於壓縮大語言模型（LLM）的強大範例，但其有效性取決於幾個緊密耦合的設計選擇，包括髮散方向、優化策略和數據制度。我們系統地分解了現有的KD方法，並提出了一個統一的觀點，揭示了它們之間的潛在聯繫，將KD重新表述為一個令牌級別的重加權對數似然目標。基於這一觀點，我們提出了混合策略蒸餾（HPD），它結合了正向和反向KL的互補優勢，以平衡模式覆蓋和模式搜索，同時將非策略數據與輕量級的近似策略抽樣集成在一起。我們在長形式數學推理以及短形式對話和代碼生成上評估了HPD，並表明它在不同的模型族和規模上始終提高了優化穩定性、計算效率和最終性能。?完整解讀：犀牛鳥前沿｜ICML 2026：騰訊混元-上海交大高效模型蒸餾最新成果解讀?論文鏈接：https://arxiv.org/pdf/2604.20244Many-Shot CoT-ICL: Making In-Context Learning Truly Learn該論文由騰訊犀牛鳥精英人才鍾芷婷同學在香港科技大學楊瓞仁教授和騰訊微信團隊企業導師的聯合指導下完成。摘要：上下文學習（In-context Learning, ICL）通過提示詞示例適配LLM而無需更新參數。多示例ICL可媲美微調，但現有擴展規律認識僅源於非推理任務。本文研究推理任務的多示例CoT-ICL，發現標準擴展規律不適用：通過廣泛實驗，(i) 擴展效應具任務依賴性，增CoT示例主要利好推理型LLM；(ii) 相似度檢索在推理任務失效，因語義相似度難預測CoT兼容性；(iii) CoT示例增多時性能方差顯著增大。我們將其解釋為多示例CoT-ICL本質是上下文測試時學習而非模式匹配，據此提出示例應易被模型理解且按概念遞進排列兩項原則，並基於此提出CDS方法優化示例排序，在數學與敘事推理上實現平均3.81%提升。本研究將長上下文窗口從"檢索緩存"重定義為"上下文測試時學習的結構化課程"。?完整解讀：犀牛鳥前沿｜ICML 2026：騰訊微信-港科大長上下文推理最新成果解讀?論文鏈接：https://arxiv.org/pdf/2605.13511CamGeo: Sparse Camera-Conditioned Image-to-Video Generation with 3D Geometry Priors該論文由騰訊犀牛鳥精英人才劉烜奕同學在北京大學馬思偉教授和騰訊營銷團隊企業導師的聯合指導下完成。摘要：基於稀疏相機約束的圖像到視頻生成面臨著一個關鍵挑戰：如何僅憑最少的姿態線索合成幾何上一致的3D運動。現有方法主要依賴於密集監督或簡單的插值，由於缺乏魯棒的3D先驗知識，往往會出現嚴重的姿態漂移和運動不連續性。本文提出 CamGeo，這是一個創新框架，能夠將預訓練的視頻到3D模型（VGGT）中的豐富3D幾何知識直接蒸餾到擴散骨幹網絡中。為在不增加推理延遲的前提下實現這一目標，我們提出了一種僅在訓練階段進行的蒸餾策略。具體而言，CamGeo 包含：(1) 關鍵幀軌跡蒸餾，通過稀疏輸入姿態確保週期一致性；(2) 跨幀一致性蒸餾，結合攝像機軌跡與深度約束，在無監督幀之間生成一致的結構；(3) 三階段從粗到細的課程學習，逐步提升幾何複雜度，從全局結構連貫性到細粒度優化，從而實現穩定的優化。大量實驗表明，CamGeo 在各種稀疏度下均能實現穩定的性能提升。?完整解讀：犀牛鳥前沿 | ICML 2026：騰訊營銷-北大稀疏視角視頻生成最新成果解讀?論文鏈接：https://icml.cc/virtual/2026/poster/63132原文作者：公眾號“騰訊高校合作”原文鏈接：https://mp.weixin.qq.com/s/O0A7Zpy8joCGk0s4EJ58AQ雷峰網