AI
雷峰網生成式AI

大道至簡，阿里與清華論文揭示擴散大模型推理能力，入選 ICML 傑出論文

2026年7月6日 09:48

重點摘要

阿里巴巴與清華大學合作的論文指出，擴散大語言模型的任意順序生成在通用推理任務中會導致「熵退化」，降低模型能力。該研究提出簡單的「JustGRPO」方法，強制模型從左到右生成，在推理測試中表現優於其他複雜算法。這項研究獲選為AI頂會ICML傑出論文。

站內 AI 整理稿

阿里巴巴與清華大學合作的論文近日入選國際機器學習大會（ICML）2026 年的傑出論文（Outstanding Paper），這項研究重新審視擴散語言模型（dLLM）中任意順序生成的價值，並提出質疑：在通用推理任務中，靈活性反而可能成為陷阱。ICML 的傑出論文是該會議最高榮譽，每年僅從錄取論文中選出兩至三篇，獲獎率約千分之一，代表當年最具影響力的研究工作。 擴散大語言模型（dLLM）是當前最受關注的下一代語言模型架構之一，Google 的 Gemini Diffusion、中國人民大學的 LLaDA 等都屬於這個方向。與 GPT、Qwen 等主流大語言模型從左到右逐個生成 token 的方式不同，dLLM 在生成文本時可以任意選擇生成順序，無需遵循從左到右的線性次序。理論上，這種非自迴歸的模式擁有更大的生成解空間，因此在近一兩年被學術界與產業界寄予厚望。 然而這篇獲獎論文首次指出，任意順序生成在處理數學證明、程式碼編寫等需要嚴謹推理的任務時，非但沒有帶來優勢，反而形成一種「靈活性陷阱」。研究團隊將關鍵邏輯節點比喻為推理路線上的分叉口，例如「因此」「所以」等詞。在從左到右的生成模式中，模型必須在這些分叉口當場做出選擇，無法跳過；但若採用任意順序生成，模型會傾向於繞過這些困難節點，優先處理容易的部分。等到回頭再填充這些節點時，前後文已經確立，原本的推理分叉口變成了填空題，答案被上下文鎖定，選擇權被悄悄消解。 團隊將這一現象命名為「熵退化」，並透過實驗數據驗證了其存在。在 HumanEval 程式碼生成測試中，採用從左到右順序能夠解出、但任意順序無法解出的題目比例高達 21.3%，反向情況僅有 0.6%。進一步測試發現，生成順序的自由度越大，模型的推理性能就越差，證實了任意順序在需要逐步推理的任務中會造成顯著的負面影響。 基於這項發現，團隊提出了一個極簡的解決方案「JustGRPO」。其核心概念是在強化學習訓練階段完全放棄任意順序，強制模型回歸從左到右的生成方式，並直接使用 GRPO（Group Relative Policy Optimization）演算法進行訓練。GRPO 是一種主流的強化學習方法，讓模型對同一道題生成多組答案，透過組內優劣比較來優化策略。過去，為了在 dLLM 中導入強化學習，各團隊因為生成順序不固定而無法準確歸因每個 token 的貢獻，不得不設計各種複雜的機制來應對。JustGRPO 則主張「大道至簡」——與其為左手鍛鍊力量，不如直接用右手。 實驗結果顯示，JustGRPO 訓練後的模型在推理效果上大幅提升，且推理速度不受影響。在業界標準的多步推理測試集 GSM8K（包含約 8500 道小學數學應用題）上，JustGRPO 達到 89.1% 的準確率，全面超越 d1、ESPO、SPG、GDPO 等專為擴散模型設計的強化學習演算法。這個成果不僅證明了回歸從左到右順序在推理任務中的有效性，也大大簡化了 dLLM 的訓練流程。 這項研究為當前 dLLM 的發展方向提供了重要反思：當一個模型被賦予極大的生成自由度時，並非所有任務都能因此受益；對於需要嚴格邏輯鏈的推理工作，傳統的自迴歸順序反而可能更為可靠。阿里巴巴與清華大學的合作成果入選 ICML 傑出論文，也意味著這項觀點已獲得頂尖學術舞台的高度肯定。論文目前已公開在 arXiv 平台上，為後續 dLLM 的架構設計與訓練策略開闢了新的討論空間。

原始來源：雷峰網 ↗
查看原始來源

Related

相關文章

36氪生成式AI

算力死貴，Meta掀桌

算力價格居高不下，Meta 決定從「算力大買家」華麗轉身，親自跳下來當「算力黃牛」，對外出租多餘的 GPU 算力。上週媒體揭露這項雲端基礎設施業務計畫後，市場隨即演繹出「算力過剩」的悲觀邏輯，不僅 AI 硬體相關類股受挫，就連以 Meta 為主要客戶的 Neocloud 也難逃賣壓，甚至近期基本面最穩健的記憶體族群同樣遭到恐慌性殺盤。 從跌幅來看，市場情緒顯然宣洩過猛。昨日的反應比較像是多頭部位過度擁擠下，空方逮到預期兌現的跡象，順勢發動一連串連鎖效應。然而，這並不代表市場短期內就能立即修正回來。

剛剛
鈦媒體生成式AI

半年重建，一次交卷：5分鐘生成3D跑酷小遊戲，騰訊混元 Hy3 正式發佈

騰訊混元 Hy3 正式發佈，採用總參數 295B 但激活參數僅 21B 的 MoE 架構，以較小推理成本達到接近大尺寸旗艦模型的表現。該模型已整合至 WorkBuddy、元寶、ima 等產品，任務成功率與效率均有顯著提升，並能在一句話需求下約 5 分鐘生成可玩的 3D 跑酷小遊戲。定價維持低價策略，並以 Apache 2.0 協議開源，顯示其從底層重構到產品反哺的研發鏈路已初步閉環。

剛剛
量子位生成式AI

在聯合國，這家中國公司給AI“減負”：不堆算力，而是給機器人裝了個“類腦”

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 在聯合國，這家中國公司給AI“減負”：不堆算力，而是給機器人裝了個“類腦” 量子位的朋友們 2026-07-06 18:40:27 來源：量子位 當全球AI產業仍在“堆算力、堆數據、重能耗”的傳統路徑上持續內卷時，一家來自中國粵港澳大灣區的企業，選擇在紐約聯合國總部給出了一條截然不同的“換道超車”之路。 近日，在聯合國開源周現場，智平方科技海外與生態副總裁Kristine Mo與圖靈獎得主楊立昆同臺交流，系統展示了全球首個原創類腦大模型NeuroVLA及一站式開源平臺AlphaBrain Platform 。這一動作傳遞出一個清晰的信號：中國具身智能企業正試圖跳出西方主導的算力競賽框架，從人腦機制中尋找下一代“機器人大腦”的進化密碼。 “機器人硬件正在快速進步，但真正的瓶頸仍然是智能。”Kristine Mo在演講中指出。當前行業困局在於，大模型對數據和電力的渴求幾乎是無止境的。智平方創始人兼CEO郭彥東此前在夏季達沃斯曾直言：“如果所有人都沿著同樣的大模型路線繼續往前走，我們需要10倍的數據、10倍的電力，但現實世界並沒有無限的數據和能源。” 正是基於對這一瓶頸的深刻洞察，NeuroVLA應運而生。它借鑑人類大腦“皮層—小腦—脊髓”三層協同機制，通過更少的數據完成學習與決策 。這種機制不僅讓機器人運動抖動降低75%以上，脊髓層平均功耗更是低至0.4瓦，徹底打破了傳統VLA模型高功耗、高延遲的魔咒 。 智平方選擇在聯合國這一最高國際舞臺開源NeuroVLA，本質上是在為全球AI發展提供一種“中國解法”：不通過堆砌資源，而是通過架構創新實現智能躍遷。

剛剛
36氪生成式AI

征程趕超｜WAIC 2026 Token經濟：按下加速鍵，從技術計量到產業新範式

賬號設置我的關注我的收藏申請的報道退出登錄登錄搜索36氪Auto數字時氪未來消費智能湧現未來城市啟動Power on36氪出海36氪研究院潮生TIDE36氪企服點評36氪財經職場bonus36碳後浪研究所暗湧Waves硬氪氪睿研究院媒體品牌企業號企服點評36Kr研究院36Kr創新諮詢企業服務核心服務城市之窗政府服務創投發佈LP源計劃VClubVClub投資機。

剛剛