大道至簡，阿里與清華論文揭示擴散大模型推理能力，入選 ICML 傑出論文

阿里巴巴與清華大學合作的論文近日入選國際機器學習大會（ICML）2026 年的傑出論文（Outstanding Paper），這項研究重新審視擴散語言模型（dLLM）中任意順序生成的價值，並提出質疑：在通用推理任務中，靈活性反而可能成為陷阱。ICML 的傑出論文是該會議最高榮譽，每年僅從錄取論文中選出兩至三篇，獲獎率約千分之一，代表當年最具影響力的研究工作。擴散大語言模型（dLLM）是當前最受關注的下一代語言模型架構之一，Google 的 Gemini Diffusion、中國人民大學的 LLaDA 等都屬於這個方向。

與 GPT、Qwen 等主流大語言模型從左到右逐個生成 token 的方式不同，dLLM 在生成文本時可以任意選擇生成順序，無需遵循從左到右的線性次序。理論上，這種非自迴歸的模式擁有更大的生成解空間，因此在近一兩年被學術界與產業界寄予厚望。然而這篇獲獎論文首次指出，任意順序生成在處理數學證明、程式碼編寫等需要嚴謹推理的任務時，非但沒有帶來優勢，反而形成一種「靈活性陷阱」。研究團隊將關鍵邏輯節點比喻為推理路線上的分叉口，例如「因此」「所以」等詞。在從左到右的生成模式中，模型必須在這些分叉口當場做出選擇，無法跳過；但若採用任意順序生成，模型會傾向於繞過這些困難節點，優先處理容易的部分。

等到回頭再填充這些節點時，前後文已經確立，原本的推理分叉口變成了填空題，答案被上下文鎖定，選擇權被悄悄消解。團隊將這一現象命名為「熵退化」，並透過實驗數據驗證了其存在。在 HumanEval 程式碼生成測試中，採用從左到右順序能夠解出、但任意順序無法解出的題目比例高達 21.3%，反向情況僅有 0.6%。進一步測試發現，生成順序的自由度越大，模型的推理性能就越差，證實了任意順序在需要逐步推理的任務中會造成顯著的負面影響。基於這項發現，團隊提出了一個極簡的解決方案「JustGRPO」。

其核心概念是在強化學習訓練階段完全放棄任意順序，強制模型回歸從左到右的生成方式，並直接使用 GRPO（Group Relative Policy Optimization）演算法進行訓練。GRPO 是一種主流的強化學習方法，讓模型對同一道題生成多組答案，透過組內優劣比較來優化策略。過去，為了在 dLLM 中導入強化學習，各團隊因為生成順序不固定而無法準確歸因每個 token 的貢獻，不得不設計各種複雜的機制來應對。JustGRPO 則主張「大道至簡」——與其為左手鍛鍊力量，不如直接用右手。實驗結果顯示，JustGRPO 訓練後的模型在推理效果上大幅提升，且推理速度不受影響。

在業界標準的多步推理測試集 GSM8K（包含約 8500 道小學數學應用題）上，JustGRPO 達到 89.1% 的準確率，全面超越 d1、ESPO、SPG、GDPO 等專為擴散模型設計的強化學習演算法。這個成果不僅證明了回歸從左到右順序在推理任務中的有效性，也大大簡化了 dLLM 的訓練流程。這項研究為當前 dLLM 的發展方向提供了重要反思：當一個模型被賦予極大的生成自由度時，並非所有任務都能因此受益；對於需要嚴格邏輯鏈的推理工作，傳統的自迴歸順序反而可能更為可靠。阿里巴巴與清華大學的合作成果入選 ICML 傑出論文，也意味著這項觀點已獲得頂尖學術舞台的高度肯定。

論文目前已公開在 arXiv 平台上，為後續 dLLM 的架構設計與訓練策略開闢了新的討論空間。