上海交大鄧志傑：擴散語言模型，怎樣才能又快又好

從基礎路線到系統優化，講解如何將並行潛力，轉化為實際速度。作者丨張璐 編輯丨張馳 寫作往往伴隨著整體構思、局部推敲和反覆修改。一句話中的用詞，既取決於前文，也可能受到後文的影響。由此出發，語言模型的生成過程，是否也可以在多個位置同時展開，再逐步補全文本？在前不久的CNCC 2026上，上海交通大學副教授鄧志傑以“擴散大語言模型方法及應用”為題，圍繞一個核心問題展開討論：能否在保證生成質量的同時，讓擴散語言模型生成得更快？從LLaDA、Dream的基礎路線，到跨塊並行生成、後訓練和推理系統優化，鄧志傑梳理了將並行潛力轉化為實際速度的多種方法。

他強調，評價效率既要看每輪能夠生成多少token，也要計入每輪耗時，並結合答案正確率、代碼通過率考察生成質量。演講最後，他介紹了相關方法在流式視頻、語音修復、多模態與智能體中的應用探索。以下為演講主要內容。01語言生成可以在多個位置展開我們寫一本書，往往先寫一遍，再反覆重寫。修改前面的內容時，會聯繫後面的章節；推敲“僧推月下門”還是“僧敲月下門”，也需要結合上下文。這說明，創作文本並不一定嚴格遵循從左到右的順序。擴散語言模型把這種想法付諸實踐：同時預測多個缺失位置，逐步補全文本。這次分享主要討論，怎樣在保證生成質量的同時，儘可能提高生成速度。

自迴歸模型通過鏈式法則，將聯合概率分佈拆成一系列條件分佈，標準解碼依次預測下一個token，也就是文本的基本單元。這裡重點介紹的掩碼擴散模型，則先對序列中的不同位置獨立進行隨機掩碼，掩碼比例隨時間步變化，再學習反向恢復過程：根據帶掩碼的序列，預測缺失內容。推理時，模型每輪會預測所有掩碼位置，但只選擇其中一部分提交，其餘位置留待後續迭代。例如，六個token可以分三輪完成。不過，輪數減少並不意味著實際速度同比提高，因為每一輪的計算開銷也需要考慮。LLaDA把這條路線擴展到了8B參數規模。預訓練時，它對完整序列隨機掩碼；監督微調時，只對回答部分掩碼。它還展示了生成能力隨訓練算力擴展的趨勢。

Dream採用另一條路線：複用已有自迴歸模型的權重，再進行擴散繼續訓練。這裡要調整兩個方面：注意力從因果結構轉為雙向結構，學習任務從預測下一個token轉為恢復掩碼內容。Dream還保留了預測位置偏移一位的結構，以更好地複用自迴歸模型的能力。從零預訓練和從已有模型轉換，都可以構建性能較好的擴散語言模型。02從塊內並行走向跨塊並行評價效率，可以先看一個簡單關係：實際速度約等於每輪有效提交的token數，除以每輪耗時。前者用TPF衡量，即每次前向計算實際提交多少token；實際生成速度則用TPS衡量，即每秒生成多少token。同時，還要觀察答案正確率、代碼通過率等質量指標。

早期擴散語言模型有兩個實際問題：一是難以複用KV緩存，需要反覆計算上下文；二是生成窗口大小固定，難以靈活輸出長文本。如果每輪只能接受兩三個token，卻要對整個窗口重複計算，計算開銷就會不斷積累。Block Diffusion採用“塊內擴散、塊間自迴歸”的方式。一個塊內部可以並行生成，完成後緩存其KV狀態，再生成下一個塊。這樣既能複用計算，也能通過追加塊來擴展輸出長度。但它把並行範圍限制在塊內。比如代碼中相隔很遠的一對括號，如果分屬不同塊，就無法同時生成。因此，我們希望前一個塊尚未完成時，後一個邊的塊也能同時開始生成。

D2F（Discrete Diffusion Forcing）將Diffusion Forcing的思路引入語言模型：前面的塊噪聲較低、信息更完整，後面的塊噪聲較高，多個塊同時去噪。隨著前面內容逐漸確定，後面的生成也逐步推進。訓練時，我們使用具有雙向上下文的教師模型，指導採用塊狀因果注意力的學生模型。學生在塊內使用雙向信息，在塊間保持因果關係，使完成的前序塊能夠進入KV緩存。推理時，隨著當前塊的生成進度推進，系統追加新塊；完成的塊進入緩存，後續塊繼續生成。這種方式的增益來自兩個方面：多個塊同時生成，提高每輪提交量；緩存已完成塊時，也能繼續解碼後續塊，減少單獨為寫入緩存而佔用一次前向計算的情況。

03讓訓練適應實際的多塊推理進一步分析發現，D2F仍存在訓練與推理不一致的問題。訓練時，整個回答被切成多個塊，噪聲往往逐漸遞增；實際推理時，同時活躍的通常只有兩三個塊，而且相鄰塊的噪聲差距可能很大。為此，我們提出MultiBD，也就是多塊擴散。訓練設計要覆蓋實際推理中的窗口大小、塊的位置以及噪聲間隔。例如，同時生成兩個、三個或四個塊時，一個塊可能處於不同位置、擁有不同生成進度。通過對這些組合進行模擬，讓模型更好地適應推理時的狀態。算法並行度提高以後，還需要相應的推理引擎。多塊生成時，每輪活躍塊的數量可能變化，計算圖也隨之變化。

我們設置固定大小的Block Buffer，用固定物理槽位容納動態運行的塊：完成塊進入緩存，新塊複用空閒槽位，從而減少動態調度的開銷。在兩張H100、單樣本、張量並行度為2的測試設置下，MBD-LLaDA2-Mini達到約746 TPS。這裡仍要把每步產出和每步耗時結合起來看，不能只依據TPF判斷實際加速。04用後訓練改善質量與速度的折中即便採用了多塊生成，質量與速度之間仍有折中。降低解碼接收閾值，每輪接受更多token，可以加快生成，也可能損害質量。尤其在早期，上下文還不充分，一次提交太多內容容易放大誤判。

一類方法是Consistency Force，簡稱CForce：用後期更充分的預測，指導早期預測。具體來說，先收集模型自身的解碼軌跡，再按掩碼比例劃分階段，由相鄰階段構成監督對，讓早期預測接近後期預測。對於具有編輯能力的模型，待填充位置和已經生成、又被修改的位置都可以參與學習。同時，使用與目標置信度相關的分佈約束，並加入交叉熵監督，幫助模型學會正確提交token。在相同解碼閾值和塊長下，LLaDA2.1-mini經過CForce訓練，四項任務平均得分從85.57提高到86.41，平均TPF從6.94提高到9.08。

在兩張H20、張量並行度為2、單樣本的系統測試中，GSM8K和HumanEval上的速度分別約為1232和1353 TPS。另一類方法是強化學習。對擴散語言模型來說，同一個問題可以有不同的生成順序。這些軌跡不僅最終答案可能不同，生成並行度也可能不同。因此，獎勵可以同時考慮“答得對不對”和“生成得快不快”。我們的LightningRL分別對正確性獎勵和TPF獎勵做組內標準化，再將它們結合起來進行更新，同時加入token級負對數似然損失，防止訓練偏離。採樣時，還要儘量探索具有不同並行度的軌跡，並保留能夠得到正確答案的探索空間。在兩個數學任務和兩個代碼任務上，LightningRL平均達到7.

32 TPF，MBPP上達到11.10。在同樣固定TPF為7的比較中，GSM8K準確率由原始SDAR的71.2%提高到87.5%。05固定模型之後，怎樣進一步加速除了訓練，還可以改進推理算法。這裡介紹Fast-dLLM和LoPA。Fast-dLLM無需額外訓練，主要結合兩種策略。第一種是近似KV緩存。對於雙向注意力模型，上下文變化會影響其他位置的狀態，因此複用舊狀態屬於近似。通過緩存前綴以及尚未生成的掩碼後綴，可以減少重複計算。第二種是基於置信度的解碼：不預設每輪固定接受多少token，而是接受預測置信度超過閾值的位置。緩存主要降低每輪耗時，置信度解碼主要提高每輪提交量。

在LLaDA-Instruct、GSM8K 5-shot、生成上限256、單張A100且批量為1的實驗中，兩者結合使速度從6.7提高到54.4 TPS，準確率從79.3%變為78.5%。LoPA進一步考慮：在當前選擇某個位置選擇解碼位置時之後，應該儘量保證下一步是否更容易產生大量高置信度預測，即下一步解碼時並行度更高，從而加速整個推理過程？。也就是說，這其實是要求在解碼時向前看一步。但只追求未來置信度也會出問題。樸素的前瞻策略可能選擇出生成更快、內容質量卻不好的路徑。

因此，LoPA我們保留基於當前置信度的基礎路徑，再構造多個前瞻候選，並行比較它們後續剩餘掩碼位置的置信度，選擇更有利於繼續並行解碼的分支，同時複用驗證得到的預測結果。增加探索分支，通常可以提高潛在並行度，但收益會逐漸飽和。系統上，我們把不同候選的驗證分發到多個GPU並行執行，再同步選中的狀態與緩存。在MBPP測試中，結合LoPA的分佈式推理引擎，單樣例請求生成速度達到1073.9 token/s。06從文本走向視頻、語音與智能體第一個應用方向是流式視頻生成。多塊並行的思想與視頻生成關係密切，而視頻通常可以使用固定大小的運行窗口。

我們將這一思路拓展為WaveForcing，讓不同視頻塊處於不同去噪階段，在流水線填滿後持續輸出。這裡既需要適應多塊噪聲狀態的訓練，也需要系統優化。不同GPU處理不同塊時，可以將KV通信與計算重疊；VAE解碼也要與生成過程並行，避免成為整體瓶頸。在測試中，端到端速度達到約117幀/秒，後續系統優化進一步達到150幀/秒，同時兼顧視頻質量、動態性和長視頻穩定性。第二個方向是語音修復。面對噪聲、混響、帶寬限制和丟包，模型既要恢復自然的聲音，也要保留“說了什麼”和“誰在說話”。擴散語言模型能夠結合整句前後文恢復受損語義，也能利用文本預訓練中的語言先驗。

TIMUSE分兩步處理：先通過Whisper編碼，配合文本擴散語言模型恢復語義token；再結合退化語音的聲學信息，通過條件流匹配和聲碼器重建聲音。實驗顯示，掩碼生成與文本預訓練有助於提升內容準確性，並基本保持音質與音色。還有多模態與智能體方向。LLaDA-o探索將文本擴散與圖像等模態的生成結合，通過理解與生成分支之間的雙向注意力，協調不同模態的表示與生成過程。在智能體場景中，模型需要調用工具、接收反饋，再繼續生成。LLaDA 2.2還探索了刪除、插入和重新生成等編輯操作。配合相應語料進行監督微調，可以讓擴散語言模型學習這些能力。這也是未來值得繼續探索的應用方向。

07現場問答▎Q:文本不像圖像有固定尺寸，擴散語言模型能靈活決定生成長度嗎？A:現在可以。早期模型通常有固定窗口，例如512個token；如果回答超過窗口，就可能被截斷。如果提前回答完，則可以生成EOS，也就是結束標記，並不要求把窗口填滿。採用塊狀生成後，一個塊結束時如果還沒有EOS，可以繼續追加下一個塊。具體如何根據EOS停止，要結合模型訓練時的分佈和推理策略，不同模型並沒有完全統一的規則。國際機器人頂會 CoRL 2026 即將召開，歡迎參會的研究者、學生，以及關注 AI 前沿進展的讀者加入我們的交流群。

在這裡，你可以認識同行、交流研究，分享招生信息、科研合作、約飯、投稿、組隊參會等，尋找潛在的合作伙伴。大會期間，我們也會持續帶來現場報道速遞、嘉賓演講解讀、前沿方向梳理和論壇精華。會場見，也在群裡見。?進群傳送門： 掃碼進群或添加微信szhsn610，備註：CoRL+單位/學校+姓名+方向。未經「GAIR DAO」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！公眾號轉載請先在「GAIR DAO」後臺留言取得授權，轉載時需標註來源並插入本公眾號名片。