騰訊開源 AngelSpec 框架：破解大模型真實推理效率難題

# 騰訊開源 AngelSpec 框架：破解大模型真實推理效率難題，為產業落地提供關鍵支撐

在當前大模型規模持續膨脹、服務需求急劇增長的背景下，如何有效降低自迴歸解碼帶來的高昂計算成本，已成為制約人工智慧技術廣泛應用的核心瓶頸。為應對這一行業性挑戰，騰訊技術團隊於近日正式開源了全新統一訓練推理框架 AngelSpec，旨在通過多方案協同與工作負載異構適配，全面提升大模型在真實場景中的推理吞吐量，為大規模模型部署與服務優化提供了全新的解決思路。 ## 推理效率困境：自迴歸解碼成本成產業落地最大障礙

隨著大型語言模型在對話系統、程式碼生成、數學推理等領域展現出驚人能力，業界對模型服務的需求呈現爆發式增長。然而，傳統的自迴歸解碼方式——即逐個token依序生成——雖然在生成品質上有保障，卻因無法充分利用現代硬體的平行計算能力，導致推理延遲高、吞吐量低，尤其在處理長序列與高並發請求時，計算成本急遽攀升。近期包括Kimi等多家頭部AI服務商因算力緊缺而被迫暫停新用戶訂閱，正是這一困境的鮮明縮影。在這樣的產業背景下，騰訊推出的AngelSpec框架可謂及時雨。 ## 分而治之：針對不同場景打造差異化訓練策略

AngelSpec框架最核心的設計理念，在於認識到不同應用場景下文本特徵存在根本性差異，因此採取「分而治之」的策略。針對高熵、開放式的多輪對話任務——這類任務通常具有高度的不確定性與創意空間——系統採用輕量且穩定的多token預測機制（MTP）。該機制不僅突破了傳統逐token生成的效率瓶頸，更結合訓練時測試（TTT）與端到端總變差損失（Total Variation Loss），使模型能夠有效適應自迴歸展開中的狀態分佈變化，在保持對話流暢性與多樣性的同時，大幅提升生成速度。而面對結構約束更強的程式碼生成與數學推理任務，AngelSpec則採取了截然不同的策略。

這類任務往往遵循嚴格的語法規則和邏輯結構，序列中存在大量可預測的長跨度依賴關係。為此，框架透過專有的塊擴散模型（Block Diffusion Model）進行強化訓練，充分挖掘長跨度可預測序列的潛力，從而在保證生成結果精確性的前提下，實現更大規模的平行解碼。## DFly架構創新：塊擴散框架重新定義生成效率

在架構設計上，AngelSpec框架提出了名為 DFly 的創新塊擴散框架，這可謂是本次開源項目中最具技術亮點的核心組件。DFly 透過混合目標條件編碼骨幹與前序條件自迴歸頭，在保持高吞吐量並行生成的同時，大幅優化了目標特徵利用率與塊內依賴建模能力。傳統的平行解碼方法往往在加快速度的同時犧牲了生成品質，而DFly透過獨特的混合架構設計，有效地在效率與品質之間找到了最佳平衡點。具體而言，DFly的目標條件編碼骨幹能夠讓模型在生成過程中更好地理解整體上下文與目標特徵，而前序條件自迴歸頭則確保了在同一塊內部的token生成仍然能夠捕捉到細粒度的序列依賴關係。

這種「宏觀平行、微觀序列」的架構設計，使得DFly在處理長文本生成任務時，能夠達到數倍於原始解碼速度的吞吐量提升，同時不犧牲生成文本的邏輯一致性與內容品質。## 動態驗證機制：即時調度實現算力與效率的最佳平衡

除了靜態的框架設計外，AngelSpec還引入了一套高度智慧的動態驗證機制。該機制可結合當前在線負載、硬體條件及前綴置信度，在運行時自適應調整驗證深度。換言之，系統不再使用固定的驗證策略，而是根據實際運作環境的即時狀態，動態決定需要對生成結果進行多嚴格的校驗。 當系統負載較低或硬體資源充裕時，動態驗證機制會採用更嚴格的標準，確保生成品質達到最高水平；而當遇到高併發請求或資源受限的情況時，系統則會在保證可接受品質的前提下，適度降低驗證深度，從而優先保障服務的響應速度與吞吐量。這種靈活的設計不僅避免了傳統方案中「一刀切」導致的資源浪費，更使得AngelSpec能夠在多樣化的部署環境中都能展現出色的性能表現。 ## 性能實測：Hy3模型系列展現壓倒性吞吐優勢

AngelSpec框架的實際效果並非僅停留在理論層面。根據騰訊技術團隊發佈的論文顯示，在 Hy3 模型系列的系統測試中，搭載 DFly 方案的系統展現出了顯著的性能優勢。測試覆蓋了從4到64的不同並發數場景，DFly方案在所有測試條件下均實現了最高平均吞吐量。特別是在高並發場景下，相較於傳統的自迴歸解碼方式，搭載AngelSpec框架的系統吞吐量提升尤為顯著，為大模型的工程化落地與高效推理提供了堅實的技術支撐。 這項測試結果的意義不僅在於數字上的提升，更在於證明了大模型推理效率可以透過框架層面的創新實現質的飛躍，而非單純依賴硬體升級或模型小型化。對於已經投入大量資源部署大模型服務的企業而言，AngelSpec框架的開源無疑提供了一個極具吸引力的低成本優化方案。 ## 開源生態：騰訊推動AI基礎設施共建共享

作為本次開源行動的重要組成部分，騰訊已將 AngelSpec 框架的完整程式碼上傳至 GitHub 平台，並同步發表了相關技術論文，供全球開發者與研究人員查閱與使用。這種全面開源的做法，不僅展現了騰訊在AI基礎設施建設上的開放態度，更為整個行業提供了一個可供參考與二次開發的基礎平台。值得注意的是，AngelSpec的開源時機恰逢業界對推理效率問題的關注度達到新高。近期，中國電信將大模型應用於5G無線網路規劃，規劃效率提升50%；騰訊WorkBuddy月訪問量突破2000萬，領跑AI辦公智能體市場。

這些案例都表明，大模型正在快速滲透各行各業，而推理效率作為決定應用成敗的關鍵因素，其重要性也隨之水漲船高。AngelSpec的出現，為正在尋求高效推理解決方案的開發者與企業提供了一個強而有力的工具。## 行業影響：重新定義大模型服務成本結構

從更宏觀的視角來看，AngelSpec框架的開源將對整個AI產業產生深遠影響。當推理效率提升數倍甚至數十倍時，大模型服務的單位成本將大幅下降。這意味著過去因算力成本過高而無法商業化的應用場景，有望在短期內變得可行。對於中小型企業和新創團隊而言，高效推理框架的普及將大幅降低他們進入大模型應用的門檻，從而激發更多的創新應用誕生。 同時，AngelSpec所採用的「因場景制宜」的設計哲學，也為後續的推理優化研究樹立了新的標竿。過去，學術界與工業界往往試圖尋找一種「放諸四海而皆準」的通用解決方案。而AngelSpec的實踐證明了，針對不同任務特點設計差異化的優化策略，往往能夠取得更好的整體效果。這種思路的轉變，可能會引發一波針對細分場景推理優化的研究熱潮。 ## 未來展望：從模型能力競賽走向效率與體驗的綜合比拼

隨著AngelSpec等高效推理框架的普及，大模型領域的競爭格局也將發生微妙變化。過去幾年，業界的焦點主要集中在模型規模與能力邊界的拓展上，各家廠商爭相推出參數量更大的模型。然而，當模型能力逐漸趨近天花板時，如何以更低的成本、更快的速度提供服務，將成為決定市場競爭力的核心因素。換言之，行業正在從單純的「模型能力競賽」轉向「能力、效率與用戶體驗」的綜合比拼。AngelSpec的開源，無疑為騰訊在這一新賽道中搶佔了先機。而對於整個AI生態而言，高效推理框架的成熟將加速大模型在實際業務中的落地，推動人工智慧技術從「實驗室奇蹟」真正轉變為「可規模化應用的生產力工具」。

隨著開發者社群對AngelSpec的深入研究與持續貢獻，這一框架有望在未來持續進化，為更多場景提供更優化的推理解決方案。而騰訊此次全面開源的姿態，也將為中國AI基礎設施的開放生態建設注入新的活力，推動整個行業朝向更加高效、普惠的方向發展。