Native-speed vLLM transformers modeling backend

Hugging Face 團隊日前在官方部落格宣布，旗下 transformers 函式庫在大型語言模型推論引擎 vLLM 中作為建模後端（modeling backend）的整合已達到重大突破：對於多數主流 LLM 架構，這個 transformers 後端現在的速度已經等同甚至超越 vLLM 自行撰寫的原生實現。這項進展意味著模型作者無須額外撰寫客製化程式碼，就能直接將自己的 transformers 模型帶入 vLLM 享受極速推論。Transformers 函式庫已成為機器學習領域的標準建模工具，支援超過 450 種架構並提供一致的 API。

它的設計核心是讓模型實作保持自足且易於理解，開發者透過閱讀 transformers 程式碼就能快速掌握模型運作原理，進而將模型移植到 vLLM、SGLang、MLX、llama.cpp 等其他推論框架。Hugging Face 團隊一直致力於簡化這條路徑，而去年將 transformers 整合為 vLLM 的建模後端便是關鍵一步。從那時起，模型作者只需把模型（包含 LLM 與 VLM）丟進 vLLM，無需手動移植，就能同時使用 transformers 的模型邏輯與 vLLM 的連續批次處理、自訂注意力運算核心等極致最佳化推論技術。如今這項整合迎來更強升級。

團隊將 transformers 後端與 vLLM 手寫的原生實作進行了頭對頭比較，測試對象為三款截然不同的 Qwen3 模型：4B 稠密模型（單 GPU）、32B 稠密模型（張量並行）、以及 235B 參數 FP8 混合專家模型（在 8 張 H100 節點上同時使用資料並行與專家並行）。結果顯示，在這三種情境下，transformers 後端在吞吐量上均匹敵或超越 vLLM 原生效能。要透過 transformers 後端執行任何 Hugging Face 模型，只需在啟動指令中加入 `--model-impl transformers` 參數。

這個參數能與常見的平行化選項搭配，無需改變伺服器設定。例如執行 Qwen3-4B 單 GPU 使用 `vllm serve Qwen/Qwen3-4B --model-impl transformers`；2 GPU 張量並行則加上 `--tensor-parallel-size 2`；而 8 GPU 混合專家模型則可同時指定 `--data-parallel-size 8` 與 `--enable-expert-parallel`。

目前僅有採用線性注意力（linear attention）的模型尚未支援，但團隊承諾這類架構很快就會納入；此外，位於 Hub 儲存庫中的自訂模型若未依規範撰寫，也可能無法順利運作。為了驗證效能，團隊在三種完全相同的條件下進行比較，唯一差異在於程式碼路徑：原生模式（`--model-impl vllm`，即 vLLM 手寫模型，作為對照基準）、新版 transformers 後端（包含最新合併請求）、以及舊版 transformers 後端（不含該合併請求）。完整的可重現腳本已公布於 gist。

過去 transformers 後端主要聚焦於注意力機制這項推論瓶頸，透過在執行時期插入 vLLM 的注意力實作，讓 transformers 模型能在 vLLM 引擎中高效運作。然而要榨出最佳推論效能，還需要針對多 GPU 平行化、編譯、融合核心等面向進行客製化調校。以往，當模型作者追求極致效能時，仍必須為每款新模型分別撰寫 transformers 與 vLLM 兩套實作。現在，任何已整合至 transformers 的新模型，都能立即在 vLLM 中達到與原生實作相同的速度。

這項突破來自 transformers 後端的最新迭代，它能在執行時期動態偵測並套用與推論相關的層級融合（layer fusions），從而匹配客製化程式碼的效能。其運作原理是透過 PyTorch 的 `torch.fx` 對模型計算圖進行靜態分析，搜尋已知的可最佳化模式；接著利用 Python 的抽象語法樹（ast）直接操作原始碼，原地改寫部分運算。

如此一來，可以將多個運算融合成對應到 vLLM 高度最佳化的單一核心，例如混合專家模型的專家平行化（Expert Parallelization）所需的融合操作，以及 vLLM 的 `MergedColumnParallelLinear` 與 `QKVParallelLinear`。這些區塊讓後端能夠自動推導出張量並行（TP）的平行方案；若解碼器區塊列表易於識別，也能推導出管線並行（PP）方案。值得一提的是，經過改寫的模型仍然完全支援 PyTorch 編譯（`torch.compile`）與 CUDA Graphs，與專用的 vLLM 模型實作並無二致。

而且不同於 vLLM 模型實作，transformers 模型實作同時可用於訓練，因此開發者可以在訓練、評估、強化學習 rollout 等階段使用同一份模型程式碼。Hugging Face 團隊表示，他們正在撰寫更詳細的技術文章，深入剖析這些最佳化推論方法，並解說如何透過程式碼改寫讓模型適應 vLLM 的平行化機制。這項進展無疑將大幅降低開發者部署高效 LLM 服務的門檻，也讓 transformers 生態系與 vLLM 的結合更加緊密。