解鎖連續批次處理中的非同步性

## 解鎖連續批次處理中的非同步性：大幅提升 LLM 推理效能的關鍵

近年來，大型語言模型（LLM）的推理效率成為部署時的核心挑戰。以 H200 GPU 為例，每小時租用成本約台幣 160 元（依匯率換算），若全天候運轉，每日費用可能超過三千元。因此，確保 GPU 在推理過程中 100% 忙碌，是降低成本、提高吞吐量的關鍵。Hugging Face 團隊在最新部落格文章中，深入探討了如何透過「非同步批次處理」（asynchronous batching）來消除 GPU 閒置時間，實現免費的效能提升。

### 同步批次處理的瓶頸

傳統的連續批次處理（continuous batching）已經透過動態調度請求，避免因填充（padding）浪費算力。然而，該機制預設仍是「同步」的：CPU 與 GPU 輪流工作。當 GPU 進行前向計算時，CPU 只能等待；反之，當 CPU 準備下一批次的資料（如更新 KV 快取、刪除已完成請求、加入新請求）時，GPU 則被迫閒置。在每秒數百次的推理循環中，這些間隙不斷累積。根據測試，同步模式下，GPU 閒置等待 CPU 的時間竟佔總生成時間的近四分之一，意味著有高達 24% 的運算資源被白白浪費。

### 非同步批次處理：讓 CPU 與 GPU 同時忙碌

為了解決這個問題，研究團隊提出將 CPU 的批次準備工作與 GPU 的計算工作徹底分離，讓兩者能平行執行。理想情況是：當 GPU 正在處理第 N 批數據時，CPU 同時開始準備第 N+1 批的內容。如此一來，GPU 在完成當前運算後，無需等待即可立刻投入下一批次的計算，實現零閒置。這個看似簡單的想法，實際上隱藏了兩個技術挑戰：第一，如何在不阻塞 CPU 的情況下，在 GPU 上啟動任務並立即取回控制權？第二，如何確保 CPU 準備的下一批次資料，是基於當前批次的正確預測（即解碼後的 token）？

### CUDA Streams：實現並行的基礎

解法關鍵在於 CUDA 中的「流」（stream）。CUDA stream 是一個有序的 GPU 操作序列（包含 kernel 啟動、記憶體複製、同步柵欄等），同一 stream 內的操作依序執行；但不同 stream 之間則可平行執行。透過將 CPU 的批次準備操作放入一條 stream，將 GPU 的推理運算放入另一條 stream，兩者就能同時進行。此外，還需要適當的同步機制（例如事件或柵欄），確保第 N+1 批次所需的 token 資訊（由第 N 批的 GPU 計算產生）已經回傳到 CPU 記憶體，然後 CPU 才能正確準備下一批。這就像工廠的兩條生產線：一條負責組裝，一條負責準備原料，只要安排得當，就能讓組裝線永遠不停工。

### 技術影響：無需更換模型即可獲得免費加速

非同步批次處理的最大優勢在於，它完全不需要修改模型架構或 kernel 程式碼，只需調整推理框架的排程邏輯與 CUDA 操作管理。根據 Hugging Face 團隊的實測，若成功消除 GPU 閒置時間，總生成時間可從原先的約 300 秒降至