Agent 形態一天一個樣，Infra 到底該為誰而建？

過去這一年，Agent 幾乎成了大模型產業中最密集出現的關鍵字。從工作流編排、低代碼平台，到 Coding Agent、多 Agent 協作，甚至能夠長期自主運行的智慧體，應用形態持續翻新。然而，對比市場一度期待的「Agent 元年」，真正進入穩定生產環境的案子仍然有限。問題的根源未必完全出在模型能力本身，一個更现实的矛盾是：企業投入大量工程資源搭建的 Agent，很可能在下一個模型版本釋出後，就被模型新內建的原生能力覆蓋。應用層尚未形成穩定典範，底層基礎設施卻已必須提前面對併發成長、長上下文、快取複用、推論延遲與服務可靠度等一系列挑戰。

七月中旬在上海舉行的 WAIC 2026 期間，清程極智聯合創辦人師天麾在 InfoQ 媒體直播間提出一個相對謹慎的判斷：Agent Infra 長期來看一定會變得重要，但現在還沒有到真正爆發的階段。他認為，當前 AI Infra 最確定、也最值得投入的方向，仍然是圍繞每一次模型調用，提高 Token 生產與交付的效率。換句話說，與其急著為尚未定型的 Agent 建構全新的基礎設施層，不如先把每一次模型請求的成本、延遲與穩定性做到位。師天麾分析，Agent 的發展速度確實不如市場預期，但原因並不只是模型能力不足。恰恰相反，模型迭代過快，反而可能抑制企業與新創對 Agent 的長期投入。

一個 Agent 從任務拆分、提示詞設計、工具接入、工作流編排，到評測與異常處理，往往需要團隊耗費數月時間打磨。然而，下一代模型一旦釋出，其原生推理、工具呼叫或程式碼能力可能直接覆蓋掉部分既有設計。這讓企業被迫不斷判斷：哪些能力應該固化在 Agent 工作流中，哪些能力未來可以交給通用模型處理。模型升級帶來的不確定性，正在加速 Agent 專案的工程折舊速度。不過，這並不代表 Agent 將失去價值。師天麾指出，即便通用模型夠強大，理論上可以替代部分專用 Agent，但 Agent 仍有兩個現實優勢：穩定與成本可控。

企業可以選擇規模較小的開源模型，疊加產業數據、知識庫與微調，讓它在特定任務上接近更大規模的通用模型，同時顯著降低推論成本。因此，Agent 的價值未必來自絕對能力超越通用模型，而在於對特定場景的約束、穩定輸出與成本控制。問題是，當前市場還沒有一套足夠穩定、能跨越不同應用形態的 Agent 技術典範，這也讓第三方基礎設施廠商難以判斷，未來真正通用的 Agent Infra 究竟該建立在哪一層。從基礎設施的角度看，Agent 其實沒有創造一套完全不同的計算指標，真正改變的是這些指標的規模。

普通聊天場景中，一次模型調用可能就是一輪輸入與輸出；但在 Agent 系統中，一個任務通常會被拆解成模型規劃、工具選擇、聯網搜尋、程式碼執行、結果校驗與多輪反思等多個步驟，一個用戶請求可能觸發十幾次甚至更多次的模型調用。

這帶來了四個具體變化：併發量提高，多個 Agent 與子任務同時運行，對集群調度與請求排隊要求更高；上下文變長，Agent 需攜帶歷史對話、系統提示詞、工具描述、程式碼倉庫與中間執行結果，輸入 Token 數量持續增加；調用鏈變長，即便單次請求成功率達 99%，連續呼叫數十次後整體成功率仍可能明顯下降；成本結構變得複雜，長上下文輸入、重複計算、失敗重試與跨服務商切換都可能帶來額外成本。在這些問題中，快取命中率是最容易被低估、卻直接影響成本的一項指標。

大模型推論通常分為 Prefill 與 Decode 兩個階段：Prefill 處理用戶輸入，對整段上下文進行計算並生成 KV Cache；Decode 則根據已有狀態逐個生成輸出 Token。在程式碼生成或多輪對話場景中，新一輪請求往往保留前一輪的大部分內容，只新增少量程式碼、問題或工具結果，如果先前的 KV Cache 能被複用，就不需要重新計算全部輸入。師天麾提到，在部分服務定價中，快取命中部分的輸入成本可能只有重新計算的約十分之一。假設多輪請求中有八成到九成上下文能命中快取，系統就能同時降低延遲與計算成本。

值得注意的是，命中率從 90% 降到 80%，表面只差 10 個百分點，但未命中的比例其實從 10% 翻倍到 20%，由於未命中部分需要完整執行 Prefill 計算，成本增加會比數字呈現的更顯著。快取也直接限制了路由策略。理論上，系統可以把請求即時發送給最空閒、價格最低的服務商，但如果同一個會話頻繁切換節點或供應商，原有的 KV Cache 可能無法繼續複用。因此，一個成熟的多模型路由系統不能只選擇「此刻最便宜」的服務，還必須同時考慮即時負載、請求成功率、模型品質與快取親和性。系統通常需要在一段時間內保持會話黏性，只有當服務持續退化時才切換路徑。

此外，企業也不能只設定 Token 上限，還必須理解輸入輸出的結構差異。Coding 場景往往是長輸入、短輸出，模型需要讀取大量程式碼與依賴關係，但最終只修改少量內容，部分任務的輸入輸出比例可能達到數十倍比；數學推理或試卷批改則相反，輸入短但需要較長的推理與生成，Decode 階段的計算壓力更大。這兩類任務需要不同的資源配置，若集群採用 Prefill 與 Decode 分離架構，就必須依業務負載決定多少機器處理輸入、多少機器負責生成輸出，否則某一端資源不足就會形成瓶頸。

師天麾也提醒，市場上按模型名稱與 Token 數量報價的做法，容易讓用戶誤以為同一個模型、同樣數量的 Token 在不同服務商之間可以直接替換。但現實並非如此，即便使用相同硬體、相同模型權重與相同推理框架，不同團隊部署出的服務在延遲、吞吐與模型精度上仍可能差異很大。批處理策略、並行方式、算子實現、採樣參數、快取管理與量化方式都會影響最終結果，其中最典型的變數就是量化：服務商可以把 FP8 精度模型進一步量化到 INT8 甚至 INT4，以減少顯存佔用與計算量，但模型精度也可能隨之下降。

對用戶來說，這些配置通常是不可見的，採購前最容易比的是價格，實際的模型能力、服務穩定性與峰值排隊情況，往往只有真實測試才能確認。清程極智因此搭建了 AI Ping 評測平台，據其介紹，平台在採訪時已覆蓋 30 多家服務商與 600 多個模型服務，持續觀察延遲、吞吐與可靠性指標。師天麾將當前模型服務形容為一種「黑盒」，個人開發者與中小企業往往缺乏系統測試能力。從行業角度看，這類評測也凸顯一個問題：大模型服務仍缺少被廣泛接受的統一品質標準。

他認為，一個相對完整的 Token 服務評價體系，至少應涵蓋模型效果、首 Token 延遲、輸出速度、請求成功率、P95 與 P99 延遲、快取命中率，以及高負載下的性能退化程度。對 Agent 而言，可靠性尤其重要——單輪聊天中 98% 或 99% 的成功率可能尚可接受，但連續多步任務中任何一次失敗都可能導致整個流程重試或中斷。假設一個任務需連續呼叫模型 20 次，每次成功率 99%，在簡化條件下完整鏈路一次成功的機率僅約 82%。這意味著 Agent 的普及會迫使推理服務從「平均可用」走向真正的工程級高可用。在硬體層面，推理框架是連接模型與晶片的關鍵中間層。

vLLM、SGLang 等開源框架已成為主流選擇，但這些框架最初主要圍繞 NVIDIA GPU 的軟體棧、記憶體體系與通訊方式設計。國產晶片廠商可以移植這些框架讓模型先跑起來，但「能運行」並不等於「能充分發揮硬體性能」。不同晶片的計算單元、顯存層級、算子支援、指令系統與晶片互聯拓撲都有差異，針對 NVIDIA 架構設計的調度與算子策略即使移植成功，也很難取得理想吞吐與成本表現。師天麾用了一個比喻：為烤麵包設計的烤箱經過改造或許能蒸饅頭，但與其持續改造，不如針對目標需求重新設計蒸鍋。

更現實的問題是上游維護——企業若在 vLLM 或 SGLang 基礎上做大量底層修改，後續上游版本迭代就會不斷產生程式碼衝突；繼續合併新版本可能破壞先前的硬體優化，停止跟進則可能脫離開源生態。因此，對需要長期適配多種國產晶片的廠商來說，自研推理引擎有其工程合理性。但師天麾也強調，市場上真正具備從頭研發推理引擎能力的團隊並不多，因為這項工作對系統人才要求極高。推理引擎的優化不是只寫幾個高性能算子，完整系統涉及編譯器、算子、快取管理、Prefill 與 Decode 分離、專家並行、計算通訊重疊、集群網路與任務調度。

若只優化單一算子，局部性能或許提高，但系統瓶頸可能迅速轉移到顯存、通訊或其他階段，真正決定集群性價比的是演算法、系統軟體與硬體之間的合作設計。國產算力的機會也正因推理服務而改變。過去，國產晶片落地面臨的核心問題是使用門檻——企業購買伺服器後，還得完成驅動、框架、算子、通訊、精度與性能調優等大量工作，即使晶片價格更低，部署週期長、穩定性不足、後續維運困難，企業仍可能選擇生態更成熟的產品。當算力以 API 與 Token 形式交付後，終端用戶不再需要直接管理晶片，國產晶片與 NVIDIA GPU 產生的 Token 在呼叫方式上可以一致，底層硬體適配與性能優化交由專業服務商處理。

從用戶視角看，採購對象從伺服器變成了具有明確價格、延遲與可靠性指標的模型服務，國產硬體的使用難度被封裝在基礎設施內部，晶片競爭也從「能不能跑模型」轉向「單位成本能穩定生產多少有效 Token」。師天麾表示，從清程極智接觸的專案看，2026 年以來部分國產晶片的閒置情況已明顯改善，一些新型號在大規模集群中甚至出現供應緊張，但這項觀察主要來自自身業務與合作範圍，尚不能直接代表整體市場。關於收費模式，行業也在討論新的方向。

按照 Token 收費的優點是標準清晰，基礎設施廠商只需對模型呼叫與資源消耗負責；但企業購買 Agent 是為了完成程式碼修改、客戶服務、內容審核或數據分析等具體任務，因此 Agent 層按任務完成數量或業務效果收費，可能更符合用戶價值，也會驅動服務商在保證結果的前提下減少呼叫次數、縮短上下文、選擇成本更低的模型。然而，底層基礎設施按照 Token 或計算資源計量仍可能長期存在。師天麾將其類比為電網：基礎設施負責提供穩定、價格透明的電力，但冰箱是否製冷、設計是否合理，並不由電網負責。

未來可能形成兩套並行的計費邏輯——基礎設施層按 Token 或資源消耗收費，Agent 應用層逐漸轉向按任務、席位或結果收費，兩者對應不同的責任邊界：Infra 要回答模型服務是否穩定、便宜、可預測，Agent 廠商要回答最終任務是否真正完成。Agent 的快速發展沒有讓 AI Infra 變得不再重要，反而暴露了推理基礎設施中過去被單輪對話掩蓋的問題。當一次請求擴展為數十次呼叫，平均延遲會變成長鏈路等待，偶發失敗會變成任務中斷，較低的快取命中率會演變為明顯的成本差異，底層服務的輕微波動也會被 Agent 放大。

從這個角度看，Agent Infra 當前最迫切的任務不是構造一個全新的概念層，而是先把 Token 變成真正穩定、可評估、可規模交付的基礎資源。只有當 Agent 的應用典範、品質標準與責任邊界逐漸穩定，一套獨立且通用的 Agent Infra 才可能真正成形。在此之前，產業競爭的重點仍將落在推理效率、快取管理、服務路由、軟硬體聯合優化，以及單位成本能交付多少可靠 Token 上。大模型決定了能力的上限，基礎設施則決定了這種能力能否以企業可承受的成本持續運行下去。