谷歌聯手Meta奇襲英偉達，開源TorchTPU，給PyTorch代碼搬家

（公眾號：zhidxcom） 編譯 | 楊京麗 編輯 | 李水青 10月21日消息，今日，谷歌宣佈開源TorchTPU，這是谷歌和Meta PyTorch團隊共同開發的原生TPU軟件棧，開發者可以用較少代碼改動，將現有PyTorch模型部署到谷歌TPU上。據TechCrunch報道，目前多數AI應用運行在英偉達GPU上，谷歌此次開源，或許試圖打破英偉達在AI產業的主導地位。PyTorch是用於開發和訓練AI模型的開源深度學習框架，由Facebook AI Research（現Meta AI）團隊於2016年啟動開發，並於2017年正式開源發佈。

如今，PyTorch已成為全球AI研究和應用開發中使用最廣泛的框架之一，覆蓋大語言模型、計算機視覺和生成式AI等領域。圍繞TorchTPU，谷歌還將TPU接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具，覆蓋大模型訓練、推理、強化學習、集群調度以及端側部署等場景。谷歌稱，基於TorchTPU的訓練方案已在最多8000顆Ironwood TPU上完成驗證，在Qwen3-8B訓練測試中實現最高52%的模型浮點運算利用率；在推理側，印度AI模型公司Zenteiq.ai使用相關方案後，整體推理吞吐量提升超過4倍。

對於開發者而言，已有的PyTorch模型可以更容易遷移到TPU，常用的訓練、推理和任務調度工具也能繼續使用。開發者還可以根據模型規模、運行速度和成本，在TPU、GPU和CPU之間靈活選擇。開源地址： https://github.com/google-pytorch/torchtpu 一、TorchTPU開源，PyTorch模型可直接遷移至TPU TorchTPU支持開發者使用標準PyTorch API在TPU上運行模型。開發者可以先通過eager mode調試模型，再使用torch.compile進行編譯優化，從而提升TPU利用率並降低內存開銷。

谷歌稱，TorchTPU還支持分佈式計算和多種診斷工具，可以減少開發者針對不同硬件反覆修改代碼的工作量。Meta PyTorch工程總監賈娜·範·格魯嫩（Jana van Greunen）說：“Meta需要在多種硬件架構上運行大模型、廣告和推薦系統，TorchTPU讓Meta能夠將PyTorch工作負載部署到谷歌TPU上，並直接向相關工程團隊反饋使用情況。” 谷歌還與Hugging Face合作，讓Hugging Face Hub上的熱門開源模型原生運行在TorchTPU上。在大模型開發庫Transformers v5中，開發者只需設置devicemap=”tpu”，即可將模型部署到TPU。

在擴散模型工具庫Diffusers中，開發者可以使用torch.compile和張量並行，在多顆TPU上運行大型生成模型。二、多款開源工具接入TPU，降低大模型推理成本 隨著推理模型和Agent模型規模擴大，推理成本與延遲逐漸成為生產環境中的主要瓶頸。谷歌已將TorchTPU接入多個開源推理框架，並通過Kubernetes集群管理系統的原生路由能力，幫助開發者在TPU和GPU之間調度工作負載。此次谷歌重點圍繞三類工具展開合作：vLLM是用於高效部署大語言模型的推理引擎，SGLang主要面向結構化生成和Agent工作負載，llm-d則負責在大規模服務器集群中編排和調度推理服務。

相關更新覆蓋模型運行、請求處理和集群調度等環節。谷歌已與Inferact合作，為vLLM推出基於TorchTPU的原生後端，支持連續批處理、量化和多芯片並行，同時保留vLLM原有的模型執行、請求調度和API服務架構，開發者無需大幅調整現有系統。谷歌還與RadixArk合作，為SGLang開發TorchTPU後端。SGLang可以複用不同請求之間的緩存，減少重複提示詞的計算，並針對多步驟生成和Agent任務優化延遲與吞吐量。此外，谷歌宣佈與紅帽、IBM及超過500名貢獻者、25家機構共同發佈llm-d 1.0。該項目可以根據緩存情況分配請求，並將推理過程中的不同階段拆分處理。1.

0版本新增多租戶流量控制、高可用路由和麵向Agent的會話路由。在谷歌 Kubernetes Engine（GKE）上，開發者可以通過統一的llm-d端點，在GPU和TPU之間選擇更適合具體工作負載的硬件。據AI模型公司Zenteiq.ai創始人薩希庫馬爾·加內桑（Sashikumaar Ganesan）稱，該公司使用基於llm-d的GKE Inference Gateway生成合成數據後，整體推理吞吐量提升超過4倍，在1000顆TPU v6e加速器上的日生成Token數從14.7億提升至59.7億。

三、支持8000顆TPU系統訓練大模型，效率最高52% 在訓練側，谷歌將TorchTPU接入PyTorch社區的訓練、強化學習和編排框架。TorchTitan是PyTorch原生的可擴展分佈式訓練參考實現，目前已完成與TorchTPU的生產級集成。TorchTitan為多類模型提供了預訓練配方，包括Llama 3 70B和405B、Qwen3-8B和Qwen3-32B、MuseGlimmer 30B等稠密模型，Qwen3-235B等混合專家模型，以及FLUX.1系列12B等擴散Transformer模型。

谷歌稱，TorchTitan已在8000顆Ironwood TPU（TPU v7x）上完成驗證。在Qwen3-8B訓練測試中，TorchTPU訓練路徑實現最高52%的模型浮點運算利用率，並在最多8192顆Ironwood TPU上保持接近線性的擴展能力。針對強化學習場景，谷歌向VeRL貢獻了TPU後端和端到端參考配方。該方案基於訓練器與採樣器分離的架構，支持在數學推理數據集上運行GRPO（群體相對策略優化），同時保留原有的硬件無關模型和算法代碼。谷歌也為Ray加入TorchTPU支持。

開發者可以在同一套Ray工作流中調度CPU、GPU和TPU資源，用於數據處理、訓練、強化學習和推理，並將不同階段的任務分配到更適合的加速器上。四、PyTorch模型可運行在手機、電腦和物聯網設備上 谷歌此次還宣佈，LiteRT正式加入PyTorch生態。LiteRT原名TensorFlow Lite，是谷歌面向端側AI推理推出的高性能框架。通過LiteRT-Torch，開發者可以使用一次調用將PyTorch模型轉換為LiteRT格式。該方案基於Core ATen算子構建，模型代碼仍可保持在PyTorch體系內。

對於大語言模型，LiteRT-Torch可以將Hugging Face Transformers模型導出到LiteRT-LM，支持在Android、iOS、macOS、Windows、Linux、Web和物聯網設備上運行。在硬件支持方面，LiteRT可通過XNNPack調用CPU，通過開源ML Drift調用GPU，並通過統一API適配主要芯片平臺的NPU。谷歌還在GitHub上預覽發佈TPU agent suite。該工具通過插件接入多種代碼編排工具和模型組合，可協助開發者完成PyTorch模型在TPU上的部署、問題診斷、用戶問答和推理性能調優。

結語：谷歌為TPU爭取更多開發者 谷歌此次開源TorchTPU，讓開發者更容易把已有PyTorch模型遷移到TPU上，並繼續使用熟悉的訓練、推理和部署工具，由此可以降低開發者對單一硬件平臺的依賴。目前，英偉達GPU仍擁有成熟的軟件生態和廣泛的開發者基礎，TorchTPU很難在短期內改變這一格局。但如果谷歌能夠持續完善TPU工具鏈，並在性能和價格上展現優勢，TPU有望在部分大模型訓練和推理場景中獲得更多應用。來源：谷歌雲、TechCrunch