一臺GPU用了三年，為什麼租金反而更貴了？

在AI芯片快速迭代的今天，上一代GPU並沒有像傳統硬件一樣迅速貶值。“我們2023年部署的那批H100芯片，如今出租價格甚至高於最初上線時。”近日，雲服務商Lambda聯合創始人兼CTO Stephen Balaban在播客節目The MAD Podcast中表示。這並不是某代芯片的“傳奇故事”。過去，人們曾期待GPU算力最終會像傳統雲計算資源一樣，隨著供應增加和硬件迭代逐漸標準化、商品化：性能越來越高，價格越來越低，不同供應商之間的差異也越來越小。但AI算力並沒有完全沿著這條路徑發展。

一張GPU能夠提供多少價值，越來越取決於它被放進怎樣的系統、如何與其他GPU協同，以及這些昂貴設備能否持續被利用。芯片性能仍然重要，但它已經很難單獨解釋一套AI基礎設施能夠交付多少算力。那麼，為什麼GPU供應越來越多、產品迭代越來越快，算力卻還沒有像電力或帶寬一樣成為真正標準化的商品？01算力不是加法題，超節點難在協同前沿大模型正在改變的，並不是算力如何計價，而是算力在什麼層級上被商品化。在最上層，AI服務正在把模型輸出逐漸標準化為Token，並按Token計費。從這個意義上看，客戶最終購買的計算結果，已經具備越來越明顯的商品屬性。

但在這些Token背後，生產它們的算力系統卻遠沒有實現同樣程度的標準化。原因之一是，前沿AI任務已經很難由一張GPU獨立完成。模型參數、計算任務和數據需要被拆分到多張GPU甚至多臺服務器上，一次訓練或推理能否順利向前，不再只取決於單張芯片算得有多快，還取決於這些GPU之間能否快速交換數據。這讓AI算力出現了一個和傳統標準化計算資源不同的問題：同樣數量、同樣型號的GPU，並不一定能夠交付同樣的計算能力。如果GPU之間通信效率不足，芯片就可能花更多時間等待數據；網絡拓撲、內存、存儲以及軟件組織方式的差異，也都會影響最終能夠發揮出的算力。

新增一張GPU，因此並不意味著系統就能獲得一張GPU標稱性能對應的新增產出。也正是在這種背景下，超節點開始成為AI Infra的重要形態。所謂超節點，並不是簡單增加GPU數量，而是通過高速互聯，把多顆GPU組織成一個緊密協同的計算單元，儘量降低GPU之間交換數據的成本，讓它們像一臺更大的機器一樣工作。Balaban以英偉達GB300 NVL72為例，一個機架內的72顆GPU通過NVLink高速互聯；多個機架進一步擴展時，則通過InfiniBand或高速以太網連接。Lambda建設的大型GPU集群還會採用儘量減少網絡阻塞的架構，讓不同GPU之間獲得足夠的通信帶寬。

這種系統能力首先服務於大規模訓練，但前沿推理也越來越依賴多GPU協同。Balaban提到，小型、經過壓縮的模型可以放進單張GPU；更大的模型則可能需要跨多顆GPU、服務器甚至機架運行。因此，GPU型號和數量仍然決定了一套系統擁有多少計算資源，卻越來越難單獨代表這些資源最終能夠交付多少算力。這也是AI算力系統難以迅速變成標準商品的關鍵：芯片本身可以標準化，但芯片如何被組織起來，以及最終能夠發揮多少性能，仍然高度依賴整套系統。02GPU的三套時鐘：換代、折舊與經濟壽命如果AI算力系統不是一種標準商品，那麼“一張GPU值多少錢”，也很難只由芯片型號決定。

Balaban稱，在一個GPU小時的成本中，佔比最大的是設備折舊。GPU、服務器和網絡設備採購後會使用多年，最初的投入需要被分攤到後續每一個實際使用小時中。這背後是一門典型的重資產生意。按照Balaban的估算，一座千兆瓦級AI工廠中，發電設施需要約20億至30億美元，數據中心本體約100億至150億美元，而服務器和計算設備的投入可達350億至450億美元，其中GPU又佔據最大的一部分。因此，判斷一張GPU的價值，不能只看它是不是最新一代，更要看它在整個使用週期裡還能持續承擔多少計算任務、產生多少收入。

這也是Balaban判斷舊一代GPU仍有較長經濟壽命的原因：只要設備仍然能夠承擔計算任務，並且有持續需求，它就不會因為新一代芯片上市而立刻失去經濟價值。Balaban還提到，不少公司採用約六年的會計折舊週期，但賬面折舊年限不等於設備實際能使用多久，更不等於它還能產生收入多久。只要H100仍能承擔計算任務，又有人願意租用，它的經濟壽命就可能比市場早期預想得更長。換句話說，GPU存在至少三套不同的“時間尺度”計量系統：產品迭代決定它是不是最新一代，會計折舊決定賬面成本如何分攤，而經濟壽命決定它究竟還能產生多久的收入。這也是AI算力系統沒有迅速商品化的另一個原因。

客戶真正需要的，不只是GPU，還包括高速網絡、存儲、CPU服務器，以及把這些設備組織成集群的軟件。訓練和推理任務能否運行，取決於整套系統是否能夠共同交付計算能力。這種系統複雜性，也解釋了為什麼Neocloud（AI算力雲）不能被簡單理解為GPU出租商。Balaban認為，GPU算力並不是一種簡單的標準商品，它背後是一項縱向整合的服務，範圍從土地、電力許可、數據中心建設，一直延伸到高性能計算設計、虛擬化和雲軟件。當算力變成這樣一門重資產、強運營的生意，決定成本的下一個問題也隨之出現：這些昂貴設備，到底有多少時間真正處於工作狀態？

03GPU利用率正在拉開Token成本差距一張GPU能工作多久，決定了它還能創造多少價值；而一整套GPU系統能以多高效率工作，則決定了算力最終有多貴。對客戶而言，Token可以按統一單位計價；但在數據中心內部，每一個Token背後的生產成本卻千差萬別。Balaban給出了一條從能源到Token的鏈條：最開頭是陽光、天然氣等能源，它們經過發電設施轉化為電力；電力進入數據中心後，一部分用於驅動服務器運行，一部分消耗在製冷、配電等基礎設施中；GPU、網絡和存儲再共同完成計算，最終由模型生成Token並交付給用戶。沿著這條鏈路，同樣一座數據中心、同樣數量的GPU，並不意味著同樣的Token產出。

電力利用效率、GPU之間的通信效率、模型和軟件優化，都會影響能源和設備最終能夠轉化成多少計算結果。而在Balaban看來，其中一個極其現實的變量就是利用率。GPU、服務器和網絡設備不會因為沒有任務就停止折舊。如果一張GPU只有一半時間真正用於計算，那麼它的設備成本就只能由更少的實際使用小時來承擔。Balaban舉例稱，在50%的利用率下，每個實際GPU小時需要承擔的折舊成本相當於翻倍。因此，AI基礎設施面臨的問題並不只是“有沒有GPU”，而是昂貴的GPU能不能儘可能少地閒置。但到了大型集群，這已經不是找到一張空閒GPU那麼簡單。

Balaban介紹，一個萬卡級GPU集群除了GPU本身，還包括負責組織任務的CPU服務器、存儲系統，以及承擔不同功能的多套網絡。當客戶申請其中一部分算力時，供應商實際上需要同時為這項任務劃分計算、存儲和網絡資源，並保證這些資源能夠共同工作。這也是調度和集群軟件的價值。它們決定一批昂貴的物理設備能否被拆分、組合，再持續交付給不同客戶。如果沒有這層軟件能力，一座擁有大量GPU的數據中心，也很難真正把這些設備變成可以按需使用的算力。當AI Infra進入超節點和大型集群時代，買下GPU只是投入的開始。

真正決定算力成本的，是這些昂貴設備能否長期保持運轉，並在網絡、存儲和軟件的配合下持續完成訓練和推理任務。GPU仍然是最昂貴的設備，但決定算力價值的，已經不再只是GPU本身。▼推薦閱讀▼一個請求錯配了GPU，AI推理可能慢100倍2026-08-14GPU堆到萬卡之後，最貴的問題變成了「空轉」2026-08-10