The AI compute gap: Enterprises are buying infrastructure faster than they can measure what it costs

一項針對107家企業的最新調查顯示，企業在人工智慧基礎設施上的支出正迅速加速，但其中絕大多數組織在監控與管理相關成本的能見度上卻遠遠落後。這份由VentureBeat Pulse Research發布的調查報告指出，企業正面臨一個「運算支出鴻溝」：一方面大力投資AI基礎設施，另一方面卻無法清楚掌握這些投資的經濟效益。結果是，GPU的利用率普遍偏低，且不到一半的企業能夠精確追蹤AI運算的真實成本，形成一種「邊買邊摸索」的投資窘境。調查發現，目前僅有大約21%的企業已經在生產環境中大規模運行AI，然而投資意願卻遠遠超前於實際的部署成熟度。

在未來一年內，企業最想評估的投資項目是「AI專用雲端服務」，其比例高達45%，即便這類服務目前在企業中幾乎尚未被廣泛採用。這種現象顯示，企業的採購決策正以極快的速度鎖定新興基礎設施，但對於自己手上已經擁有的運算資源，卻缺乏有效的效益控管能力。報告指出，現階段企業的AI運算主要仍建構在熟悉的超大規模雲端業者與模型提供者的API上。其中，Google Cloud是最廣泛使用的平台，占48%，其次依序為Microsoft Azure、AWS與Oracle Cloud。模型方面，Google的Gemini系列以41%的使用率領先，OpenAI則以40%緊追在後。

然而，真正令人注意的是企業未來的動向：高達64%的受訪者表示，計畫在未來十二個月內更換或新增AI基礎設施供應商，其中更有38%打算在下一季內就採取行動。這對於基礎設施這類底層服務而言，顯示出非常高的品牌轉換意圖。當被問及選擇供應商的關鍵因素時，企業最看重的是「與現有技術堆疊的整合度」（41%）以及「總擁有成本」（35%），而單純的「每百萬Token的價格」僅有8%的受訪者視為決定性因素。這意味著在激烈競爭中，能夠無縫融入企業既有系統、並提供長期成本效益的方案，遠比單純的價格戰更能獲得青睞。

然而令人擔憂的是，在AI推理規模化過程中，運算瓶頸正從單純的GPU算力轉向記憶體頻寬，但約有五分之一企業對此趨勢完全不了解或尚未正視。調查也揭露了當前運算資源低度利用的問題。有83%的企業反映其GPU利用率僅在50%或更低，這表示企業採購了大量高效能硬體，卻未能充分發揮其運算潛力。同時，能夠嚴格追蹤AI運算成本、掌握單位經濟效益的企業，占比不到一半（44%）。這與企業積極布局AI專用雲端與新一代非輝達（NVIDIA）加速器的擴張意圖形成了強烈對比，凸顯出管理與治理機制未能跟上投資腳步的結構性問題。

這份研究也描繪出企業現階段的AI導入旅程分布：38%仍在實驗階段、進行概念驗證；37%已有部分工作負載導入生產，但尚未全面擴散；21%已達到生產環境中大規模運行的成熟階段；另有4%尚未開始任何AI工作負載。這樣的分佈顯示，多數決策者仍處於早期部署階段，其運算足跡與相關成本才正要開始快速成長。從受訪企業規模來看，此次調查樣本以中階市場為主，101至250人的企業占36%，251至1000人企業占27%，1001至5000人企業占22%，5001至10000人以及萬人以上大型企業則分別占8%與7%。在職務組成上，經理級占38%、個人貢獻者占28%、副總與總監占19%，C-level高層則占13%。

在採購決策權方面，高達45%的受訪者是最終決策者，另有30%對AI解決方案具有推薦或影響力，這使得調查結果具備極高的市場參考價值。在產業分布方面，科技與軟體業占比最高（26%），其次依序為醫療與生命科學（15%）、金融服務（13%）以及零售與電商（12%）。報告也提醒，由於此樣本來源為自願參與的問卷，且偏向中階市場與早期導入者，因此調查結果應視為市場趨勢的指向訊號，而非全體市場的精確量化描述。這些數據描繪出的核心訊息非常明確：企業對AI基礎設施的投資正以前所未有的速度邁進，但若無法同時建立完善的成本可視性與管理機制，這場算力軍備競賽的經濟效益恐怕難以順利回收。