連賣AI的微軟也扛不住了，token被限額，AI進度緩慢

微軟近期對旗下人工智慧服務的 token 用量實施限額，導致內部多個 AI 專案的開發進度明顯放緩。這家長期以來以銷售 AI 技術與雲端解決方案著稱的科技巨頭，如今在自身大規模部署生成式 AI 的過程中，也面臨資源調度與成本控制的嚴峻考驗。此舉不僅凸顯生成式 AI 背後難以忽視的運算成本壓力，更反映出即便擁有龐大雲端算力儲備的企業，也無法無限制地支撐 AI 模型的訓練與推論需求。

據了解，微軟此次針對 token 用量設下的限制，主要影響的是內部正在開發的多項人工智慧應用，包括與 Office 系列產品整合的 Copilot 功能、Bing 搜尋引擎的深度學習模型，以及 Azure 平台上提供給開發者使用的 API 服務。過去幾個月，微軟內部團隊曾多次反映，在進行大規模模型迭代或即時推論時，經常因額度不足而被迫中斷測試流程，進而延遲產品上市時程。部分專案甚至必須重新設計演算法，以降低 token 消耗，才能維持正常運作。業界分析指出，這項限額措施的出現，代表微軟已經意識到生成式 AI 的運算資源消耗遠超預期。

以往外界普遍認為，微軟憑藉其全球最大的雲端基礎設施之一，能夠輕鬆應對任何 AI 運算負載。但現實情況是，單一大型語言模型在執行一次訓練任務時，可能就需要動用數萬顆 GPU 連續運算數週，而每次推論請求所消耗的 token 數量，也隨著模型複雜度提升而急遽增加。即便微軟擁有 Azure 這座龐大的算力後盾，若放任所有內部專案無限制使用，終將導致資源枯竭或成本失控。此外，token 限額也直接影響了與微軟合作的開發者生態。許多第三方開發者透過 Azure OpenAI 服務或微軟的 Copilot 平台，為自家產品導入 AI 功能。

但當微軟自身內部專案都必須受額度限制時，開發者所獲得的配額自然更為緊縮。部分新創公司反應，近期申請 AI 服務的審核時間變長，且獲得的 token 上限遠低於預期，導致其產品原型無法順利完成測試。這股壓力正促使更多 AI 公司重新審視基礎設施的長期可持續性，並開始思考是否該自建算力、或轉向其他雲端供應商尋求合作。事實上，微軟並非第一家遭遇 token 瓶頸的科技企業。早在幾個月前，OpenAI 就曾因伺服器負載過高而限制 ChatGPT 的用戶請求次數，並推出付費版本以分流資源。

Google 也在內部文件中坦承，其 AI 模型的訓練成本遠高於傳統搜尋演算法，必須在效率與成本之間取得更精準的平衡。如今微軟跟進實施內部限額，等於正式宣告「AI 算力無限」的時代已經結束，所有企業都必須正視運算資源的有限性。從成本結構來看，大規模部署生成式 AI 的費用主要包括三大部分：模型訓練階段的 GPU 租用與電力消耗、推論階段每筆請求的 token 計費，以及持續維護模型與更新資料所需的儲存與網路頻寬。微軟雖擁有龐大的雲端營收，但若內部 AI 專案不計成本地消耗資源，將嚴重侵蝕原本的利潤空間。

分析師估計，微軟在 AI 基礎設施上的資本支出已連續數季成長，若無法有效控制營運成本，投資人對其 AI 變現能力可能產生疑慮。值得注意的是，微軟在實施 token 限額的同時，也同步調整了內部資源分配機制。據悉，高優先級專案（如核心搜尋與安全產品）仍可獲得較高額度，而實驗性質較強或尚未進入商業化階段的專案，則被要求降低 token 使用量或改採離線批次處理。這項策略雖然短期內能緩解資源壓力，但也可能抑制內部創新動能，讓部分具潛力的 AI 應用被迫延後推出。

面對外界的關注，微軟官方並未對 token 限額的具體數字做出評論，僅重申公司致力於「以負責任且可持續的方式推動 AI 發展」，並強調會持續優化模型效率，以降低每單位 token 的運算成本。然而，業界普遍認為，這只是 AI 產業「算力緊縮」的開端。隨著更多企業將生成式 AI 導入生產環境，token 的供需矛盾將日益尖銳，未來可能出現更嚴格的配額管理或分級收費機制。對於開發者而言，這項趨勢意味著必須重新思考 AI 應用的設計邏輯。

過去那種「只要呼叫 API 就能獲得無限智能」的思維已不切實際，開發者需要更精細地控制提示詞的長度、減少不必要的重複請求，甚至考慮在本地端執行部分輕量模型，以降低對雲端 token 的依賴。與此同時，硬體製造商與雲端服務商也將迎來新一輪的競爭：誰能提供更高效、更低成本的算力解決方案，誰就能在 AI 市場中掌握話語權。綜觀全局，微軟對 token 限額的舉措，揭露了生成式 AI 從實驗室走向大規模商業化過程中，最真實且棘手的成本難題。即便是擁有最雄厚雲端資源的企業，也必須在創新速度與財務紀律之間做出取捨。這不僅是微軟的內部挑戰，更是整個 AI 產業未來數年必須共同面對的結構性課題。