兩名工程師 + Codex，OpenAI 用 Rust 重寫了扛住十億人的存儲系統

OpenAI 近日對外揭露一項內部基礎設施的重大改造案例：僅靠兩名工程師，搭配自家程式碼生成模型 Codex，就將一個承載超過十億用戶規模的關鍵儲存系統，以 Rust 語言從頭重寫。這套系統過去建構於其他語言與舊有架構之上，隨著 ChatGPT 與 API 推論等服務的流量持續暴漲，原有的儲存層開始面臨效能瓶頸與維運挑戰，團隊最終決定從底層進行翻新，並在極有限的人力下成功完成這項任務，同時維持了與既有生態系統的高度相容性。這套被重寫的系統，在 OpenAI 內部稱為「Habitat」，是一套分散式儲存層，專門負責 ChatGPT、API 推論等核心服務的資料讀寫。

Habitat 的地位相當於心臟，每天必須處理數十億次的請求，並且要確保極低的延遲與穩定的可用性。過去這套系統採用的是其他語言實作，雖然足以應付初期規模，但當使用者數量從千萬級快速衝破十億大關之後，記憶體管理、執行緒安全與資源調度上的弱點逐漸浮現，團隊意識到若不進行根本性的改造，未來將會頻繁遭遇效能瓶頸與維運事故。決定以 Rust 進行重寫，並非一時興起。Rust 以其零成本抽象、記憶體安全保證以及優秀的並行處理能力，在系統程式領域獲得高度評價，尤其適合需要高效能與高可靠性的儲存基礎設施。

OpenAI 的團隊評估後認為，Rust 能夠有效消除過去因記憶體錯誤導致的穩定性問題，同時讓每秒請求處理數量獲得顯著提升。正是在這個轉折點上，兩位工程師肩負起這項看似不可能的任務：在幾乎不影響既有服務運作的前提下，以 Rust 重新實作 Habitat。令人驚訝的是，這兩名工程師並非全職投入數十人的開發大軍，而是大量借助 OpenAI 自家的程式碼生成模型 Codex 來輔助開發。Codex 是基於 GPT 架構訓練的模型，擅長理解自然語言描述並生成對應的程式碼。

在重寫過程中，工程師會先定義好架構與邊界條件，再由 Codex 自動生成 Rust 的程式碼骨架、處理常見的邊界情況，甚至協助撰寫單元測試與整合測試。這不僅大幅縮短了從原型設計到上線部署的週期，也讓工程師能將精力集中在核心演算法與架構設計上，而非重複性的樣板程式碼。根據 OpenAI 官方說法，這項改造工程的成功，證明了大型語言模型在實際系統開發中的巨大潛力。Codex 不僅縮短了開發時程，還幫助團隊維持了高度的程式碼品質。兩位工程師在開發過程中多次與 Codex 進行迭代互動，遇到難題時先以自然語言描述問題，再由模型給出建議方案，最後由工程師審查與優化。

這種人機協作模式，讓整個重寫過程比傳統方式快了數倍。成果方面，全新的 Habitat 系統目前已經上線，並承載著 ChatGPT 與 API 推論等服務的日常流量。OpenAI 表示，重寫後的系統能夠更有效率地應付每日數十億次請求，延遲明顯降低，資源耗用也獲得改善。更重要的是，因為 Rust 的記憶體安全特性，與記憶體相關的當機與漏洞顯著減少，系統的整體穩定性與可預測性大幅提升。同時，團隊特別強調，整個遷移過程對外部使用者完全透明，既有的 API 行為、資料格式與存取介面都沒有改變，客戶無需進行任何修改即可繼續使用。這次的經驗也為 OpenAI 內部其他基礎設施的現代化提供了參考。

許多老舊元件過去因為遷移風險過高而被擱置，但如今有了 Codex 的輔助，加上 Rust 語言本身的高效能與安全性，團隊對於未來的重寫計畫更具信心。OpenAI 也透露，這只是他們內部基礎設施改造的一環，後續還有更多系統正在評估以 Rust 重新實作的可能性。在文章末尾，OpenAI 預告將在下一篇文章（Part II）中，詳細說明 Habitat 如何實現多租戶可靠性、讀取效能的分層最佳化策略，以及如何與 Azure Cosmos DB 深度協作，以應對這種史詩級的成長規模。這些細節對於關注大型分散式系統設計的技術社群來說，無疑將是極具參考價值的深度經驗分享。

整體而言，兩名工程師加上一個程式碼生成模型，就完成了一個全球級儲存系統的 Rust 改寫，這件事本身就已足夠震撼。它不僅是 OpenAI 內部技術實力的展現，更預告了未來基礎設施開發的新模式：大型語言模型不再只是對話與內容生成的工具，而是能夠直接參與核心系統軟體開發的得力夥伴。對於整個軟體工程產業而言，這無疑是一個值得深思的訊號。