37.7°C熱暈了，劍橋大學AI超算癱瘓，350個科研項目集體停擺

37.7°C 熱暈了，劍橋大學 AI 超算癱瘓，350 個科研項目集體停擺

最近歐洲人瘋狂搶購中國空調的新聞火熱，但或許真正需要空調的，是那些耗費巨資打造的 AI 超級電腦。遠在英國，近日就發生了一起令人震驚的事件：該國最強大的 AI 超級電腦之一「Dawn」，在攝氏 30 多度的高溫下，直接停擺了整整一週。 這座位於劍橋大學的超級電腦，來頭可不小。它是英國政府耗資 3 億英鎊打造國家 AI 算力計劃的核心一環，內部配置了 1024 塊 Intel GPU 與 256 台液冷伺服器，已支撐超過 350 個科研項目。今年 1 月，該系統才剛獲得 3600 萬英鎊的擴充升級經費，預計效能將提升 6 倍。然而，這一切在 6 月底的一波熱浪侵襲下，瞬間化為泡影。更令人諷刺的是，這台超級電腦上正在運行的研究之一，竟然包含氣候變遷模擬。用於預測全球暖化的機器，竟被全球暖化給擊敗了。 今年 6 月，英國遭遇了有紀錄以來最猛烈的六月熱浪。6 月 26 日，諾福克地區的林伍德鎮氣溫飆升至攝氏 37.7 度，打破了 1957 年和 1976 年所保持的 35.6 度六月高溫紀錄。英國氣象局罕見地發佈了連續三天的紅色極端高溫警告，導致超過 1000 所學校停課，鐵路信號因高溫故障，公路路面也開始融化。 到了 6 月 27 日，隨著當日熱浪峰值來臨，Dawn 超級電腦所在的劍橋西區數據中心，其冷卻系統終於撐不住了。Dawn 就這樣被迫停機。劍橋大學發言人事後向外界表示，Dawn 遭遇了高溫天氣下的技術問題，冷卻能力已完全恢復，預計訪問將於 7 月 6 日重新開放。從 6 月 27 日到 7 月 6 日，這台超級電腦整整「冷卻」了一週多。 對於一台每秒都在燃燒經費、每分每秒都在推進科研進度的超級電腦來說，這一週的停擺影響極其恐怖。受創最深的莫過於那些急迫的科研項目。劍橋大學 Vendruscolo 教授的團隊，正使用 Dawn 進行帕金森新藥的分子篩查。Dawn 的機器學習能力可以在幾天之內篩查數十億個分子，尋找能與帕金森相關蛋白聚集體結合的化合物。若採用傳統方法，半年起跳、花費數百萬英鎊，且只能覆蓋 Dawn 幾小時就能掃完的一小部分。停機一週，等於這條救命的研發流水線直接中斷。 牛津大學的 Lennard Lee，英國癌症疫苗 AI 與超算項目的負責人，他的團隊拿到了 Dawn 一萬個 GPU 小時的算力配額，用於 AI 加速個人化癌症疫苗的靶點發現。Lee 曾說過，以前需要幾年才能完成的發現，現在只需要幾週。雖然他事後表示沒有數據丟失，也不需要重做工作，但這番慶幸的話語，本身就說明了問題的嚴重性。此外，英國南極調查局用 Dawn 訓練的 IceNet 海冰預測模型暫停了，劍橋博士生 Bill McGough 用 Dawn 訓練的 AI 腎癌篩查項目也隨之停擺。Dawn 上面運行的 350 多個項目，幾乎無一倖免，而這一切的始作俑者，不過是攝氏 37.7 度的高溫。 那麼，誰該為此負責？Dawn 的冷卻系統由法國 Legrand 集團旗下的 USystems 供應。事發後，USystems 發表聲明表示，他們的設備在整個事件中完全按照設計規格運行，表現正常。言下之意是，散熱系統崩了，但責任不在他們，因為設備本來就不是按這個溫度設計的。是設計標準太保守，還是氣候變遷太快？答案可能是兩者皆是。英國六月的歷史極端溫度僅有 35.6 度，Dawn 的冷卻系統很可能就是按這個上限設計，而 37.7 度顯然超標了。這個「超標」來得毫無預警，因為上一次達到這個紀錄，已是將近 50 年前。 而且，Dawn 並非唯一的受害者。同一週，英國樸次茅斯的 Queen Alexandra 醫院冷卻機組故障，宣布進入緊急狀態，手術室、心導管室、影像科全部停擺，醫院甚至請患者自備飲用水。諾福克與諾里奇大學醫院情況更慘，所有 MRI 掃描儀的冷卻系統因高溫高濕失靈，至少取消了 254 個門診。從某種程度上說，不是超級電腦脆弱，而是英國整體的溫控基礎設施，都沒為這種天氣做好準備。 回顧歷史，這個問題並非無跡可循。2022 年 7 月，英國遭遇當時的史上最熱天（40.3 度），Google 倫敦數據中心的冷卻系統因「多個冗餘系統同時失效」，被迫關機保護硬體，導致其雲端服務中斷超過 18 小時。Oracle 倫敦南區數據中心也在同天癱瘓，並用「非季節性高溫」一詞來形容。4 年過去了，類似事件再次上演。 為何 30 多度就能癱瘓一台超級電腦？關鍵在於散熱。尤其對歐洲地區來說，設備普遍採用自然冷卻，這種方式天然受限於室外溫度。所有散熱系統，最終都要將熱量傳給室外空氣，室外空氣溫度就是整條冷卻鏈的終極瓶頸。當這個最終接盤俠的溫度達到 37 度時，它便開始接不住熱量了。例如，當室外溫度從 20 度飆升到 37 度，冷卻塔和乾冷器的散熱效率可能驟降 40% 到 50%。更糟的是，空調壓縮機在高溫下效率下降、電流升高，容易過熱跳閘。Oracle 2022 年的事故報告就直言，兩台冷卻機組在被要求超出設計極限運行時發生故障。 Dawn 雖然採用先進的液冷系統，冷卻液直接貼著晶片表面流過，帶走熱量的效率遠高於吹空氣。但液冷解決的是機架內部的效率，熱量被帶走後，仍需透過冷卻分配單元、設施冷水迴路、冷卻塔，一路傳遞到室外大氣，最終仍受制於室外溫度。一旦冷卻系統停擺，連鎖反應將迅速發生：研究數據顯示，5 分鐘內，伺服器入口溫度就能從 22 度飆升到 35 度以上。此時晶片會啟動自保機制，先降頻減少發熱，若溫度繼續上升超過安全閾值，就會強制關機。營運商只有兩個選擇：讓設備自己斷電，可能損壞數據；或是主動有序關機，保護硬體但業務停擺。Google、Oracle 和劍橋 Dawn，都選擇了後者。 更令人擔憂的是，隨著 AI 數據中心不斷擴張，溫度對 AI 的影響將越來越顯著。傳統數據中心一個機架的功率密度大約 5 到 10 千瓦，但 AI 訓練機架已達 30 到 50 千瓦，Nvidia 最新的 GB200 NVL72 機架更達到了 120 到 132 千瓦。一個 AI 機架 100 千瓦的發熱量，相當於在一個電話亭大小的空間裡同時開啟 50 台電暖器。更麻煩的是，GPU 本身也越來越「熱」，從 2017 年 Nvidia V100 的約 300 瓦，到 2025 到 2026 年的 B300 和 AMD MI355X 的 1400 瓦，七年間單晶片發熱翻了 3 到 5 倍。 如今，我們正面臨兩條正在對撞的曲線：晶片在指數級變熱，地球也在加速變熱。Google 早在 2011 年就跑到芬蘭，Meta 去了瑞典北部，都是為了利用寒冷氣候做天然散熱。馬斯克甚至想到要去太空建 AI 數據中心。英國政府今年 1 月才剛為 Dawn 砸下 3600 萬英鎊擴容，還在規劃愛丁堡的新國家超級電腦。這些設施的散熱設計，究竟是按上一個時代的英國夏天計算，還是按正在到來的新常態設計？目前誰也說不準。但有一件事是確定的：用來預測氣候變化的超級電腦，被氣候變化熱停了。這已不僅是個笑話，而是 AI 時代基礎設施必須面對的真實課題。