Scaling Law一招鮮？首個晶體結構操作基準，頂級大模型集體翻車

### Scaling Law 碰上原子操作瓶頸？首個晶體結構操作基準出爐，頂尖大模型集體失手

過去幾年間，大模型領域最成功的指導原則非「Scaling Law（縮放定律）」莫屬。業界普遍相信，只要模型參數規模足夠龐大，訓練數據足夠豐富，模型能力便會持續湧現，甚至自動泛化到未曾見過的領域。然而，一項最新發表的材料學基準測試，卻為這個「大力出奇跡」的樂觀想法帶來了截然不同的反思。由中國科學技術大學蘇州高等研究院、新南威爾士大學等機構聯合在ICML 2026發表的AtomWorld基準，透過一系列真實的原子操作任務，指出當Scaling Law從擅長的文字理解與知識歸納場景，遷移到受物理法則嚴格約束的原子實務操作時，往往無法達到預期效果。這項研究明確點出大模型在空間邏輯任務上的能力邊界。

在科學領域，大模型已經展現出令人驚嘆的理解力，無論是讀懂學術文獻、預測材料性質、解析晶體結構，甚至是輔助科學發現，都有亮眼表現。例如，Anthropic推出的AI科研工作臺Claude Science，能將科研流程拆解為可逐步審計的流水線，在文獻綜述與基因分析等環節提升十倍效率；Google DeepMind的GNoME則利用圖神經網路預測無機晶體穩定性，透過「生成候選、DFT驗證、數據迴流」的閉環，產出了約220萬個新結構。這些成功案例讓業界形成一種普遍認知：既然模型能「看懂」材料知識，那麼執行原子搭建、結構調整這類實際操作，也應是順理成章的事。然而，真實的材料計算研究遠比選擇題複雜。

科研日常充滿了高度具體的操作指令，例如：構建特定材料的(001)表面以模擬真實邊界；替換晶格中的特定位點原子以進行摻雜或改性；或在指定的間隙位置嵌入新原子以設計儲能與輸運通道。這類任務對模型提出了截然不同的能力要求：必須具備符合物理定律的三維空間操控能力。為客觀量化這項能力，研究團隊開發了AtomWorld評測框架。該框架不考核材料辨識或理論辨析，而是專注於基礎的空間操作任務，例如模型能否按照指令精準調整原子排列。測試過程中，AtomWorld會自動生成任務、提供標準結構，並透過專業工具比對模型輸出與正確答案之間的幾何誤差，從而量化評估模型表現。

AtomWorld的測試結果顯示，Scaling Law在原子操作任務上並不能簡單等同於「模型越大，能力越強」。本次測試涵蓋了Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 2.5 Pro、Qwen3-32B、GPT o3、GPT-4o-mini、DeepSeek Chat與Llama3-70B等主流模型。數據顯示，模型規模擴大確實能改善部分規則清晰、可模板化的任務，例如原子更換、移除與移動。然而，面對依賴三維空間理解的任務時，這種提升並不穩定。

以Qwen系列為例，從4B參數版本到32B參數版本，在原子更換、移除與移動等任務上的成功率明顯提高，顯示規模增長仍有其價值。但這類提升主要集中在規則明確、路徑相對固定的任務上，無法自動遷移到所有原子操作。更具挑戰性的任務則暴露出明顯的瓶頸。以「繞原子旋轉」任務為例，不僅在不同尺寸的Qwen模型上表現始終不佳，即便在Claude Opus 4.6這類頂尖模型上，成功率也僅約12%。這顯示問題並非單一模型不夠強大，而是當前通用大模型普遍缺乏穩定的三維空間行動能力。類似的情況也發生在「刪除下方原子」或「擴超胞」等任務上，更換更大模型也無法穩定提升完成效果，幾何誤差也未必會隨模型變大而下降。

AtomWorld並未全盤否定Scaling Law，而是精確指出其適用邊界：規模擴大能帶來部分能力增益，卻無法自動補齊三維物理空間操作中的核心短板。對材料建模而言，語言推理能力、文本知識儲備與原子級結構行動能力之間，並不能直接劃上等號。從這個角度來看，AtomWorld也為「AI for Science」提供了一個新的思考方向：除了追求參數規模與文本數據規模，還必須關注「Action Scaling」。這意味著要系統性地擴大「可執行動作」的數據生成，包括動作基元拆解、模擬器反饋、物理約束驗證與工具調用糾錯等環節，讓模型不僅在語言上變強，也能在可驗證的科學行動中學習與進步。

AtomWorld的核心價值，在於將「材料智能體不會建模」這個模糊痛點，拆解為一系列可測量、可追蹤的原子操作能力，從基礎的元素替換，到空間區域判定，再到連續幾何理解，逐層釐清模型失效的類型與程度。這也點出了單純擴增參數量難以落地的癥結：現有Scaling Law主要聚焦於海量文本語料的語言與知識擬合，然而材料原子建模所需的空間理解、幾何規劃與物理約束行動能力，在公開數據中極度缺乏「操作指令搭配座標變化」的高品質成對訓練樣本，因此很難僅靠語言規模的擴張自然補齊。針對大模型三維操作偏弱的問題，業界普遍的解法是對接pymatgen等專業工具庫。

然而，AtomWorld的對照測試顯示，外掛工具僅能提升如「原子插入」等強座標計算類任務的效果。面對需要判別原子關係或空間區域的複雜場景，工具帶來的提升十分有限。本質上，工具只能輸出精確座標，卻無法替代模型做出「原子該放哪裡」或「哪些屬於目標區域」這類核心決策。若模型本身缺乏三維空間感知能力，工具只會將錯誤的意圖執行得更精準，最終產出「建模邏輯錯誤」的結果。AtomWorld的意義在於，它透過自動生成任務、標準結構與匹配反饋，為材料建模的動作數據與訓練閉環提供了基礎架構，推動AI for Science從追求更大的通用模型，轉向在可驗證的科學操作中迭代真實的行動能力。

這項基準測試如同一面觀測鏡，直觀展現了當前AI for Science發展中的關鍵問題：大模型能解釋材料結構性質，並不代表它能可靠地修改材料結構；能讀懂元素週期表，並不意味著它能在三維空間中穩定執行一次原子級操作。這個問題並不限於材料建模。真正的科學研究，是由提出假設、設計實驗、調用工具、調整參數、觀察結果、排查錯誤與持續修正等一系列行動所構成。無論是材料建模、分子設計、自動化實驗，還是更廣泛的科學發現流程，AI若想真正參與科研，就不能只會「解釋知識」，還必須學會「執行動作」。AtomWorld提醒我們，基於網路文本語料的Language Scaling雖然重要，但只是起點。

未來的AI for Science，更需要面向行動能力的Action Scaling，讓模型在可執行任務、工具調用、環境反饋與物理驗證中學習如何完成真實的科研任務。唯有同時具備知識理解能力與行動能力，科學智能體才能從「會回答問題」的百科全書，真正走向「能完成任務」的實驗助手。