Scaling Law一招鮮？首個晶體結構操作基準，頂級大模型集體翻車

新智元報道

【新智元導讀】大模型在原子操作任務中遭遇瓶頸。盡管大模型能解析材料知識，卻難以精準操控原子結構。研究指出Scaling Law在空間邏輯任務中效果有限，強調AI for Science需轉向Action Scaling，提升模型在真實科研操作中的能力。

過去幾年，大模型領域最成功的經驗總結莫過于「Scaling Law（縮放定律）」。一個幾乎被行業默認接受的共識是：只要模型足夠大、數據足夠多，能力就會持續涌現，甚至自動泛化到未知的領域。

但一項最新發布的材料學基準測試，卻給這種「大力出奇跡」的樂觀情緒帶來了不一樣的參考視角。

由中科大蘇州高等研究院、新南威爾士大學等機構聯合在ICML2026發布的AtomWorld，借助一系列真實原子操作任務得出結論：在文本理解、知識歸納等場景表現穩定有效的Scaling Law，落地到受物理規則約束的原子實操任務時，往往達不到預期效果。

論文地址：https://arxiv.org/abs/2510.04704

項目主頁：https://masterai-eam.github.io/atomworld/

代碼倉庫：https://github.com/MasterAI-EAM/atomworld

理解不等于操作

在科學領域，大模型已經展現出了驚人的 「理解力」：讀懂文獻、預測材料性質、解析晶體結構、甚至科學發現。

比如，Anthropic推出AI科研工作臺Claude Science，將科研拆成可逐步審計的流水線，實現綜述寫作、基因分析等特定環節效率提升10倍；Google DeepMind的GNoME用圖神經網絡預測無機晶體穩定性、以「生成候選→DFT 驗證→數據回流」的閉環產出約 220 萬個結構。

這也讓行業形成一種普遍認知——既然模型能夠看懂材料相關知識，完成原子搭建、結構調整這類實操任務理應順理成章。

但真實的材料計算研究，并非簡單的選擇題作答。科研日常充斥著高度具象化的實操指令：構建特定材料的 (001) 表面，模擬「真實世界」的邊界；替換晶格特定位點原子給材料摻雜或改性；在指定間隙位置嵌入新原子，設計「儲能」和「輸運」通道等。

這類任務對模型提出了完全不同的能力要求：符合物理定律的三維空間操控能力。

為了客觀量化該項能力，研究團隊搭建了AtomWorld評測框架，框架依托材料領域通用晶體學信息實現自動化測評。它不考核材料識別、理論辨析類問題，只聚焦基礎空間操作任務：模型能否按照指令精準調整原子排布？

圖1： AtomWorld 基準測試流程示意圖。AtomWorld生成器流程：1. 隨機采樣器調取預設原子結構；2. 隨機初始化器配置原子編號、位置參數；3. 結構算子運算得到目標結構；4. 提示詞模塊生成對應自然語言描述。產出的結構 - 文本配對數據送入大模型智能體，通過pymatgen的StructureMatcher工具對比模型輸出結構與標準目標結構，量化評估模型性能。

Scaling Law遭遇能力邊界

圖2：不同模型在AtomWorld上的總體表現。a、c為成功率；b、d為mean max_dist幾何誤差。左側比較不同主流模型，右側比較不同尺寸 Qwen 模型。模型規模擴大可以提升部分規則清晰的任務，例如原子替換、刪除和移動；但面對旋轉、區域刪除、擴超胞等需要三維空間理解和幾何規劃的操作時，提升并不穩定。即使是 Claude 等強通用模型，在「繞原子旋轉」等任務上也表現較差。

AtomWorld的結果提示，Scaling Law在原子操作任務上并不能被簡單理解為「模型越大，能力越強」。

本次測試覆蓋Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 2.5 Pro、Qwen3-32B、GPT o3、GPT-4o-mini、DeepSeek Chat、Llama3-70B等主流模型。圖 2 顯示，模型規模擴大確實能改善一部分規則清晰、可模板化的操作，但面對依賴三維空間關系的任務，這種提升并不穩定。

以 Qwen 系列為例，從 4B 到 32B，原子更換、移除、移動等任務的成功率明顯提高，說明規模增長仍然有價值。但這種提升主要集中在規則明確、路徑相對固定的任務上，不能自動遷移到所有原子操作。

更具挑戰性的任務暴露出明顯瓶頸。典型例子是「繞原子旋轉」：它不僅在 Qwen 不同尺寸模型上始終表現很低，在 Claude Opus 4.6 這類強模型上也只有約 12% 的成功率。這說明問題并不只是某個模型不夠大、不夠強，而是當前通用大模型普遍缺少穩定的三維空間行動能力。

類似地，「刪除下方原子」、「擴超胞」等任務即使換成更大模型，完成效果也仍不穩定；幾何誤差也不是隨模型變大就必然下降。

因此，AtomWorld并不是簡單否定Scaling Law，而是指出它的適用邊界：規模擴大能夠帶來部分能力增益，卻無法自動補齊三維物理空間操作中的核心短板。對于材料建模而言，語言推理能力、文本知識儲備和原子級結構行動能力之間，不能直接畫等號。

從這個意義上說，AtomWorld 也提示了一個新的方向：除了追求參數規模和文本數據規模，AI for Science 還需要關注「Action Scaling」。

也就是把可執行動作的數據生成、動作基元拆解、模擬器反饋、物理約束驗證和工具調用糾錯系統性地規模化，讓模型不僅在語言上變強，也在可驗證的科研行動中變強。

科研智能體的新賽道

AtomWorld的核心價值，不止于定位模型失效，更在于把 「材料智能體不會建模」 這個模糊痛點，拆解成一系列可測量、可追蹤的原子操作能力 —— 從基礎元素替換到空間區域判定，再到連續幾何理解，逐層厘清失效類型、程度與規模增益規律。

這也點破了單純擴參難以落地的癥結：現有Scaling Law聚焦海量文本語料的語言與知識擬合，但材料原子建模需要的空間理解、幾何規劃與物理約束行動能力，在公開數據中極度缺少 「操作指令 — 坐標變化」 的高質量成對訓練樣本，很難僅靠語言規模擴張自然補齊。

針對大模型三維操作偏弱的問題，行業普遍通過對接pymatgen等專業工具庫補短板。AtomWorld 對照測試顯示，外掛工具僅能提升原子插入等強坐標計算類任務效果，面對需要判別原子關系、空間區域的復雜場景，提升十分有限。

本質上，工具只能輸出精確坐標，卻無法替代模型做 「原子該放哪」、「哪些屬于目標區域」 這類核心決策；模型本身若缺乏三維空間感知，工具只會把錯誤意圖執行得更精準，最終得到 「建模邏輯錯誤」 的結果。

AtomWorld并非直接否定Scaling Law，而是提醒科學智能體重思 「該縮放什么」。文本語料的Language Scaling是知識基礎，但材料建模這類強操作任務，更需要面向行動能力的Action Scaling——將「行動 — 反饋 — 糾錯」全流程變成可規模化學習的對象。

AtomWorld的真正意義，正是通過自動生成任務、標準結構與匹配反饋，為材料建模的動作數據與訓練閉環提供底座，推動AI for Science從追求更大的通用模型，轉向在可驗證的科學操作中迭代真實行動能力。

結語

AtomWorld不只是一套標準化評測基準，更像一面觀測鏡，直觀展現出當前AI for Science發展中的關鍵問題：大模型可以解釋材料結構性質，并不意味著它已經能夠可靠修改材料結構；可以讀懂元素周期表，并不意味著它能夠在三維空間中穩定執行一次原子級操作。

這一問題并不局限于材料建模。真正的科學研究從來不是純文本工作，而是由提出假設、設計實驗、調用工具、調整參數、觀察結果、排查錯誤和持續修正等一系列行動構成。無論是材料建模、分子設計、自動化實驗，還是更廣泛的科學發現流程，AI 若想真正參與科研，就不能只會「解釋知識」，還必須學會「執行動作」。

因此，AtomWorld提醒我們重新理解Scaling Law在科學場景中的適用范圍：基于網絡文本語料的Language Scaling依然重要，但它只是起點。

未來AI for Science更需要面向行動能力的Action Scaling，讓模型在可執行任務、工具調用、環境反饋和物理驗證中學習如何完成真實科研任務。

只有當模型同時具備知識理解能力和行動能力，科學智能體才可能從「會回答問題」的百科全書，走向「能完成任務」的實驗助手。

參考資料：

https://arxiv.org/abs/2510.04704

編輯：LRST