Nature：首個End-to-End的AI科學家

導語

從自動發(fā)現(xiàn)數(shù)學猜想的AM到輔助化學結構解析的DENDRAL，人類對"機器自主科研"的追求已跨越近半個世紀。然而，早期系統(tǒng)受限于知識表示的僵化與推理能力的不足，始終未能真正實現(xiàn)從問題提出、實驗設計到成果撰寫的端到端閉環(huán)。2024年，The AI Scientist[1]的問世標志著這一夢想的重大跨越——它不僅能自主提出研究假設、編寫執(zhí)行實驗代碼，還能將發(fā)現(xiàn)整理為格式規(guī)范的學術論文，并通過模擬審稿流程評估論文質(zhì)量，從而構成了首個覆蓋完整科研鏈條的自動化系統(tǒng)。本文將深入解讀這一里程碑式工作，剖析其以樹搜索為核心的實驗探索引擎，并探討其對科學研究范式的深遠影響。

關鍵詞：AI科學家、科研自動化、樹搜索（Tree Search）、大語言模型（LLMs）、自主科研、實驗探索、AI論文生成、科學發(fā)現(xiàn)、科研智能體、科研范式變革

賈梓杏丨作者

趙思怡丨審校

論文標題：Towards end-to-end automation of AI research 論文鏈接：https://www.nature.com/articles/s41586-026-10265-5 發(fā)表時間：2026年3月26日 發(fā)表期刊：Nature

一、為什么重要：從自動化發(fā)現(xiàn)到完整論文

科學自動化的構想幾乎與AI學科本身一樣古老。論文引言開宗明義地指出：

“The automation of science is a long-standing ambition in artificial intelligence (AI) research.”

回望這段歷史，我們可以看到一個清晰的能力演進脈絡。早期系統(tǒng)專注于高度專業(yè)化的單一任務：AM[3]自動發(fā)現(xiàn)數(shù)學定理，DENDRAL[4]從質(zhì)譜數(shù)據(jù)中推斷化學結構——它們是特定領域的“專家”，卻缺乏通用的科研推理能力。中期發(fā)展見證了AI在更復雜科學問題上的突破：AlphaFold[5]以原子級精度預測蛋白質(zhì)三維結構，材料發(fā)現(xiàn)AI自主設計具有目標性能的新材料。但這些系統(tǒng)本質(zhì)上仍是高度特化的工具，人類研究者需要圍繞它們組織整個研究流程。

LLM時代帶來了新的可能性。大語言模型開始輔助假設生成、自動撰寫文獻綜述、甚至編寫實驗代碼。然而，正如論文所指出的：

“Although the community has made substantial progress in automating individual components of the scientific process, a system that autonomously navigates the entire research life cycle—from conception to publication—has remained out of reach.”

換言之，AI可以很好地完成科研鏈條上的某個環(huán)節(jié)，卻很少有系統(tǒng)能夠獨立走完從“靈光一現(xiàn)”到“見刊發(fā)表”的完整旅程。也正因為如此，The AI Scientist的出現(xiàn)才顯得格外特殊。

要理解這種特殊性，一個很好的參照對象是2025年NeurIPS發(fā)表的GeCCo[2]（Generating Computational Cognitive Models using Large Language Models）。GeCCo的pipeline設計精巧：給定任務描述、參與者行為數(shù)據(jù)和代碼模板，LLM生成候選認知模型，通過擬合數(shù)據(jù)獲得反饋，迭代優(yōu)化模型結構。它展現(xiàn)了AI在特定科研場景下的強大能力——在四個認知領域中，LLM生成的模型與文獻中最優(yōu)的領域?qū)Ｓ媚Ｐ筒幌嗌舷隆５獹eCCo的輸出是什么？是模型代碼。研究者拿到這些代碼后，仍需自己解讀結果、撰寫論文、組織引用、回應評審。它是一個出色的科研工具，而非獨立的科研主體。

The AI Scientist則實現(xiàn)了質(zhì)的飛躍。它的輸出是一篇完整的、符合學術規(guī)范的研究論文，包含引言、方法、實驗結果、相關工作討論和參考文獻列表。系統(tǒng)不僅“做實驗”，還要“講故事”——解釋為什么這個問題重要、方法的設計理念、結果的理論含義，以及這項工作如何嵌入更廣闊的學術版圖。這種從代碼輸出到論文輸出的跨越，本質(zhì)上是從工具到自主科學家的范式轉換。

那么，這種范式轉換到底達到了什么水平？為了驗證系統(tǒng)的真實能力，研究團隊進行了一場大膽的“圖靈測試”——將AI生成的論文提交至ICLR 2025 ICBINB workshop（錄取率約70%），且事先獲得了會議組織者和機構倫理委員會的批準。評審人被告知部分投稿可能由AI生成，但不知道具體是哪幾篇。在三篇投稿中，一篇獲得了平均6.33分（具體評分為6、7、6），超過了錄取閾值。workshop組織者明確表示，如果不是因為研究團隊預先承諾會撤回AI生成論文，這篇稿件將被正式接收。有趣的是，這篇被接收的論文報告了一個負面結果（關于抑制快速學習特征以避免捷徑依賴），恰好契合ICBINB workshop關注“有趣失敗”的主題。

不過，作者團隊保持了誠實：他們明確指出，這只是workshop水平的成功。ICLR主會的錄取率僅32%，AI生成的論文距離真正的一流會議標準仍有差距。但他們同時提出了一個發(fā)人深省的觀點：在機器學習領域，一旦某種方法“開始工作”，即使存在明顯缺陷，往往只需幾年時間，隨著模型能力、計算規(guī)模和技術方法的提升，系統(tǒng)就可能超越人類表現(xiàn)。The AI Scientist或許正處于這個臨界點。

二、系統(tǒng)框架：四大階段串聯(lián)科研全鏈條

The AI Scientist的整體架構可以用Fig 1中的流程圖來概括：四個主要階段依次銜接，形成一個完整的科研自動化閉環(huán)。

Fig 1. The AI Scientist 系統(tǒng)整體流程圖（圖源論文Fig.1a）

系統(tǒng)的工作流依次為Ideation（想法生成）、Experimentation（實驗執(zhí)行）、Write-up（論文撰寫）和Review（自動審稿）。在Ideation階段，LLM iteratively生成研究想法檔案，每個想法包含標題、核心假設和實驗計劃。隨后進入Experimentation階段，系統(tǒng)通過樹搜索執(zhí)行實驗，包括代碼實現(xiàn)、超參數(shù)調(diào)優(yōu)和消融研究。實驗完成后，Write-up模塊將結果填充到LaTeX模板中，逐節(jié)生成符合學術規(guī)范的論文。最后，Automated Reviewer對生成論文進行科學質(zhì)量評估。這一設計涵蓋了人類科研活動的全部關鍵環(huán)節(jié)——從創(chuàng)意產(chǎn)生到成果發(fā)表再到質(zhì)量把關——全部由AI自主完成。

在執(zhí)行層面，系統(tǒng)支持兩種實驗模式。Template-based模式依賴預定義的實驗模板，適用于有成熟實驗框架的研究領域（如機器學習中的特定基準測試）。這種模式的優(yōu)勢在于穩(wěn)定性高，生成的實驗更具可復現(xiàn)性。Template-free模式則給予LLM更大的自由度，讓它自主設計實驗架構，適用于探索性更強的新興方向。兩種模式各有側重，前者適合快速驗證已知范式下的新想法，后者則為突破式創(chuàng)新保留了空間。

研究想法的質(zhì)量直接決定了整個系統(tǒng)的上限。The AI Scientist在Ideation模塊中進行了精心的prompt工程設計：LLM被要求從“新穎性”“可行性”“潛在影響力”三個維度對每個想法進行自評估。系統(tǒng)還會自動調(diào)用Semantic Scholar[12]的API，檢索相關文獻以驗證想法的新穎性——如果LLM提出的想法與已發(fā)表論文過于接近，系統(tǒng)會將其過濾并提示重新生成。值得一提的是，Ideation模塊的設計受到了MAP-Elites算法[10]的啟發(fā)。與MAP-Elites在行為特征空間中維護多樣性檔案類似，Ideation模塊也會維護一個"想法檔案"，確保生成的研究假設在研究類型、方法論和現(xiàn)象解釋等維度上保持多樣性，避免系統(tǒng)過早陷入局部最優(yōu)。

當想法確定后，論文撰寫模塊采用了Aider作為代碼編輯工具，負責從實驗日志中提取結果、生成圖表并填充到論文模板中。在引用管理方面，系統(tǒng)通過Semantic Scholar[12]檢索與論文內(nèi)容相關的文獻，自動插入恰當?shù)囊?。Toolformer[11]的思想在此得到了延伸——LLM不僅學會了使用工具，更學會了在學術寫作中準確地引用前人工作。系統(tǒng)支持LaTeX和Markdown兩種輸出格式，并會自動處理圖表排版、公式編號等細節(jié)。

論文完成后，進入系統(tǒng)的“內(nèi)部質(zhì)控”環(huán)節(jié)。Automated Reviewer遵循NeurIPS的審稿指南，從“原創(chuàng)性”“方法論”“實驗設計”“寫作質(zhì)量”等多個維度對論文進行評估。系統(tǒng)會生成5份獨立的審稿意見，然后由LLM模擬Area Chair的角色進行meta-review，綜合各方意見形成最終的審稿結論。為了校準審稿標準，研究團隊利用OpenReview平臺上公開的真實審稿數(shù)據(jù)[13]對模型進行了訓練，使其審稿風格盡可能貼近人類專家。

三、核心創(chuàng)新：樹搜索驅(qū)動的實驗探索

科學研究本質(zhì)上是一個在巨大組合空間中的探索過程。與圍棋或象棋這類具有明確規(guī)則和目標的問題不同，開放式科研面臨的挑戰(zhàn)更加嚴峻：實驗空間沒有預設邊界，“正確答案”事先未知，且每一次實驗運行都可能消耗大量計算資源。如果讓AI漫無目的地嘗試所有可能的實驗組合，成本將高到不可承受。

樹搜索的核心洞見在于，它天然契合人類研究者“先驗證、后深入”的科研直覺。人類研究者面對一個新想法時，通常不會立即投入全部資源做大規(guī)模實驗，而是先用最小成本構建一個原型，快速驗證核心假設的可行性；如果方向可行，再逐步擴大實驗規(guī)模，深入優(yōu)化。樹搜索的計算結構——從根節(jié)點出發(fā)，分層展開候選分支，根據(jù)反饋動態(tài)剪枝——正是這一方法論的精確計算化實現(xiàn)。在The AI Scientist中，LLM負責在每個節(jié)點上生成具體的實驗方案（代碼、參數(shù)、數(shù)據(jù)集配置），而樹搜索負責在宏觀上分配計算資源、剪除無效分支、保留最有前景的路徑。兩者的結合，使得系統(tǒng)能夠在無邊界的實驗空間中有序推進，而不是在黑暗中盲目摸索。

樹搜索的漸進邏輯在實踐中如何展開？讓我們跟隨一個具體的研究主題，看看系統(tǒng)是如何從最初的原型構想到完整的消融分析，一步步在搜索樹中推進的。這個研究主題是“抑制快速學習特征以避免對捷徑的依賴”（suppressing fast-learning features to avoid shortcut reliance），一個關于模型魯棒性的經(jīng)典問題。

Fig.3 "抑制快速學習特征"主題的四階段樹搜索實例。展示了系統(tǒng)如何從最初的原型構建逐步發(fā)展到完整的消融分析，每個階段的Best節(jié)點（深藍色）被選中作為下一階段的起點。（圖源論文 Fig.3b ）

第一階段（初步調(diào)查）：系統(tǒng)首先構建了一個帶有顏色偏置的MNIST數(shù)據(jù)集，測試"減緩特定權重的學習速度是否能提升對捷徑的魯棒性"。根節(jié)點成功后，LLM生成了多個子節(jié)點探索不同的實驗方向。經(jīng)過評估，一個節(jié)點被標記為最優(yōu)，進入下一階段。這一階段的目標極其明確：用最小成本排除明顯不可行的路徑。

第二階段（超參數(shù)調(diào)優(yōu)）：系統(tǒng)基于上一階段的最優(yōu)節(jié)點展開搜索。一個關鍵改進是"在訓練和測試劃分中平衡所有顏色-數(shù)字組合以避免空組"；同時修復了訓練崩潰問題，添加了CelebA數(shù)據(jù)集，并增強了可視化。另一個分支則調(diào)整了抑制強度并使用早停策略。最終選出的最優(yōu)節(jié)點在進入第三階段前進行了進一步細化。這一階段的核心是在已驗證可行的方向上，系統(tǒng)性地尋找最佳參數(shù)配置。

第三階段（研究議程執(zhí)行）：系統(tǒng)引入Waterbirds數(shù)據(jù)集擴展評估范圍，將偏斜劃分替換為分層抽樣，并使用預訓練的ResNet替代從頭訓練，還修復了數(shù)組錯誤。這一階段產(chǎn)生了多個成功執(zhí)行的節(jié)點，最優(yōu)節(jié)點匯總了多數(shù)據(jù)集上的穩(wěn)定結果。此時，方法的普適性已得到充分驗證。

第四階段（消融實驗）：最后階段系統(tǒng)對三個關鍵因素進行了消融分析：預熱期時長、動態(tài)懲罰因子自適應、懲罰應用強度等。這些消融實驗為論文的方法論部分提供了堅實的因果證據(jù)。

這個案例清晰展示了樹搜索的"漸進式深化"策略：從最簡單的MNIST原型出發(fā)，逐步擴展到CelebA、Waterbirds等多個數(shù)據(jù)集，實驗設計也越來越精細化。但更重要的是，這不是一條預先規(guī)劃好的線性路徑，而是一條從眾多分支中被篩選出來的成功路徑——每一階段都有其他分支被嘗試、被判定為不如當前節(jié)點，因此被系統(tǒng)剪除。樹搜索的價值，正在于它能夠在探索過程中動態(tài)地集中資源到高價值區(qū)域。

上述實例中的四個階段，并非獨立的項目管理流程，而是樹搜索在宏觀上的“深度控制策略”。它們定義了搜索樹如何分層生長，以及系統(tǒng)何時應該“剪枝”并“深入”。

第一階段的目標是快速驗證研究想法的基本可行性，系統(tǒng)會構建最簡化的實驗原型，在小型數(shù)據(jù)集上運行核心算法。結束條件是"一個基本可用的原型已成功執(zhí)行"——代碼沒有致命錯誤，能夠產(chǎn)生有意義的輸出。這類似于人類研究者在確定研究方向前進行的"可行性摸底"：用最少的時間和資源排除明顯不可行的路徑。每個節(jié)點的最大實驗運行時間為1小時，防止因代碼問題導致資源浪費。

當初步原型驗證通過后，系統(tǒng)進入超參數(shù)優(yōu)化階段。LLM會提出不同的超參數(shù)配置方案（如學習率、批量大小、正則化強度等），并通過樹搜索系統(tǒng)性地探索這些配置的組合。結束條件是“實驗結果趨于穩(wěn)定”——具體表現(xiàn)為訓練曲線收斂，且至少在兩個不同的數(shù)據(jù)集上成功執(zhí)行。這一階段對應人類研究中"調(diào)試代碼、調(diào)優(yōu)參數(shù)"的過程，是確保實驗結果可靠的關鍵環(huán)節(jié)。

在前兩個階段確認了核心方法的有效性和超參數(shù)的合理性之后，系統(tǒng)進入主要研究議程的全面執(zhí)行階段。這一階段會在更大規(guī)模的數(shù)據(jù)集和更完整的實驗設置下系統(tǒng)地驗證研究假設，可能涉及多數(shù)據(jù)集對比、基線方法比較等。結束條件是"分配的計算預算耗盡"——因為在方法已經(jīng)驗證可行的情況下，擴大實驗覆蓋面和深度本身就是核心價值所在。

最后一個階段專注于消融分析，目的是理解方法中各個組件對最終性能的貢獻。系統(tǒng)會系統(tǒng)地移除或修改方法中的特定部分（如某個正則化項、某個網(wǎng)絡模塊），觀察性能變化。消融實驗是學術論文中"方法論"部分的核心內(nèi)容，它為研究結論提供了因果層面的證據(jù)支持。同樣，這一階段的結束條件是計算預算耗盡。

階段間的銜接機制是樹搜索策略的關鍵所在：在每個階段結束時，一個基于LLM的評估器會審查所有葉子節(jié)點，并選擇最有前景的一個作為下一階段探索的根節(jié)點，從而有效地剪除不太有前景的研究方向。這種設計確保了系統(tǒng)能夠集中精力深入最有希望的實驗路徑，避免資源浪費在效果不佳的方向上。

下圖Fig 2展示了這一四階段樹搜索的完整結構。每個階段都構建一棵獨立的搜索樹，節(jié)點之間通過特定的語義關系連接，虛線箭頭表示階段間的銜接——選擇最優(yōu)節(jié)點作為下一階段的根節(jié)點。

Fig 2. 四階段樹搜索示意圖。每個階段構建獨立的搜索樹，虛線箭頭表示階段間的銜接（選擇最優(yōu)節(jié)點作為下一階段的根節(jié)點）。右側圖例展示了系統(tǒng)中定義的完整節(jié)點類型體系。（圖源論文 Fig.3a ）

四階段策略定義了搜索的宏觀結構，但搜索樹的具體生長還依賴更微觀的機制：系統(tǒng)如何標記一個實驗節(jié)點的狀態(tài)？如何確保代碼執(zhí)行和結果的質(zhì)量？Fig 2右側的圖例還展示了節(jié)點間的轉換關系：Refine（細化，灰色箭頭）表示在已有結果基礎上改進實驗設計；Debug（調(diào)試，紅色箭頭）表示對出錯代碼進行修復。這些轉換操作由LLM根據(jù)當前節(jié)點的狀態(tài)和實驗反饋自主決定。每個節(jié)點在樹中都有明確的類型標記，這些類型是對搜索過程中實驗狀態(tài)的結構化記錄：

每個節(jié)點在樹中經(jīng)歷一個完整的生命周期。當一個新節(jié)點被創(chuàng)建時，系統(tǒng)首先生成或修改實驗代碼，然后在一個隔離的計算環(huán)境中執(zhí)行實驗。實驗運行受到嚴格的時間約束——每個節(jié)點的最大運行時間為1小時，這防止了因代碼問題（如無限循環(huán)）導致的資源浪費。

實驗完成后，系統(tǒng)會對結果進行多層次的驗證。首先進行基礎的代碼執(zhí)行檢查：代碼是否成功運行？是否產(chǎn)生了預期的輸出文件？其次，VLM（視覺語言模型）會對訓練曲線圖等可視化結果進行審核，判斷實驗是否真正收斂、結果是否合理。只有通過所有檢查的節(jié)點才會被標記為Non-buggy，進入候選集；未通過的節(jié)點則被標記為Buggy，留待后續(xù)調(diào)試或剪枝。

系統(tǒng)中融入了視覺語言模型（VLM）作為額外的質(zhì)量審核層。VLM能夠“查看”訓練曲線圖、注意力可視化等實驗輸出圖像，判斷實驗是否正常收斂、結果是否合理。這一設計彌補了純文本LLM在視覺模式識別方面的不足，使得系統(tǒng)能夠發(fā)現(xiàn)那些“代碼運行成功但結果無意義”的隱蔽問題。為了提升效率，系統(tǒng)采用了并行化執(zhí)行策略：同一層的多個節(jié)點可以同時運行，充分利用多GPU環(huán)境的計算能力。樹搜索的異步特性意味著系統(tǒng)不需要等待一個分支完全探索完畢才啟動另一個分支——這在實踐中顯著縮短了整體實驗周期。節(jié)點類型的豐富設計、VLM的質(zhì)量審核層以及并行化執(zhí)行，共同構成了樹搜索策略的底層支撐。它們確保系統(tǒng)不僅能夠高效地探索實驗空間，還能以結構化的方式記錄整個探索歷程，保證最終產(chǎn)出結果的可靠性與可復現(xiàn)性。

四、實驗評估

AI Scientist究竟是真的具備科研能力，還是只是一個復雜的自動化流水線？研究團隊從兩個角度展開了系統(tǒng)性驗證。他們首先追問一個根本性問題：科研能力（以論文得分來反應）本身是否遵循Scaling Law？如果答案是肯定的，那么隨著底層模型能力的提升，AI Scientist的產(chǎn)出質(zhì)量應該呈現(xiàn)可預測的提升——這意味著科研自動化不是一個靜態(tài)的能力，而是一個會隨著模型進步不斷進化的動態(tài)系統(tǒng)，其性能天花板可以被持續(xù)推高。論文測試了從GPT-3.5到Claude Sonnet 4等15款主流模型，時間跨度從2023年7月到2025年7月。圖1b展示了模型能力與論文質(zhì)量之間的強關聯(lián)：

Fig.4 從GPT-4到Sonnet-4的模型Scaling趨勢。橫軸為時間線，縱軸為AI審稿人給出的論文評分。綠色實線為線性擬合（R2 = 0.517, P < 0.00001），陰影區(qū)域為95%置信區(qū)間。藍色圓點代表基于模板的論文生成，紅色圓點代表無模板論文生成。（圖源論文 Fig.1b ）

數(shù)據(jù)顯示，隨著底層模型能力的提升，AI Scientist的論文評分呈現(xiàn)顯著上升趨勢（R2 = 0.517, P < 0.00001）。早期模型如GPT-4的評分集中在1分左右，而最新的Sonnet-4和Gemini-2.5已能穩(wěn)定產(chǎn)出3.5分以上的論文，部分無模板生成的論文甚至接近4.5分。這意味著模型能力的進步可以直接“翻譯”為科研產(chǎn)出的質(zhì)量提升——更強的代碼理解、更優(yōu)的實驗設計、更嚴謹?shù)恼撐膶懽鳎餐苿恿诉@一Scaling效應。如果科研能力確實存在Scaling Law，那么隨著模型能力的持續(xù)提升，AI Scientist的產(chǎn)出質(zhì)量還有巨大的上升空間。

模型能力的提升確實帶來了顯著改善，但這引出了另一個同樣關鍵的問題：在固定模型能力的前提下，我們能否通過增加計算投入來“榨取”出更高質(zhì)量的科研成果？這直接關系到系統(tǒng)究竟只是一個被模型能力決定的“自動化流水線”，還是一個可以通過系統(tǒng)性探索來放大現(xiàn)有模型潛力的“科研放大器”。四階段樹搜索的Stage 3和Stage 4以計算預算耗盡為終止條件，因此可以通過調(diào)節(jié)node數(shù)量來觀察test-time compute scaling的規(guī)律。此處需要補充澄清一個關鍵概念：這里提到的“node”（節(jié)點），指的是一次獨立的實驗運行，而不是說Tree Search的node。每個node包含一個完整的實驗周期：代碼生成、執(zhí)行、可視化、VLM審核。論文設定每個node的最大運行時間為1小時。四階段樹搜索中，Stage 1和Stage 2有明確的結束條件（工作原型成功執(zhí)行、實驗在兩個數(shù)據(jù)集上穩(wěn)定運行），而Stage 3和Stage 4以計算預算耗盡為結束條件。因此，"計算node數(shù)"本質(zhì)上就是系統(tǒng)投入的實驗運行次數(shù)——投入越多，探索越充分，論文質(zhì)量越高。

Fig.5 實驗節(jié)點數(shù)與論文得分的關系（圖源論文 Fig.3c ）

實驗結果清晰地展示了這一趨勢：當實驗節(jié)點數(shù)從5個增加到30個時，論文質(zhì)量持續(xù)提升。每個實驗節(jié)點代表一次完整的實驗嘗試（代碼生成、執(zhí)行、可視化、審核），這意味著系統(tǒng)可以進行更廣泛的超參數(shù)搜索、更充分的實驗驗證、更細致的論文打磨。從5到30個節(jié)點的擴展中，論文評分呈現(xiàn)近似線性的增長關系。這一發(fā)現(xiàn)與test-time compute scaling的研究[15]形成呼應——增加推理時的計算投入，能夠顯著改善復雜任務的表現(xiàn)。更重要的是，它表明AI Scientist并非只是簡單地將模型能力"搬運"到論文中，而是通過系統(tǒng)性的探索和迭代，能夠從相同的底層模型中"榨取"出更高質(zhì)量的科研成果。這些量化指標固然鼓舞人心，但真正能說明問題的，還是把論文拿到真實學術場景中去檢驗。研究團隊將AI Scientist生成的論文匿名提交至ICLR 2025 ICBINB workshop（錄取率約70%），且事先獲得了會議組織者和機構倫理委員會的批準。評審人被告知部分投稿可能由AI生成，但不知道具體是哪幾篇。

在三篇投稿中，一篇獲得了平均6.33分（具體評分為6、7、6），超過了錄取閾值。workshop組織者明確表示，如果不是因為研究團隊預先承諾會撤回AI生成論文，這篇稿件將被正式接收。有趣的是，這篇被接收的論文報告了一個負面結果（關于抑制快速學習特征以避免捷徑依賴），恰好契合ICBINB workshop關注"有趣失敗"的主題。

作者保持了令人尊敬的誠實：他們明確指出這只是workshop水平的成功。ICLR主會的錄取率僅32%，AI生成的論文距離真正的一流會議標準仍有差距。但他們同時提出了一個發(fā)人深省的觀點：在機器學習領域，一旦某種方法"開始工作"，即使存在明顯缺陷，往往只需幾年時間，隨著模型能力、計算規(guī)模和技術方法的提升，系統(tǒng)就可能超越人類表現(xiàn)。

五、批判與反思

作者對系統(tǒng)的局限性保持了難得的坦誠。首先，AI科學家目前仍局限于機器學習領域——它需要可執(zhí)行代碼、可量化的指標、以及論文模板的支撐，難以擴展到需要濕實驗（wet lab）的生物學或化學領域。即使在這些領域有類似嘗試[16]，也遠未達到端到端的自動化。其次，樹搜索雖然在超參數(shù)優(yōu)化和模型架構搜索上表現(xiàn)良好，但尚不具備提出全新理論框架的能力。它更像是一個高效的"實驗執(zhí)行者"，而非"理論開創(chuàng)者"。當前系統(tǒng)產(chǎn)出的論文多聚焦于empirical findings（實證發(fā)現(xiàn)），而非conceptual breakthroughs（概念突破）。此外，系統(tǒng)對計算資源的消耗不容小覷。30個實驗節(jié)點意味著30小時的GPU計算，加上樹搜索本身的推理開銷，單次完整運行的成本相當可觀。這也引出了一個現(xiàn)實問題：當所有研究者都使用類似的AI科學家系統(tǒng)時，是否會陷入"同質(zhì)性研究"的陷阱——大家都在相似的搜索空間內(nèi)探索相似的方向？

論文專門設置了倫理討論章節(jié)，這在技術論文中并不多見。作者指出，AI科學家可能被濫用于生產(chǎn)大量低質(zhì)量或虛假研究，加劇科學文獻的"污染"問題。為此，論文提出了一套倫理紅線：所有AI生成的論文必須明確標注其自動化性質(zhì)，且不得投稿至需要人類作者身份認證的正式期刊。更深層的憂慮在于科研不端行為的檢測難度。如果AI科學家被惡意使用來捏造實驗數(shù)據(jù)、篡改p值或虛構引用，其高度逼真的論文格式可能讓審稿人難以察覺。為此，作者開源了自動化審稿人的代碼，希望學術界能共同開發(fā)更robust的AI論文檢測工具。這與METR團隊關于AI能力評估的研究[15]形成對照——我們需要在加速科研與維護學術誠信之間找到平衡點。

盡管存在上述局限，AI科學家所展示的趨勢不容忽視。底層模型的進步速度驚人：從GPT-4到Sonnet-4，短短兩年內(nèi)論文質(zhì)量提升超過300%。METR的研究表明，AI可靠完成任務的長度大約每7個月翻一番[15]——這意味著AI能夠獨立處理的研究復雜度正在指數(shù)級增長。如果這一趨勢持續(xù)，AI科學家有望在5年內(nèi)達到成熟研究者的水平，能夠獨立提出研究問題、設計實驗方案、完成數(shù)據(jù)分析并撰寫高質(zhì)量論文。一個更遠的展望是"AI科研生態(tài)"的涌現(xiàn)：AI科學家負責實驗設計和執(zhí)行，AI審稿人負責質(zhì)量評估，AI元科學家（meta-scientist）負責識別研究空白并提出新的研究方向。在這種生態(tài)中，人類的角色將從"做研究"轉向"定義研究應該解決什么問題"——這或許是科學研究范式的又一次根本性變革。

結語及筆者觀點

AI科學家不僅僅是一個技術demo，它代表了一種全新的科研范式——用AI來研究AI。當AI系統(tǒng)能夠自主生成、執(zhí)行和評估研究時，科學發(fā)現(xiàn)的速度可能會迎來質(zhì)的飛躍。AlphaFold解決了蛋白質(zhì)折疊這一單一難題，而AI科學家試圖解決的，是"如何做研究"這一元問題。

當然，我們離真正的全自動科學發(fā)現(xiàn)還有距離。當前系統(tǒng)在理論創(chuàng)新、跨學科整合和直覺洞察方面仍遠不及人類研究者。并且，“為什么AI科學家沿著這樣的Pipeline做研究是高效可行的”（一個具體的問題是“為什么選擇Tree Search而不是貝葉斯的優(yōu)化方法？”），文中并沒有給出詳細解釋或者數(shù)學定量分析；以及，The AI Scientist作為一個End-to-End的新研究范式，如果人類希望在其研究的過程中介入，又應該如何實現(xiàn)。但無論如何，它已經(jīng)證明了核心概念的可行性：LLM + 樹搜索 + 自動化實驗 = 可產(chǎn)出人類可接受論文的AI科學家。

下一步的關鍵問題或許是：怎么找到讓AI科學家做研究最高效可行的Pipeline？以及我們?nèi)祟悜撊绾卫盟?/p>

參考文獻

[1] Lu, C., et al. "Towards end-to-end automation of AI research." Nature, Vol 651, pp. 914–919, 2026. https://doi.org/10.1038/s41586-026-10265-5

[2] Rmus, M., et al. "Generating Computational Cognitive Models using Large Language Models." NeurIPS, 2025.

[3] Lenat, D.B. "Automated theory formation in mathematics." IJCAI, pp. 833–842, 1977.

[4] Buchanan, B.G. & Feigenbaum, E.A. "Dendral and meta-dendral: their applications dimension." Artificial Intelligence, Vol. 11, pp. 5–24, 1978.

[5] Jumper, J., et al. "Highly accurate protein structure prediction with AlphaFold." Nature, Vol. 596, pp. 583–589, 2021.

[6] Hayes, T., et al. "Simulating 500 million years of evolution with a language model." Science, Vol. 387, pp. 850–858, 2025.

[7] Boiko, D.A., et al. "Autonomous chemical research with large language models." Nature, Vol. 624, pp. 570–578, 2023.

[8] Lu, C., Hu, S. & Clune, J. "Automated capability discovery via model self-exploration." arXiv:2502.07577, 2025.

[9] Hu, S., Lu, C. & Clune, J. "Automated design of agentic systems." ICLR, 2025.

[10] Mouret, J.B. & Clune, J. "Illuminating search spaces by mapping elites." arXiv:1504.04909, 2015.

[11] Schick, T., et al. "Toolformer: language models can teach themselves to use tools." NeurIPS, Vol. 36, pp. 68539–68551, 2023.[12] Fricke, S. "Semantic Scholar." Journal of the Medical Library Association, Vol. 106, pp. 145, 2018.

[13] Gonzalez-Marquez, R. & Kobak, D. "Learning representations of learning representations." ICLR DMLR Workshop, 2024.

[14] Beygelzimer, A., et al. "The NeurIPS 2021 consistency experiment." NeurIPS Blog, 2021.

[15] Kwa, T., et al. "Measuring AI ability to complete long tasks." METR Blog, 2025.

[16] Baek, J., et al. "ResearchAgent: Iterative research idea generation over scientific literature with large language models." ACL, pp. 6709–6738, 2025.

[17] Lu, C., et al. "AIDE: AI-driven exploration in the space of code." ICLR, 2025.

[18] Ma, Y.J., et al. "Eureka: Human-level reward design via coding large language models." ICLR, 2024.

參考文獻可上下滑動查看

報名讀書會：「Vibe Modeling」

集智俱樂部聯(lián)合同濟大學長聘副教授陳小楊和北京林業(yè)大學副教授李周園共同發(fā)起，將在集體實踐中探索 vibe modeling 在不同領域的通用模式與特殊需求，沉淀可復用的提示策略、評估方法與工作流，為這一范式搭建早期社區(qū)基礎，助力 AI 賦能的跨學科研究與人才培養(yǎng)落地。

讀書會自2026年5月17日起，每周日下午14:00-16:00線上開展，持續(xù)10周，包含主講分享與討論交流，并提供會后視頻回放，誠邀相關領域研究者及跨學科興趣者參與。

掃描海報中二維碼報名參加讀書會

詳情請見：

1.

2.

3.

4.

5.

6.

7.

#解讀