陶哲軒參賽，在這項(xiàng)極其嚴(yán)格的數(shù)學(xué)測(cè)試中，人類(lèi)表現(xiàn)優(yōu)于A

就在外界驚呼“AI快要接管純數(shù)學(xué)研究”之際，一場(chǎng)限制條件極其嚴(yán)格、并由30位數(shù)學(xué)家以匿名方式進(jìn)行評(píng)審的數(shù)學(xué)測(cè)試，卻揭開(kāi)了AI數(shù)學(xué)能力的另一面：AI不僅會(huì)幻覺(jué)、會(huì)跳步驟，甚至還把數(shù)學(xué)家論文里的關(guān)鍵論證幾乎原樣照搬，卻忘了注明引用。

該測(cè)試共包含10道題目。所有題目有一個(gè)共同的關(guān)鍵前提：它們出自研究者在工作中自然遇到并已解決的問(wèn)題，但截至測(cè)試時(shí)既未發(fā)表，也未曾出現(xiàn)在互聯(lián)網(wǎng)上。這是整個(gè)測(cè)試設(shè)計(jì)的核心，只有這樣，才能切斷AI在訓(xùn)練數(shù)據(jù)中檢索答案的可能。

測(cè)試表明，在當(dāng)前的技術(shù)范式下，AI更適合扮演一個(gè)強(qiáng)大但不能做到100%可靠的科研助手，而非一個(gè)能夠獨(dú)立提出深刻猜想、構(gòu)建理論框架的科研機(jī)器。尤其在直覺(jué)層面——識(shí)別哪個(gè)方向值得追逐，在最困難的環(huán)節(jié)做出決斷——AI與人類(lèi)之間的距離，仍清晰可見(jiàn)。

撰文 | REN

有一道關(guān)于莫比烏斯紙帶幾何性質(zhì)的數(shù)學(xué)題，困擾數(shù)學(xué)界近半個(gè)世紀(jì)。2025年，布朗大學(xué)數(shù)學(xué)家理查德·施瓦茨（Richard Schwartz）解決了它，論文發(fā)表在《數(shù)學(xué)年刊》（Annals of Mathematics）上。

一年后，施瓦茨從這道題的研究過(guò)程中提取出一個(gè)新問(wèn)題，想測(cè)試一下AI能否做出來(lái)。他認(rèn)為，如果借鑒他的研究成果來(lái)求解，一個(gè)不錯(cuò)的幾何學(xué)或低維拓?fù)鋵W(xué)研究生應(yīng)該能很快做出來(lái)，但如果不依賴(lài)他的成果，那可能要花費(fèi)數(shù)年時(shí)間。

“我花了4年的時(shí)間去解決那個(gè)50年懸而未決的問(wèn)題。如果AI找到的正確解法與我的解法截然不同，我會(huì)非常佩服。”他說(shuō)道。

測(cè)試結(jié)果很快出來(lái)：四個(gè)AI系統(tǒng)中有三個(gè)都給出了及格的答案。如果換成普通人，或許又要被AI的數(shù)學(xué)能力“驚得說(shuō)不出話來(lái)”。但評(píng)審們發(fā)現(xiàn)，AI在論證的第一部分幾乎逐行照搬了施瓦茨的論文，連專(zhuān)有術(shù)語(yǔ)和符號(hào)標(biāo)記都原樣復(fù)用，卻沒(méi)有在任何地方注明引用這篇文章。

面對(duì)這個(gè)結(jié)果，身為評(píng)審的施瓦茨哭笑不得：“AI高度借鑒了我的論證過(guò)程卻沒(méi)有給出任何引用，有點(diǎn)糟心。如果是人類(lèi)研究員，我會(huì)認(rèn)定其有不道德的學(xué)術(shù)行為并拒稿，但AI適用這個(gè)說(shuō)法嗎？”

當(dāng)然，施瓦茨也在一些地方肯定了AI的推理，列舉了自己和AI的不同思路：

這個(gè)測(cè)試來(lái)自于一項(xiàng)更大規(guī)模的AI數(shù)學(xué)能力測(cè)試項(xiàng)目，名為First Proof。6月10日，為期近四個(gè)月的數(shù)學(xué)測(cè)試結(jié)果在其官網(wǎng)上正式公布。這批測(cè)試向四個(gè)AI系統(tǒng)提出了10道研究級(jí)別的數(shù)學(xué)題，并由30位領(lǐng)域?qū)＜乙阅涿绞竭M(jìn)行了評(píng)審。

結(jié)果表明，AI雖然在部分題目上展現(xiàn)出令人印象深刻的解題能力，但在整體上仍然無(wú)法達(dá)到頂尖研究者的水平。

這一結(jié)果發(fā)布的時(shí)間節(jié)點(diǎn)很特殊。就在2026年5月，OpenAI的一個(gè)內(nèi)部模型推翻了匈牙利數(shù)學(xué)家保羅·埃爾德什（Paul Erd?s）在近80年前提出的、數(shù)學(xué)界也普遍認(rèn)可的一個(gè)猜想，令研究者們大為震驚。

隨著各類(lèi)媒體對(duì)AI數(shù)學(xué)能力的報(bào)道熱情高漲，F(xiàn)irst Proof項(xiàng)目的測(cè)試結(jié)果揭示了一幅更為復(fù)雜的圖景：當(dāng)測(cè)試從競(jìng)賽式比拼轉(zhuǎn)向真實(shí)研究場(chǎng)景，當(dāng)題目不再來(lái)自歷史積累而是來(lái)自當(dāng)下正在進(jìn)行的數(shù)學(xué)工作，AI的表現(xiàn)就會(huì)呈現(xiàn)出截然不同的面貌。

First Proof項(xiàng)目的四個(gè)主要發(fā)起人，來(lái)自美國(guó)斯坦福大學(xué)、加州大學(xué)伯克利分校、得克薩斯大學(xué)奧斯汀分校和哈佛大學(xué)。項(xiàng)目的宗旨是向數(shù)學(xué)界和公眾提供關(guān)于AI解題能力的準(zhǔn)確信息，不依賴(lài)模型開(kāi)發(fā)公司的自我評(píng)估，而通過(guò)獨(dú)立、透明、可復(fù)現(xiàn)的實(shí)驗(yàn)來(lái)做出判斷。

該項(xiàng)目獲得了來(lái)自Anthropic和OpenAI的非限制性捐款。這筆資金只用于支付題目創(chuàng)作和評(píng)審的科研費(fèi)用，不用于支付編輯委員會(huì)或董事會(huì)成員的薪酬。規(guī)則還明確規(guī)定，編輯委員會(huì)和董事會(huì)成員在任職期間不得接受任何AI公司的有償工作。

在這次測(cè)試之前，F(xiàn)irst Proof曾于2026年2月進(jìn)行了第一批測(cè)試，以非正式方式向公眾開(kāi)放題目，允許任何人用自己選擇的系統(tǒng)嘗試作答。但那次測(cè)試沒(méi)有獨(dú)立核查參與者的操作方式，也沒(méi)有組織專(zhuān)家對(duì)答卷進(jìn)行系統(tǒng)評(píng)分。第二批測(cè)試是該項(xiàng)目首次以正式基準(zhǔn)的方式運(yùn)行。

今年3月，谷歌曾表示，其內(nèi)部模型Aletheia成功攻克了6道來(lái)自FirstProof第一批測(cè)試集的難題 | 圖源：
https://arxiv.org/pdf/2602.21201

第二批測(cè)試的10道題目來(lái)自各數(shù)學(xué)領(lǐng)域的一線研究者，覆蓋范圍從可計(jì)算性理論（computability theory）、離散幾何（discrete geometry）到隨機(jī)偏微分方程（stochastic partial differential equations）和馮·諾伊曼代數(shù)（von Neumann algebras），跨度足以檢驗(yàn)AI在不同數(shù)學(xué)分支中的普遍能力。所有題目有一個(gè)共同的關(guān)鍵前提：它們出自研究者在工作中自然遇到并已解決的問(wèn)題，但截至測(cè)試時(shí)既未發(fā)表，也未曾出現(xiàn)在互聯(lián)網(wǎng)上。這是整個(gè)測(cè)試設(shè)計(jì)的核心，只有這樣，才能切斷AI在訓(xùn)練數(shù)據(jù)中檢索答案的可能。

在正式測(cè)試開(kāi)始前，出題者須在零數(shù)據(jù)留存（Zero Data Retention）環(huán)境下對(duì)候選題目進(jìn)行預(yù)測(cè)試，使用的模型包括ChatGPT 5.4/5.5、谷歌Gemini 3.1 Pro以及Anthropic Opus 4.7。為期一周的預(yù)測(cè)試表明，沒(méi)有任何單一模型能夠在30分鐘內(nèi)解出這些題目。兩道候選題目在此階段被淘汰：一道因?yàn)槟Ｐ偷幕貞?yīng)直接找到了文獻(xiàn)中的類(lèi)似已有結(jié)論，另一道由于模型檢索到了一篇足以快速推導(dǎo)出答案的相關(guān)論文，出題者主動(dòng)撤回。

進(jìn)入正式測(cè)試的共有四個(gè)系統(tǒng)，參賽資格要求所有系統(tǒng)必須以公開(kāi)可用模型為基礎(chǔ)，通過(guò)應(yīng)用程序API調(diào)用運(yùn)行，且必須向First Proof完全公開(kāi)代碼和運(yùn)行日志。

系統(tǒng)A名為ProofCouncil，由瑞士蘇黎世聯(lián)邦理工學(xué)院和丹麥奧胡斯大學(xué)的學(xué)術(shù)團(tuán)隊(duì)開(kāi)發(fā)，主要基礎(chǔ)模型是ChatGPT 5.5 Pro，同時(shí)也調(diào)用了其他幾個(gè)模型協(xié)作；系統(tǒng)B是加州大學(xué)洛杉磯分校的Moonshot Harness，研究團(tuán)隊(duì)包括知名數(shù)學(xué)家陶哲軒（Terence Tao）等人，基礎(chǔ)模型同樣為ChatGPT 5.5 Pro；系統(tǒng)C是代表OpenAI直接參賽的ChatGPT 5.5 Pro；系統(tǒng)D名為Momus，由普林斯頓大學(xué)開(kāi)發(fā)，以谷歌Gemini 3.1 Pro為主要基礎(chǔ)模型。

值得一提的是，谷歌內(nèi)部專(zhuān)為數(shù)學(xué)設(shè)計(jì)的Aletheia系統(tǒng)，以及Anthropic尚未向公眾開(kāi)放的Claude Mythos完整版，均因不滿(mǎn)足“公開(kāi)可用”的條件而未能參賽。

測(cè)試于5月底在亞馬遜AWS的獨(dú)立服務(wù)器上運(yùn)行，全程由First Proof團(tuán)隊(duì)操作，以確保任何系統(tǒng)都無(wú)法獲得來(lái)自人類(lèi)的額外幫助。每個(gè)系統(tǒng)對(duì)每道題只有一次機(jī)會(huì)，須在24小時(shí)內(nèi)完成，并以格式規(guī)范的LaTeX文檔提交答卷。隨后，評(píng)審工作在哈佛大學(xué)數(shù)學(xué)科學(xué)與應(yīng)用中心舉行，30位相關(guān)領(lǐng)域?qū)＜乙阅涿绞絽⑴c，仿照數(shù)學(xué)期刊同行評(píng)審的流程，將每份答卷評(píng)定為“無(wú)實(shí)質(zhì)性問(wèn)題”“需小幅修改” “需大幅修改”或“應(yīng)予拒絕”四個(gè)等級(jí)，前兩個(gè)等級(jí)被視為通過(guò)性評(píng)級(jí)。

測(cè)試過(guò)程 | 圖源：First Proof

從整體成績(jī)來(lái)看，四個(gè)系統(tǒng)提交的所有答卷中，有7道題至少有一份答卷獲得了通過(guò)性評(píng)級(jí)，另有2道題至少有一份答卷被評(píng)為需大幅修改，而第4題（度量幾何）則全軍覆沒(méi)。

四套AI系統(tǒng)的總成績(jī) | 圖源：First Proof

表現(xiàn)最好的是使用了多個(gè)模型的系統(tǒng)A。它在第1、2、3、9題獲得需小幅修改的評(píng)級(jí)，在第5題（隨機(jī)偏微分方程）和第7題（組合拓?fù)洌┇@得最高等級(jí)的無(wú)實(shí)質(zhì)性問(wèn)題，在第10題獲得需大幅修改，第4、8題被拒絕，第6題因與OpenAI接口的技術(shù)故障未能提交。

評(píng)審認(rèn)為，若非這一技術(shù)問(wèn)題，系統(tǒng)A在第6題上大概率也能獲得最高等級(jí)的評(píng)定。不過(guò)，總計(jì)6道題獲得通過(guò)性評(píng)級(jí)，也讓系統(tǒng)A略勝一籌。系統(tǒng)B（UCLA）和系統(tǒng)C（OpenAI）各有5道題獲得通過(guò)性評(píng)級(jí)。系統(tǒng)D（普林斯頓）只有第7題通過(guò)，其余9道題均遭拒絕，但很大一部分原因是技術(shù)問(wèn)題。

本次測(cè)試中最引人注目的成功發(fā)生在第5題。這道題要求證明或推翻一個(gè)帶狄拉克δ漂移項(xiàng)的隨機(jī)熱方程最多只有唯一的不變概率測(cè)度。

題目來(lái)自三名數(shù)學(xué)家之手，他們從2025年10月開(kāi)始討論這道題，于2026年1月完成證明，歷時(shí)數(shù)月且需要三人協(xié)作，各自負(fù)責(zé)不同的數(shù)學(xué)工具。

系統(tǒng)A給出的證明走了一條與人類(lèi)解法完全不同的技術(shù)路徑。它的核心是將來(lái)自數(shù)學(xué)家Khoa Lê的隨機(jī)縫合引理（stochastic sewing lemma）用于建立一個(gè)漂移估計(jì)，然后通過(guò)吉爾薩諾夫熵界（Girsanov entropy bound）推導(dǎo)出過(guò)渡概率相對(duì)于高斯不變測(cè)度的絕對(duì)連續(xù)性，從而證明唯一性。三位評(píng)審均將其評(píng)定為“無(wú)實(shí)質(zhì)性問(wèn)題”，并指出，系統(tǒng)A建立的中間結(jié)論比人類(lèi)解法更強(qiáng)，是一條真正新穎的證明路徑。

反差最強(qiáng)烈的失敗出現(xiàn)在第4題，由麻省理工學(xué)院（MIT）數(shù)學(xué)家拉里·古斯（Larry Guth）提出的一道關(guān)于4維矩形之間度量映射的命題。四個(gè)系統(tǒng)無(wú)一通過(guò)，而系統(tǒng)C（ChatGPT 5.5 Pro）的答卷出現(xiàn)了一種特別值得關(guān)注的錯(cuò)誤：它出現(xiàn)了幻覺(jué)，聲稱(chēng)古斯2007年的論文《矩形的面積擴(kuò)展嵌入》（Area-expanding embeddings of rectangles）中存在一個(gè)與待證命題幾乎等價(jià)的“引用定理”，然后從這個(gè)定理出發(fā)，推導(dǎo)出了結(jié)論。

三位評(píng)審均發(fā)現(xiàn)了AI的幻覺(jué)，其中一位指出，系統(tǒng)C“捏造了一個(gè)與待證命題完全吻合的文獻(xiàn)定理，然后將待證定理直接推導(dǎo)出來(lái)“。檢索該論文實(shí)際內(nèi)容，對(duì)應(yīng)章節(jié)中根本不存在任何此類(lèi)陳述。

此外，引用問(wèn)題在多道題中反復(fù)出現(xiàn)，構(gòu)成了本次測(cè)試最系統(tǒng)性的缺陷。評(píng)審報(bào)告記錄了兩類(lèi)具體問(wèn)題：遺漏應(yīng)當(dāng)引用的文獻(xiàn)，以及提供了實(shí)際上并不支持所述命題的錯(cuò)誤或虛構(gòu)引用。

在第1題（可計(jì)算性理論）中，系統(tǒng)B和系統(tǒng)C的答卷大量借鑒了圖列茨基（Turetsky）關(guān)于可計(jì)算范疇結(jié)構(gòu)自同構(gòu)群編碼的已有工作，卻完全未予引用。第2題（離散幾何）的情況則是開(kāi)頭提到的，多個(gè)系統(tǒng)的答卷在論證的第一部分幾乎逐行照搬出題者施瓦茨早年發(fā)表的論文，卻沒(méi)有在任何地方引用這篇論文。

報(bào)告還指出了AI答卷的另一個(gè)規(guī)律性缺陷：在論證中，常規(guī)部分往往處理得繁瑣而詳盡，而在真正困難的關(guān)鍵步驟上卻語(yǔ)焉不詳，有時(shí)以“由標(biāo)準(zhǔn)論證可得”一筆帶過(guò)，或引用實(shí)際上不包含該結(jié)論的論文來(lái)規(guī)避對(duì)難點(diǎn)的正面處理——這種做法，像極了我們?cè)跀?shù)學(xué)考試中做證明題，做到一半，發(fā)現(xiàn)證不下去，就開(kāi)始亂寫(xiě)，然后祈禱不會(huì)被老師發(fā)現(xiàn)。

在成本維度上，各系統(tǒng)之間的對(duì)比頗具意味。系統(tǒng)A在整個(gè)測(cè)試中共花費(fèi)3186美元，其中大部分輸入tokens命中了緩存，壓低了成本；系統(tǒng)B花費(fèi)4799美元；系統(tǒng)C（不附加任何外層框架的ChatGPT 5.5 Pro）僅花費(fèi)117美元；系統(tǒng)D花費(fèi)1014美元。

系統(tǒng)C的通過(guò)題目數(shù)與系統(tǒng)B相同（均為5道），成本卻不到后者的三十分之一。這組數(shù)字說(shuō)明，學(xué)術(shù)團(tuán)隊(duì)在基礎(chǔ)模型之上構(gòu)建的多步驟協(xié)作框架（harness）可能會(huì)提升質(zhì)量，但代價(jià)相當(dāng)巨大，性?xún)r(jià)比的邊際效益有限。

四套系統(tǒng)的成本和耗時(shí) | 圖源：First Proof

測(cè)試結(jié)果還揭示了一個(gè)有規(guī)律意義的模式：當(dāng)一道題在結(jié)構(gòu)上與文獻(xiàn)中的已有結(jié)果高度相似，AI的表現(xiàn)會(huì)明顯好轉(zhuǎn)。

第2題與施瓦茨本人的已發(fā)表研究在證明結(jié)構(gòu)上直接相關(guān)，三個(gè)系統(tǒng)都給出了通過(guò)性答卷；第7題（組合拓?fù)洌┑拇鸢甘且粋€(gè)反例，四個(gè)系統(tǒng)都獨(dú)立找到了這個(gè)反例，分歧僅在于寫(xiě)作質(zhì)量。

相反，需要真正原創(chuàng)洞見(jiàn)、無(wú)法依靠文獻(xiàn)結(jié)構(gòu)轉(zhuǎn)譯的題目則普遍令A(yù)I遭遇困難。這與報(bào)告中另一個(gè)觀察相互印證，AI有時(shí)確實(shí)能給出與人類(lèi)解法截然不同的新穎證明（如第3、5、9題），但這類(lèi)成功并不穩(wěn)定，與之并存的是對(duì)大量證明關(guān)鍵步驟的遺漏或掩蓋。

First Proof項(xiàng)目并未就此停步。6月17日，該項(xiàng)目啟動(dòng)了面向公眾的社區(qū)實(shí)驗(yàn)，在開(kāi)放論壇上陸續(xù)發(fā)布一批規(guī)模較小的題目，預(yù)計(jì)一周后公布人類(lèi)答案，并組織參與者公開(kāi)交流各自使用的系統(tǒng)和方法。第三批正式測(cè)試計(jì)劃于2026年8月至10月進(jìn)行。

社區(qū)實(shí)驗(yàn)共有兩道題，感興趣的可以挑戰(zhàn)一下：
https://1stproof.org/assets/docs/batch2-community-week1.pdf

這場(chǎng)測(cè)試粉碎了關(guān)于AI將全面接管純數(shù)學(xué)研究的末日論，至少目前是這樣。測(cè)試表明，在當(dāng)前的技術(shù)范式下，AI 更適合扮演一個(gè)強(qiáng)大但不能做到100%可靠的科研助手（如在問(wèn)題3和問(wèn)題5中的創(chuàng)新點(diǎn)），而非一個(gè)能夠獨(dú)立提出深刻猜想、構(gòu)建理論框架的科研機(jī)器。

數(shù)學(xué)家亨利·龐加萊（Henri Poincaré）有一句名言：我們靠邏輯來(lái)證明，但要靠直覺(jué)來(lái)發(fā)明。這句話一語(yǔ)道破了數(shù)學(xué)乃至其他科學(xué)研究領(lǐng)域的本質(zhì)，而直覺(jué)與邏輯的分別，或許正是理解這次測(cè)試結(jié)果的鑰匙。

在邏輯執(zhí)行層面，AI已展示出相當(dāng)?shù)哪芰Γ袝r(shí)甚至能找到數(shù)學(xué)家沒(méi)有走過(guò)的證明路徑。但在直覺(jué)層面——識(shí)別哪個(gè)方向值得追逐，在最困難的環(huán)節(jié)做出決斷——人工智能與人類(lèi)之間的距離，仍清晰可見(jiàn)。

回到文章開(kāi)頭施瓦茨那道關(guān)于莫比烏斯紙帶的題目。AI在那道題上幾乎復(fù)制了他本人論文里逐行的論證，卻忘了寫(xiě)下他的名字。

這或許是一個(gè)意外恰當(dāng)?shù)碾[喻。AI此刻最擅長(zhǎng)的事，是在已經(jīng)存在的思想結(jié)構(gòu)里尋找捷徑、轉(zhuǎn)譯、復(fù)用，卻還沒(méi)有學(xué)會(huì)科學(xué)研究中最樸素的道理：一個(gè)想法是誰(shuí)先想到的，記得把這份貢獻(xiàn)還給誰(shuí)。

參考資料

[1] https://1stproof.org/index.html

[2] https://1stproof.org/documents/First_Proof_March_14_Announcement.pdf

[3] https://1stproof.org/assets/docs/report.pdf

[4] https://github.com/1stproof/batch-2/tree/main

[5] https://www.nature.com/articles/d41586-026-01888-9

[6] https://www.nature.com/articles/d41586-026-01651-0

[7] https://github.com/1stproof/batch-2/tree/main/batch-2-reviews

注：本文封面圖片來(lái)自版權(quán)圖庫(kù)，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛。

特 別 提 示

『返樸』提供按月檢索功能。關(guān)注公眾號(hào)，回復(fù)四位數(shù)組成的年份+月份，如“1903”，可獲取2019年3月的內(nèi)容目錄，以此類(lèi)推。

版權(quán)說(shuō)明：歡迎個(gè)人轉(zhuǎn)發(fā)，任何形式的媒體或機(jī)構(gòu)未經(jīng)授權(quán)，不得轉(zhuǎn)載和摘編。