多倫多大學揭露AI數學推理的"紙老虎"真相

這項由多倫多大學與加拿大向量研究所聯合開展的研究，以預印本形式發布于2026年3月，論文編號為arXiv:2604.08571。研究構建了一套名為"魯棒推理基準"（Robust Reasoning Benchmark，簡稱RRB）的測試框架，在AI數學推理領域揭示了一個令人深思的現象。

**那道"會做"的題，換個方式寫就不會了**

先說一個場景：你的朋友聲稱自己數學極好，能解各種競賽難題。于是你出了道題，他答對了。但你把這道題的字母全部倒過來寫，或者把題目里的句子順序打亂，他突然就茫然了——明明是同一道題，內容一個字沒變，只是格式變了，他就束手無策。

這正是多倫多大學的研究團隊在世界頂尖AI大模型身上發現的真實情況。這些模型在各大數學競賽基準上表現亮眼，但一旦研究人員改變題目的"外包裝"——不改數字、不改邏輯、不改答案，只是換個排列方式——部分模型的準確率直接崩塌，甚至跌到零分。

這項研究的核心價值在于，它不是在問"AI能不能解難題"，而是在問"AI解題靠的是真正的理解，還是靠認出熟悉的格式"。這兩個問題的區別，決定了我們能不能真的信任AI去處理現實世界中的復雜任務。

**一、研究團隊設計了一套"同一道題、十四種變體"的考卷**

研究團隊的核心思路，用一句話概括就是：內容不變，形式變。他們在知名數學競賽數據集AIME 2024上，設計了14種純粹改變文字排列方式、但完全不改動數學內容的變換手法，并把這套考卷命名為魯棒推理基準。

這14種變換手法被歸入四大類別，每一類針對的都是模型處理文字信息時的不同弱點。

第一大類叫做"語義與詞匯替換"，包含三種手法。其一是"雙重否定"，即在每個形容詞和數值前面加上"不不"（not not），比如"最小的素數"變成"不不最小的不不素數"。邏輯上雙重否定等于原意，任何理解語言的人都會自動忽略，但模型未必能做到。其二是"反義替換"，把題目中的關鍵詞換成反義詞，比如"最小"換成"最大"，"整除"換成"不整除"，但同時在題目中提供一個明確的"定義塊"，告訴模型每個反義詞實際代表什么意思。其三是"包裝器替換"，把所有變量和詞匯套上無意義的括號，比如"p"變成"3(p)"，"最小"變成"2(最小)"，同樣在題目中附上解碼說明。這三種變換對人類來說幾乎毫無影響——只要仔細看一眼定義，就能還原原題——但對模型來說卻可能是災難。

第二大類叫做"語境過載與飽和"，包含四種手法。其一是三種粒度的"交錯語境"：研究人員把兩道完全不同的數學題的文字交叉混合在一起，要求模型只解其中一道。交錯的粒度分為行級（每隔一行換一道題）、詞級（每隔一個詞換一道題）和字符級（每隔一個字母換一道題）。其二是"語境飽和"，在正式題目之前，先塞入大量由AI生成的數學問題和解題過程，占滿模型75%的上下文窗口，然后再出真正要解的題。這類變換測試的是：當信息噪聲充斥周圍時，模型能否仍然專注找到真正需要解答的內容。

第三大類叫做"句法扭曲"，包含三種手法。句子倒序是指把題目中所有句子的順序顛倒，最后一句變成第一句。詞語倒序是指把題目中所有詞語的順序顛倒。符號倒序則是把每個單詞內部的字母反寫，比如"prime"變成"emirp"。這些變換測試的是：模型在面對"字面上看起來完全不認識"的文字時，能否通過推理還原出原本的含義。

第四大類叫做"視覺空間編碼"，包含四種手法，全部涉及把原本線性的文字映射到二維空間里。"柵欄密碼"把文字按鋸齒形排布在多行軌道上，空位用點號填充。"矩形邊框"把整道題的文字沿著一個矩形的四條邊順時針書寫，中間填滿點號。"縱向蛇形"把文字按列蛇形寫入網格，第一列從上到下，第二列從下到上，如此交替。"橫向蛇形"則是按行蛇形寫入網格，第一行從左到右，第二行從右到左。這類變換最直觀地體現了AI的本質局限——它們是從左到右、一維線性處理文字的機器，當文字被排列成二維空間時，模型需要額外能力才能"讀懂"。

對于每一種變換，研究團隊都遵循了幾個嚴格原則。首先，信息量保持不變，不增加任何額外約束，不刪除任何必要條件，不引入任何歧義。其次，每種變換都是可逆的，研究人員用Python腳本驗證了每種變換都能精確還原到原題。第三，每種變換對人類來說都應是認知上微不足道的——一個人拿著紙筆，看完解碼說明，應該能毫無障礙地還原題目并正常求解。第四，解碼規則被明確以純文字形式告知模型，要求模型先解碼、再解題。也就是說，研究團隊給了模型充分的"作弊條"，失敗就是純粹的失敗，沒有借口。

**二、測試了八位"考生"，差距觸目驚心**

研究團隊選取了八個當今最受關注的AI大模型參與測試，其中五個是開源模型，三個是商業閉源模型。開源陣營包括Qwen3-30B-A3B、Nemotron-7B、Nemotron-32B、DeepSeek-R1-Distill-Llama-70B（簡稱DSR1-Llama-70B）以及GPT-OSS-120B。閉源陣營則是Gemini 3.1 Pro、GPT-5.4和Claude Opus 4.6。每道題都進行多次獨立測試，閉源模型做8遍，開源模型做16遍，以確保結果的統計可靠性。

在未做任何改動的原始題目上，所有模型表現都相當不錯。Gemini 3.1 Pro、GPT-5.4和Claude Opus 4.6的正確率均在96%到99%之間，GPT-OSS-120B達到78%，Qwen3-30B-A3B達到89%，Nemotron-32B達到81%，Nemotron-7B達到77%，DSR1-Llama-70B達到66%。這些成績放在競賽數學領域已經相當亮眼。

然而，當14種變換登場，畫風急轉直下。

最能抗壓的是GPT-5.4，平均正確率僅下降了7%，幾乎是全場最穩定的表現。Gemini 3.1 Pro緊隨其后，平均下降10%。這兩個模型展現出了相當強的魯棒性——即便面對奇怪的格式，它們在大多數情況下仍能識別出題目的數學本質。

然而，開源模型的表現就令人瞠目結舌了。Qwen3-30B-A3B平均正確率下降47%，Nemotron-32B下降40%，DSR1-Llama-70B下降45%，而Nemotron-7B則遭遇了最慘烈的崩潰，平均正確率下降55%。55%意味著什么？意味著在大量測試場景下，這些模型從原本77%的正確率跌落到接近于隨機亂猜的水平，部分變換下正確率直接清零。

具體看某些變換的數據更加觸目驚心。在"字符級交錯"這種把兩道題的每個字母交叉混合的測試中，Qwen3的正確率從89%跌到0%，Nemotron-32B從81%跌到0%，DSR1-Llama-70B從66%跌到0%，Nemotron-7B從77%跌到0%。GPT-OSS-120B同樣跌到1%，幾近于零。而這道"題"的數學內容完全沒變，只是每個字母被打散后與另一道題的字母交錯排列——旁邊還附有清晰的解碼說明。

在"矩形邊框"這種把題目文字沿矩形邊框書寫的測試中，Qwen3正確率跌到0%，Nemotron-32B跌到0%，Nemotron-7B跌到0%，DSR1-Llama-70B跌到0%，GPT-OSS-120B也只剩0%。Gemini 3.1 Pro在這里得到了82%，GPT-5.4得到了72%，算是比較頑強地保住了基本能力。

Claude Opus 4.6的情況則別具一格。它的平均正確率下降幅度達到了41.7%，但原因與其他模型完全不同。研究團隊仔細分析數據后發現，Claude并不是因為"不會解題"而失敗，而是因為它把大量測試題目直接拒絕處理了。Claude的安全過濾系統顯然把這些涉及符號操作的奇怪格式題目識別成了"可疑的提示詞注入"或"越獄攻擊"，然后直接拒絕回答。這是當前AI對齊策略的一個意外副作用：為了防止被濫用，模型對任何"格式異常"的輸入都變得過于謹慎，連正常的學術測試題都會拒之門外。

**三、為什么開源模型這么脆弱？研究揭示了兩個根本原因**

研究團隊從兩個角度解釋了這種差距的成因。

第一個原因是分詞機制的先天局限。現代語言模型在處理文字時，并不是一個字一個字地讀，而是把常見的詞語組合打包成一個"詞元"（token）來處理——這種機制叫做字節對編碼（Byte-Pair Encoding，簡稱BPE）。舉個例子，"prime number"這個組合在模型眼里可能是一個整體單元，就像中文里的"素數"是一個詞一樣。這種打包機制在正常閱讀時非常高效，但一旦文字被打散成單個字母——比如字符級交錯或柵欄密碼——這些預先打包好的"詞包"就全部失效了，模型面對的是一堆完全陌生的碎片，完全無法重新拼裝出有意義的語義。Gemini和GPT-5.4似乎在更廣泛的訓練過程中接觸過更多類型的文字格式，因此具備更強的"碎片重組"能力；而許多開源模型在這方面明顯訓練不足。

第二個原因是自回歸生成機制的方向性偏見。所有標準的語言模型都是從左到右逐詞生成答案的，這是它們的核心工作方式。當文字被寫入二維網格時，模型需要按照非線性的順序讀取字符——縱向蛇形需要先讀完第一列，再反向讀第二列，再正向讀第三列。這與模型"從左到右"的天然閱讀習慣是對抗性的。測試數據清晰地反映了這一點：橫向蛇形（每行交替正反方向）和縱向蛇形（每列交替上下方向）對模型造成的困難程度截然不同。Gemini 3.1 Pro在橫向蛇形上得到了98%的高分，但在縱向蛇形上跌到了65%。Qwen3在橫向蛇形上勉強得了16%，在縱向蛇形上則跌到接近1%。同樣是"同一套文字，只是讀取方向不同"，差異如此巨大，說明模型對一維線性閱讀的依賴根深蒂固，在處理二維空間排列時舉步維艱。

**四、"腦子被前面的題占滿了"——一個更深的隱患**

發現格式魯棒性問題之后，研究團隊還追問了一個更深的問題：當模型在解題過程中產生大量中間推理文字時，這些文字會不會反過來干擾模型后續的推理能力？

換句話說，模型的"工作記憶"——它在解題過程中暫時保存各種中間步驟的能力——會不會被自己之前寫下的內容"污染"？

為了測試這個問題，研究團隊設計了一個"順序認知過載"實驗。他們在一個對話窗口里，要求模型依次解答多道獨立的AIME競賽題，每道題沒有任何格式變換，都是原汁原味的正常題目。關鍵之處在于，研究團隊只記錄模型對最后一道題的解答正確率，觀察隨著前面完成的題目越來越多，這個正確率是否會下降。

結果如圖所示：對于Gemini 3.1 Pro，讓它先做1道題再做目標題，正確率幾乎沒變，先做4道題再做，仍然只下降了0.4%。GPT-5.4同樣堅挺，下降幅度僅為1.2%。然而，Claude Opus 4.6在做完4道前置題后，目標題正確率下降了13.8%。GPT-OSS-120B下降了10.6%。Qwen3-30B-A3B下降了6.7%，Nemotron-32B下降了7.1%，Nemotron-7B下降了7.1%，DSR1-Llama-70B也下降了7.1%。

這些下降幅度看起來數字不大，但背后的含義相當嚴重。這些前置題目是完全獨立的，與目標題毫無關聯，而且都是正常格式的題目，不存在任何干擾信息。模型完全有能力識別"這些題已經做完了，現在處理新題"。然而，事實是，前面做題時產生的大量推理文字——那些中間計算過程、驗證步驟、反思過程——留在了上下文窗口里，對后續推理造成了無法消除的干擾。

更令人注意的是，這種下降在參數規模上沒有明顯的規律性。Nemotron-7B（70億參數）、Nemotron-32B（320億參數）和GPT-OSS-120B（1200億參數）都經歷了類似幅度的下降。這意味著單純把模型做大，并不能解決這個問題——這是所有使用標準稠密注意力機制的模型共同面臨的結構性弱點。

研究團隊把這個現象命名為"查詢內注意力稀釋"（Intra-Query Attention Dilution）。這個名字的意思是：在同一次對話請求內部，模型對當前任務的注意力被之前積累的內容稀釋了。注意力機制是語言模型的核心處理機制，它決定了模型在生成每個新詞時，應該"看"上文哪些內容、每個內容看多少。當上文里積累了大量與當前任務無關的內容，注意力就不可避免地被分散，就像一個人在嘈雜環境中很難集中精神思考復雜問題一樣。

**五、"認知血拼"：模型越努力越失敗**

研究團隊還發現了一個令人啼笑皆非的"努力反效果"現象，他們將其稱為"認知血拼"（Cognitive Thrashing）。

在研究推理效率這一指標時，團隊統計了每道題上模型輸出了多少詞元（token，可以理解為大約等于詞語數量）。正常情況下，一道題的解題過程可能需要幾千個詞元。然而，在面對視覺編碼類任務時，Nemotron-7B解"矩形邊框"題平均輸出了27000個詞元，最終正確率是0%。Qwen3-30B-A3B解"縱向蛇形"題平均輸出了13000個詞元，正確率只有1%。

這意味著這些模型并沒有"直接放棄"，而是進入了一種瘋狂的循環狀態。它們不斷嘗試不同的解讀方式，寫了又推翻，推翻了又重寫，產生了海量的文字，卻始終無法找到正確的方向，最后耗盡了允許的最大詞元數量，也沒有給出正確答案。這種狀態正如一個人拿到一道看不懂的題，不斷在草稿紙上亂涂，涂了幾十頁還沒找到思路，最終時間到了只能交白卷。

形成對比的是Gemini 3.1 Pro和GPT-5.4，它們在大多數任務上的輸出長度保持在1000詞元以內，正確率卻穩定在高位。這說明真正"理解"了編碼規則的模型，能夠高效地解碼并推進解題，而"不理解"的模型則陷入了資源浪費的無效循環。

**六、閉源頂模背后的秘密：顯式任務邊界**

研究團隊在開發測試代碼庫時，使用了谷歌的Antigravity智能體框架，并在使用過程中意外觀察到了一些內部機制的痕跡——這些后來被收錄在論文附錄中，作為支持研究結論的旁證。

在Antigravity的工作日志中，研究人員看到了一個名為`task_boundary_tool`的機制被反復調用。這個工具的作用正是在每個任務完成后，明確標記一個"任務邊界"，讓系統在進入下一個任務時能夠清晰地區分"之前的工作"和"現在要做的事"。在一段泄露的內部推理日志中，系統甚至自言自語地寫道："等等，系統消息明確說了，如果連續調用5個工具而不調用task_boundary_tool，就會有問題。"

這個細節意義重大。它說明業界頂尖的AI框架已經意識到，模型在處理長序列任務時會出現注意力漂移，而他們的應對方式是在系統層面強制插入顯式的上下文重置機制。研究團隊認為，Gemini 3.1 Pro和GPT-5.4之所以在這項測試中表現出比開源模型更強的魯棒性，很可能正是因為它們在訓練或系統設計層面融入了類似的"工作記憶隔離"機制。

**七、由此引出的根本問題：思維應該切成多大一塊？**

這項研究的最終落腳點，是一個目前還沒有答案的深刻問題：如果解決"注意力稀釋"問題需要把復雜推理任務切分成若干獨立子任務、并在每個子任務之間插入上下文重置，那么這個子任務應該切多細？

切得不夠細，模型仍會在一個過長的推理鏈中被早期內容污染；切得過細，模型又需要頻繁"整理"自己的思路、重新輸入上下文摘要，不僅計算成本劇增，而且過于零碎的切分可能破壞連續推理所需要的隱性信息流。

研究團隊認為，對于每個模型來說，理論上存在一個"原子推理單元"——也就是在不發生注意力污染的前提下，單次前向傳播能夠可靠處理的最大信息量。這個量如何隨模型參數規模、網絡深度、任務類型變化，目前完全未知。而設計能夠"自動判斷自身最優任務切割粒度"的下一代推理架構，被研究團隊視為一個重要的開放性研究方向。

歸根結底，這項研究用一個簡單卻有力的手法——"內容不變，格式變"——戳穿了AI數學推理領域的一個重要泡沫。不少模型的高分，與其說是真正理解了數學邏輯，不如說是高度適應了標準格式的數學題。一旦"套殼"被改變，哪怕內核毫發未損，很多模型就陷入困境，有的干脆直接崩潰到零分。

這對現實應用而言是一個警示。當我們考慮把AI用于真正的推理任務——比如法律文件分析、醫學報告解讀、工程計算驗證——現實中的文檔往往格式各異、充滿噪聲，遠比整潔的競賽題混亂得多。如果模型連"字母順序被倒過來"這種簡單變換都應對不了，在真實世界中的可靠性就值得重新審視。

從長遠來看，這項研究指向了AI架構設計的一個基本議題：如何給模型添加真正意義上的"工作記憶隔離"能力，讓它在每個推理步驟之間能夠清晰地區分"已知的"和"正在處理的"，就像人類大腦能夠在復雜推理中保持清醒的任務焦點一樣。有興趣深入了解原始研究的讀者，可以通過論文編號arXiv:2604.08571查閱完整論文，全文公開發布，無需付費。

Q&A

Q1：魯棒推理基準（RRB）測試的14種變換方法具體有哪些？

A：14種變換分為四大類。語義類包括雙重否定、反義替換和包裝器替換。語境類包括行級、詞級、字符級三種粒度的交錯語境，以及在題目前塞入大量無關數學內容的語境飽和。句法類包括句子倒序、詞語倒序和符號倒序。視覺空間類包括柵欄密碼、矩形邊框、縱向蛇形和橫向蛇形四種將文字排入二維網格的編碼方式。所有變換都不改變題目的數學內容和答案。

Q2：開源模型在魯棒推理基準上的表現為何比GPT-5.4和Gemini 3.1 Pro差這么多？

A：研究團隊認為有兩個根本原因。首先是分詞機制的問題，開源模型依賴字節對編碼將常見詞組打包處理，一旦文字被打散為單個字符，這套機制完全失效，模型無法重組含義。其次是方向性偏見，所有標準語言模型都是從左到右一維處理文字的，二維空間排列完全違反了這一天然閱讀方式，開源模型在此類任務上缺乏足夠的訓練經驗。

Q3：查詢內注意力稀釋是什么意思，對實際使用有何影響？

A：查詢內注意力稀釋是指在同一次對話中，模型完成前面任務留下的大量推理文字會干擾它處理后續任務的能力。測試發現，讓模型先完成幾道數學題再解目標題，即使題目完全獨立、格式正常，目標題正確率仍會下降6%到14%不等。對實際使用的影響是：當你要求AI在一次長對話中完成多個復雜推理任務時，越靠后的任務越容易出錯，尤其是使用開源模型時這一問題更為突出。