波士頓大學揭示：頂尖AI視覺模型存在方向變化圖像識別缺陷

這項由波士頓大學領導的研究以預印本形式發布于2026年4月，論文編號為arXiv:2604.01848，有興趣深入了解的讀者可以通過該編號查詢完整論文。

當我們把一張照片旋轉90度，人類一眼就能認出這還是同一張圖。但如果換成當今最先進的AI視覺語言模型來判斷，情況會怎樣？波士頓大學的研究團隊帶著這個看似簡單的問題，做了一系列系統性實驗，結果讓人大跌眼鏡——那些能夠描述復雜場景、識別各種物體、甚至在醫療診斷領域大展身手的頂級AI模型，在面對這道"小學生水平"的幾何題時，表現得像是從未接受過任何幾何教育的學生。

為了講清楚這件事，我們可以用一個偵探辦案的比喻來貫穿整篇文章。現實世界的偵探在辨認嫌疑人時，無論對方換了發型、戴了帽子，甚至是從監控攝像頭的不同角度被拍到，都應該能認出同一個人。而這項研究發現，當前的AI"偵探"有一個致命的破綻：一旦線索換了角度或者縮小了尺寸，它就再也認不出來了——但前提是這個線索必須是它不熟悉的符號。如果換成它見過無數次的英文字母或日常照片，它又立刻恢復了"神探"狀態。這說明AI的"破案能力"并非來自真正的推理，而是來自海量的"案例記憶"。

一、AI視覺模型真的會"看圖"嗎？先從一個陌生文字實驗說起

假設你面前擺著一張寫著格拉哥里文（一種古老的斯拉夫字母，絕大多數現代人從未見過）的紙。現在有人把這張紙旋轉了90度，問你："這兩張紙上寫的是同一個字嗎？"你沒法靠"認字"來回答，因為你根本不認識這個字。你只能仔細比對兩個圖形的形狀、曲線、筆畫結構——純粹靠幾何直覺來判斷。

現在換一種情況：同樣的問題，但紙上寫的是英文字母"C"旋轉90度之后的樣子。這時候你幾乎不需要思考，大腦直接告訴你：這是同一個字母"C"，只是轉了個方向。

這就是這項研究的核心洞察。真正具備幾何推理能力的智能體，面對熟悉和陌生的符號時，應該表現出同樣的判斷準確率。因為判斷兩個圖形是否為旋轉關系，本質上是一道純粹的幾何題，跟你認不認識這個符號沒有任何關系。

波士頓大學的研究團隊正是以這個邏輯為出發點，設計了一套精心的"偵查實驗"。他們選取了從手寫符號到真實照片的多種圖像，系統性地測試市面上最強的幾款AI視覺語言模型——包括谷歌的Gemini-2.5-Pro、OpenAI的GPT-5.2，以及開源模型Qwen2.5-VL和Qwen3-VL的多個尺寸版本——看看這些AI"偵探"是否真的擁有可靠的幾何推理能力。

二、實驗是怎么設計的？一套從"陌生字符"到"真實照片"的梯度測試

研究團隊構建了一套層層遞進的測試框架，可以理解為一系列難度逐漸變化的"偵查任務"，從最純粹的幾何識別到語義豐富的圖像識別，覆蓋了視覺內容的完整光譜。

第一類測試材料是Omniglot數據集，包含來自全球50種不同文字體系的手寫字符，總共涉及1623個不同的字符類別。這個數據集之所以成為研究的核心"案發現場"，原因有兩個：其一，它同時包含了研究者熟悉的字母（如希臘文、拉丁文）和極為罕見的字符（如塔加路文、格拉哥里文），可以用來區分"靠記憶認字"和"靠幾何推理判斷"這兩種截然不同的策略；其二，這些圖像是黑色筆畫加白色背景的極簡風格，沒有任何干擾性的紋理、顏色或背景內容，讓幾何特征一覽無余。

第二類是Times New Roman字體的英文字母，即電腦上最常見的襯線字體打出來的26個大寫字母和26個小寫字母，共52個字符。這類材料代表了AI模型在互聯網預訓練數據中見過無數遍的內容，是"最熟悉的線索"。

第三類是手寫英文字符，同樣是英文字母，但不再是標準字體，而是帶有個人書寫風格的手寫版本，字形有變化但整體依然熟悉。

第四類是PACS數據集，包含狗、大象、長頸鹿、馬、人、吉他、房子這七種日常物體，每種物體分別以真實照片、藝術油畫、卡通畫、素描速寫四種風格呈現，共800張圖像。這套材料代表了語義內容極其豐富的一端——你一眼就能認出畫的是什么，AI模型也一樣。

針對這些材料，研究團隊設計了三類核心任務。旋轉識別任務要求模型判斷兩張圖像是否為旋轉關系，提問方式是"如果我旋轉第一張圖，能得到第二張圖嗎？"。縮放識別任務要求模型忽略尺寸差異，判斷兩張圖像是否描繪了同一個字符或物體。身份匹配任務則是最基礎的一項：給兩張完全相同的圖像，問模型它們是不是同一個東西。

每次測試都包含正例（兩張圖確實是同一內容的變換版本）和負例（兩張圖是完全不同的內容），由此可以計算出模型在"說是"和"說不是"這兩個方向上的準確率，從而判斷它是真的在推理，還是只在猜測。

三、視覺編碼器本身還算靠譜，但接上語言模塊之后就"斷路"了

在把AI模型整體測試之前，研究團隊先單獨審查了AI系統的視覺部分——也就是負責"看圖"的視覺編碼器。這個環節有點像偵探案件中的物證檢驗：在送上法庭之前，先看看物證本身有沒有問題。

研究者分別測試了CLIP、DINOv2、SigLIP和Qwen2.5-VL-7B這四款主流的視覺編碼器，外加Stable Diffusion v2.1的圖像特征提取能力。測試方法是將一張圖像和它的旋轉版本分別送入編碼器，提取出各自的"特征向量"（可以理解為編碼器對圖像內容的數學摘要），然后計算兩個摘要之間的相似度。

結果顯示，當旋轉角度較小（0到30度左右）時，所有編碼器提取出的兩個特征摘要都相當接近，說明它們在一定程度上"感覺"到這是同一張圖的變體。隨著旋轉角度增大，相似度逐漸下降，但不同編碼器的下降速度差異顯著。DINOv2的相似度下降最為陡峭，尤其是面對Times New Roman字體時；而SigLIP和Qwen2.5-VL-7B的視覺編碼器則相對"更淡定"，在較大旋轉角度下仍能保持較高的相似度。

這個發現說明，視覺編碼器本身并非完全"不懂旋轉"，它的特征空間里其實保留了一定的旋轉相關信息。然而，當這些視覺特征被傳遞給語言解碼器（負責最終做出判斷、輸出答案的部分）之后，這些信息卻無法有效轉化為正確的推理結論。研究團隊通過測試Idefics2模型（它使用了與前述測試相同的SigLIP視覺編碼器，但接上了語言解碼器）來驗證這一點：盡管SigLIP編碼器對旋轉字符對保持了較高的特征相似度，Idefics2整體的準確率卻只有50%到66%，基本等同于隨機猜測。更關鍵的是，它的錯誤模式非常極端——傾向于頻繁地回答"是"，導致真陽性率雖高，但誤報率極高，特異性（拒絕不相關圖對的能力）幾乎為零。

這就像一個偵探的眼睛確實看到了指紋，但大腦卻無法把這枚指紋和案件正確關聯起來，最終得出的結論還是亂猜一通。

四、旋轉任務：模型幾乎都在系統性地回答"不是"，而不是真的在推理

旋轉識別測試的完整結果，可以用一句話來概括：所有模型都有強烈的"回避"傾向——面對旋轉圖像對時，它們傾向于一律回答"不是旋轉版本"，哪怕事實上確實是的。

從數據來看，這種傾向極為一致。Qwen2.5-VL-7B在Times New Roman字體上的真陽性率（即正確識別旋轉圖像對的比例）只有區區2.14%，在Omniglot字符上也只有1.98%。Qwen3-VL-8B的情況更糟，Times New Roman上的真陽性率僅為0.21%，手寫英文上甚至是0%。相比之下，這兩款模型在"拒絕不相關圖對"這件事上卻做得極好，拒絕率幾乎都在99%以上。換句話說，它們的策略其實很簡單：無論看到什么，都說"不是"。這種策略在負例上屢屢得分，卻在正例上徹底失敗，導致整體準確率淪為接近隨機水平的50%。

閉源的高端模型表現稍好，但問題依然明顯。GPT-5.2在Times New Roman上的真陽性率為53.42%，在Omniglot上為70.19%；Gemini-2.5-Pro在Times New Roman上達到78.63%，在Omniglot上為55.10%。這些數字聽起來比7B的模型好得多，但別忘了，旋轉識別本該是一道確定性的幾何題，不存在模糊地帶，理想中的準確率應該接近100%。

在PACS真實圖像上，模型的表現出現了有趣的分化。Gemini-2.5-Pro在真實照片上的真陽性率達到85.33%，在卡通畫上為80.67%，在藝術油畫上為88.33%。然而，當圖像換成素描風格時，準確率跌至73.17%。GPT-5.2在照片和油畫上接近完美（99%），在卡通畫上為96.33%，在素描上降至84.83%。開源模型的差距則更為懸殊：Qwen2.5-VL-32B在照片上的真陽性率為55.33%，但在素描上只有14.50%；Qwen3-VL-30B從照片的29.17%狂跌至素描的5.67%。

這種"圖像越抽象、表現越差"的規律，貫穿了所有模型和所有測試場景。語義內容越豐富，模型越能"蒙混過關"；語義內容越稀少，模型越是無從下手。

五、提問方式不同，答案差距驚人：模型其實是在"對名字下判斷"

研究團隊還做了一項特別揭示本質的對比實驗，用三種不同的提問方式在相同的圖像對上分別提問，結果證明了AI模型的"破案能力"在很大程度上依賴于問題本身的語義框架。

第一種提問方式是物體識別，要求模型從七個選項中說出圖中的物體叫什么名字。第二種是物體驗證，問模型"這兩張圖里的東西是不是[某個名稱]的物體？"，只需回答是或否。第三種才是旋轉識別，問模型"如果旋轉第一張圖，能得到第二張圖嗎？"

測試使用相同的圖像對，正負例設置也完全一致。結果顯示，幾乎所有模型在物體識別和物體驗證這兩類任務上都接近滿分：Qwen2.5-VL-7B在照片上的物體識別準確率100%，物體驗證準確率98.75%；Qwen3-VL-8B同樣在這兩項上達到100%和99.25%。然而，這兩款模型的旋轉識別準確率分別只有59.42%和50.25%——后者等于隨機猜測。

簡單來說，這就像同一個偵探能準確說出"嫌疑人叫張三，職業是廚師"，但當被問到"如果從另一個角度拍，照片里還是張三嗎？"時卻完全蒙圈了。這個對比清晰地說明，模型擅長的是"叫什么名字"的記憶性任務，而非"這是不是同一個東西的幾何變換"的推理性任務。

唯一的例外是GPT-5.2，它在旋轉識別上的表現同樣接近滿分，與物體識別保持在同一水平。但即便是這款頂級模型，當圖像換成Omniglot的陌生字符時，準確率仍然顯著下降。

六、放大模型規模有用嗎？換個說法有用嗎？答案都是"有限得很"

面對如此明顯的能力缺口，一個自然的問題是：只要把模型做得足夠大，或者把問題問得足夠聰明，是不是就能解決？研究團隊專門驗證了這兩個方向，結論是：有改善，但治標不治本。

在模型規模上，研究者對比了Qwen2.5-VL系列的7B和32B版本，以及Qwen3-VL系列的8B和30B版本。確實，規模更大的模型在大多數場景下表現更好——比如手寫英文的旋轉識別，從7B的50.85%提升到32B的62.50%。但"提升"和"解決"是兩回事。就算是32B的模型，在素描圖像上的旋轉識別真陽性率也只有14.50%，依然遠未達到可用水平。更關鍵的是，無論模型規模如何，這種"語義越稀少、表現越差"的核心規律始終沒有改變。

在提問方式上，研究者進一步測試了"提供少量示例"（即in-context learning，給模型看兩個有標注的正負例，然后再問問題）和"旋轉網格"（把同一個字符的0度、90度、180度、270度四個旋轉版本拼成一張參考圖，放在問題前面作為視覺說明）這兩種策略。

少量示例確實有所幫助，比如Qwen2.5-VL-32B在馬拉雅拉姆文字（Malayalam）上的真陽性率從6.38%提升到51.06%，GPT-5.2從34.04%提升到85.11%。但這種改善往往以犧牲另一項能力為代價——模型開始更頻繁地"說是"，導致對不相關圖像對的誤報率顯著上升。比如Qwen2.5-VL-32B在馬拉雅拉姆文字上的特異性從97.87%驟降至65.96%，說明它變得"過于熱情"，反而容易把不相關的圖對錯誤地認定為旋轉版本。

旋轉網格策略的效果方向類似，但副作用更大。Qwen3-VL-8B在馬拉雅拉姆文字上的真陽性率從0%提升到65.96%，但特異性同時從100%跌到65.96%；Qwen3-VL-30B的真陽性率升到87.23%，但特異性跌至23.40%——相當于每四次判斷中有三次誤報。即便是GPT-5.2，真陽性率提升到97.87%的同時，特異性也從93.62%降到72.34%。

這兩種方法都像是給模型打了一針過量的"信心激素"：讓它不再那么保守地一律說不，但也讓它失去了辨別真假的精準度。正真穩健的幾何推理能力并未因此建立起來。

七、身份匹配和縮放任務：換個側面，問題依然存在

除了旋轉，研究團隊還測試了兩個在邏輯上更簡單的任務：給兩張完全一模一樣的圖像，問模型它們是否是同一個字符；以及給一張正常大小的圖和一張縮小版的圖，問模型它們是否描繪的是同一個字符。

身份匹配任務聽起來是最沒有難度的——兩張圖完全相同，怎么可能判斷錯？然而，在Omniglot的陌生字符面前，Qwen2.5-VL-7B的真陽性率只有62.78%，也就是說它有將近四成的概率會把兩張完全相同的圖像判斷為"不同的字符"。其中出錯的字符包括布萊葉盲文、孟加拉文、亞美尼亞文和N'Ko文字。這個結果從根本上說明，模型在面對陌生符號時甚至沒有基礎的圖像比對能力，它依賴的是對字符"名字"或"類別"的記憶，而不是對圖形本身的觀察。對于Times New Roman和手寫英文，所有模型都達到了接近滿分，進一步印證了這一判斷。

縮放任務上，Times New Roman依然接近滿分（各模型均超過98%），手寫英文也在95%以上。Omniglot則再次成為分水嶺，整體準確率在74%到82%之間。更細致的分析顯示，對于Qwen2.5-VL-7B，希臘文字符（相對熟悉）的真陽性率達到70.83%，而布萊葉盲文（極為陌生）的真陽性率只有3.85%——盡管拒絕不相關字符對的特異性依然接近100%。研究者還驗證了視覺復雜度（用周長平方除以面積計算的"周界復雜度"指標）與表現之間的關聯，發現兩者的皮爾遜相關系數僅為-0.18，幾乎沒有線性關系。換句話說，字符難看不難看、復雜不復雜，并不是決定模型能否識別的關鍵；關鍵仍然是"熟不熟悉"。

八、思維鏈追蹤：AI在熟悉符號和陌生符號上的"破案過程"截然不同

研究團隊還做了一件很有意思的事：分析Gemini-2.5-Pro在回答旋轉問題時的內部思考過程（即"思維鏈"，模型在給出答案之前會先輸出一段推理步驟）。這就像是給偵探的辦案筆記做對比分析。

當面對Times New Roman的字母"C"和它旋轉90度后的版本時，Gemini-2.5-Pro的思維鏈是這樣的：它首先識別出兩張圖都是字母"C"，然后核對襯線細節和筆畫粗細，最后確認這就是90度旋轉的結果，給出"是"的答案。整個過程的順序是：先認出字母，再確認旋轉關系。

然而，面對古吉拉特文（Omniglot中的一種字符）時，思維鏈的邏輯完全不同。模型首先嘗試分析字符的結構，逐筆追蹤線條，然后測試各種旋轉角度，最終找不到匹配，判斷兩個字符"可能是不同的"，給出"否"的答案——而實際上這兩個字符確實是旋轉關系。

這個對比非常說明問題。對于熟悉字符，模型走的是"先識別語義、再驗證幾何"的捷徑；對于陌生字符，模型走的是"純幾何分析"的路徑，但幾何推理能力又不夠強，最終失敗。這正是研究團隊的核心論點：模型看似具備的"幾何理解"，其實是語義識別的副產品，一旦失去語義錨點，這種能力就土崩瓦解。

九、數據熟悉度的影響：同樣是Omniglot，拉丁文和格拉哥里文的差距有多大

Omniglot數據集包含的50種字符系統中，有些是在英語互聯網訓練數據中頻繁出現的（如希臘文、拉丁文），也有些是極為罕見的（如格拉哥里文、Tengwar虛構語言文字、布萊葉盲文）。研究團隊專門分析了模型在不同熟悉度的文字上的表現差異。

在旋轉識別任務中，馬拉雅拉姆文字（南印度常用文字，AI預訓練數據中有一定數量）被歸類為"頂級表現"組，布萊葉盲文被歸類為"底部表現"組，Tengwar（托爾金創造的虛構文字）被歸類為"中等表現"組。對于Gemini-2.5-Pro，馬拉雅拉姆文字的真陽性率為38.30%，Tengwar為32%，布萊葉盲文為50%（注意此處布萊葉盲文的偶然表現較好，但整體規律在其他模型上依然成立）。

在縮放任務上，同一模型的差異更為顯著：希臘文的真陽性率為70.83%，而布萊葉盲文僅為3.85%。這種差距無法用字符的幾何復雜度來解釋（前面已經驗證了復雜度與表現幾乎無關），唯一合理的解釋就是：模型見過的這種字符越多，就越能通過"認字"而非"推理"來完成任務。

值得一提的是，PACS素描和Omniglot字符之間的對比也印證了這一點。GPT-5.2在PACS素描上的真陽性率為84.83%，但在Omniglot字符上只有70.19%。PACS素描雖然是簡筆畫，但描繪的是狗、吉他這類AI見過無數遍的日常物體，因此語義線索依然有效。Omniglot的陌生字符則完全沒有這種支撐，于是表現更差。

說到底，這項研究揭示的是一個當前AI技術中被長期忽視的基礎性裂縫。我們現在有能力訓練出在標準測試中得高分的AI視覺模型，它們能識別貓狗、描述風景、甚至分析醫學圖像。但這些能力的根基，在相當程度上是"見過就會"的記憶，而非"從原理出發"的推理。一旦遇到沒見過的符號，或者需要在不借助語義線索的情況下純粹判斷幾何關系，這些模型就會暴露出與其"名氣"嚴重不符的短板。

這個問題為什么值得關注？因為AI視覺模型正在被越來越廣泛地部署于機器人控制、自動駕駛、工業檢測等需要可靠空間感知的領域。在這些應用中，系統必須能夠無論從哪個角度、哪種尺寸來觀察物體，都能準確判斷它是什么、它與周圍環境是什么關系。如果AI的"幾何感"本質上是語義記憶的副產品，那么一旦遇到訓練數據中沒有出現過的物體或場景，系統就可能做出危險的錯誤判斷。

研究團隊指出，單純靠擴大模型規模或優化提示詞，并不能從根本上解決這個問題。未來需要的是架構層面的創新——讓模型在設計上就具備對旋轉、縮放等幾何變換的內在理解，而不是完全依賴從訓練數據中"碰巧"學到的統計模式。正如一個合格的偵探不能只靠"檔案記憶"辦案，還需要真正掌握物證分析、邏輯推演的硬本領。

有興趣深入了解實驗細節和完整數據的讀者，可以通過arXiv編號2604.01848查閱這篇由波士頓大學發布的完整論文。

Q&A

Q1：視覺語言模型在旋轉任務上失敗的根本原因是什么？

A：研究發現，視覺語言模型在旋轉任務上的"成功"其實依賴語義記憶，而非真正的幾何推理。當模型面對它熟悉的符號（如英文字母）時，它先"認出"這個符號的名字，再順帶確認旋轉關系，給出正確答案。但面對陌生字符時，語義記憶失效，而模型本身缺乏獨立的幾何推理能力，于是就陷入了幾乎隨機猜測的狀態。

Q2：Gemini-2.5-Pro和GPT-5.2這類頂級模型在旋轉測試中表現如何？

A：這兩款模型在真實照片和常見物體上表現接近完美，旋轉識別準確率可達99%。但當圖像換成Omniglot陌生字符時，Gemini-2.5-Pro的真陽性率降至55.10%，GPT-5.2降至70.19%，與其在熟悉內容上的表現差距顯著。而且，就算是最簡單的"判斷兩張完全相同的陌生字符圖是否一樣"，小一些的開源模型的真陽性率也可能只有62%左右。

Q3：增大模型參數或者用少樣本提示能解決視覺語言模型的旋轉識別問題嗎？

A：都只能部分改善，無法根本解決。增大參數規模能帶來一定提升，但"陌生字符表現差、熟悉內容表現好"的核心規律依然存在。少樣本示例和旋轉網格提示雖然提升了真陽性率，但往往同步壓低了特異性，讓模型變得過于傾向于回答"是"，反而產生大量誤報。研究團隊認為真正的解決方案需要從模型架構設計層面入手。