港科大：揭示AI圖文模型存在偽統一性根本缺陷能力突破

這項由香港科技大學多媒體實驗室（MMLab@HKUST）完成的研究，于2026年4月以預印本形式發布在arXiv平臺，論文編號為arXiv:2604.10949v1，感興趣的讀者可以通過該編號查閱完整原文。

**一個讓人哭笑不得的測試**

有人做了這樣一個測試：拿一張圖，讓AI模型回答問題——"自由女神像所在國家的國旗是什么樣的？"然后要求它同時用文字回答，并畫出這面旗幟。

用的是一款叫做BAGEL的大型AI模型，參數量高達140億，相當于這個"大腦"里塞了140億個微小的計算單元。它的文字回答寫得有模有樣：詳細描述了美國國旗的13條橫紋、7紅6白、藍色星域里的50顆白星……條理清晰，甚至還援引了歷史典故。

然而，它畫出來的"國旗"……完全驢唇不對馬嘴，根本不像美國國旗。

而另一款叫做Harmon的小模型，參數只有區區15億——不到BAGEL的九分之一——畫出來的國旗雖然線條粗糙、不夠精細，卻是貨真價實的星條旗。

一個"學富五車"的大模型，說得出卻畫不出；一個"小學生"程度的輕量模型，反而把圖文理解打通了。這個結果，讓研究團隊忍不住追問：這些號稱"統一"了文字和圖像的AI模型，到底是真統一，還是"偽統一"？

**"偽統一"究竟是什么意思？**

在回答這個問題之前，有必要先交代一下背景。過去很長一段時間里，AI世界里有兩類截然不同的"專才"。

一類是擅長語言的大型語言模型，比如GPT系列、DeepSeek等，它們的核心訓練方式是"猜下一個詞"——給出上文，預測最可能出現的下文。這種訓練方式讓它們特別善于"舉一反三"、"觸類旁通"，回答問題時充滿創造性，語言表達豐富多彩。

另一類是專門生成圖像的文生圖模型，比如Stable Diffusion、FLUX等，它們的訓練方式是"根據文字描述，盡可能精準地還原出對應的圖像"。這類模型追求的是"忠實于輸入"，強調對描述詞匯的精確執行，而非創造性發揮。

后來，AI研究者們開始思考：能不能把這兩種能力合并到一個模型里？于是就有了"統一多模態模型"（Unified Multimodal Models，簡稱UMMs）——一個模型既能寫文章，又能畫圖，既能理解圖像，又能回答問題。理論上，這類模型應該能把語言模型的"推理思考能力"和圖像模型的"視覺生成能力"融為一體，實現真正的協同增效。

然而，香港科技大學的研究團隊發現，現實遠沒有這么美好。這些看似統一的模型，內部其實仍然各自為政——文字生成走一套邏輯，圖像生成走另一套邏輯，兩者之間缺乏真正的溝通和協調。研究團隊把這種"表面統一、內里分裂"的現象，命名為**"偽統一"（Pseudo-Unification）**。

這個問題不只是學術圈內的小趣聞。隨著越來越多的AI應用開始依賴這類多模態模型——從智能助手到設計工具，從教育軟件到創作平臺——弄清楚它們究竟在內部如何運作，為什么推理能力無法從文字遷移到圖像，直接關系到這類技術能否真正可靠地服務于普通用戶。

**二、現有"體檢工具"為何失靈？**

發現了"偽統一"這個現象，下一步自然是搞清楚它的成因。但研究團隊很快遇到了麻煩：現有的分析工具，都不夠用。

現有的評測方式大多是"從外部打分"——拿一批測試題，讓模型作答，然后看答對了多少。這就好比只看一個學生的考試成績，卻完全不知道他在考試中是真正理解了題目，還是靠死記硬背蒙對了答案。這種"黑盒"式的評測，無法揭示模型內部發生了什么。

還有一些研究嘗試去分析模型內部的"神經活動"，比如研究每一層網絡如何處理文字信息。但這類研究幾乎只關注模型"怎么理解輸入"，卻忽視了另一半同樣關鍵的問題：模型"怎么生成輸出"，以及輸入和輸出之間的關系是否一致。

打個比方：一個翻譯官，你可以分析他是如何聽懂外文的，但如果你不去分析他的翻譯過程和最終譯文，你永遠不知道他是真正在做翻譯，還是在隨機輸出。

正是為了填補這個空白，研究團隊提出了一套全新的分析框架——一套從模型"內部機制"出發，同時檢查"如何理解輸入"和"如何生成輸出"的診斷工具。

**三、用"信息量"來透視AI的內心世界**

研究團隊選擇的核心工具，是信息論中的**熵（Entropy）**概念。熵，聽起來高深，但本質上就是"不確定性"或"信息豐富程度"的度量。

一個簡單的類比：一個裝了一種顏色球的箱子，里面全是紅球，每次摸出來都是紅球，你對結果完全確定——這個箱子的"熵"極低。反過來，一個箱子里有100種顏色的球，每次摸出來什么顏色都有可能，你對結果完全不確定——這個箱子的"熵"極高。

在AI模型的神經網絡里，每一層都會把輸入信息轉換成一組數字向量（可以理解為"數字指紋"）。如果這些數字指紋差異很大、分布廣泛，說明這一層保留了很多不同的信息，熵就高；如果這些數字指紋都差不多、聚集在一起，說明信息被壓縮或同質化了，熵就低。

通過逐層追蹤熵的變化，就能"透視"模型內部的信息處理過程：信息在哪里被保留、在哪里被壓縮、在哪里被丟棄。

不過，直接計算熵在實踐中面臨一個嚴峻挑戰：傳統的熵計算方式需要知道數據的概率分布，而神經網絡的內部表示是高維度、可變長度的復雜數據，根本無法用傳統方法計算概率分布。

研究團隊為此設計了一套創新的數學工具，核心思路是：不去估計概率分布，而是直接分析數據的"幾何結構"。具體做法是，先計算所有數字向量之間的相似度，構建一個"相似度矩陣"，然后用這個矩陣來估算熵值。這種方法叫做**矩陣基于Rényi熵**，它不依賴于任何概率假設，只需要數據本身的結構信息，特別適合處理神經網絡里的復雜表示。

研究團隊通過實驗驗證了這個工具的可靠性：當數據點分散在100個不同的"信息簇"里時，計算出的熵值遠高于數據點全部集中在同一個位置的情況，熵值隨著信息多樣性的增加而單調遞增，這正是一個好工具應有的表現。

**四、用"條件熵"來衡量輸出對輸入有多"忠誠"**

光有熵還不夠，研究團隊還需要一個工具來衡量"模型的輸出和輸入之間有多大關聯"。為此，他們引入了**條件熵（Conditional Entropy）**的概念。

條件熵衡量的是：在已知輸入的情況下，輸出還有多少不確定性。換句話說，就是"輸入對輸出的約束力有多強"。

條件熵低，意味著知道了輸入之后，輸出幾乎是確定的——這對應著一種"高度忠實于輸入"的生成方式，就像嚴格按照菜譜做菜，食材決定了最終的味道。條件熵高，意味著即使知道了輸入，輸出依然充滿變數——這對應著一種"創造性"的生成方式，就像讓廚師自由發揮，同樣的食材可能做出千變萬化的料理。

通過對比同一個模型在生成文字和生成圖像時的條件熵，研究團隊就能判斷：這個模型對待兩種輸出模式的"心態"是否一致？還是說它在文字這邊自由發揮，在圖像那邊嚴格執行？

數學上，條件熵等于"聯合熵"減去"輸入熵"——聯合熵衡量輸入和輸出加在一起的信息量，輸入熵衡量輸入本身的信息量，兩者的差就是輸出在輸入基礎上新增的信息量。研究團隊將這套計算方法同樣用矩陣相似度的框架來實現，得到了一個可計算的"條件熵代理指標"，并通過對照實驗驗證了它的準確性：對于完全相同的輸入輸出，條件熵接近零；對于完全無關的輸入輸出，條件熵達到最高。

**五、"體檢"十大模型，結果震驚眾人**

有了工具，研究團隊對當前主流的十款統一多模態模型展開了系統性"體檢"。這十款模型橫跨不同架構類型、不同圖像生成方式、不同參數規模，具有相當的代表性。

在架構上，有"全合一變換器"架構（把文字生成和圖像生成全部塞進一個網絡），有"變換器混合架構"（用兩個獨立的網絡分別處理文字和圖像，再通過注意力機制融合），還有"大語言模型加擴散模型"的兩階段架構（語言模型先生成文字描述，再交給圖像擴散模型執行）。

在圖像生成方式上，有基于"流匹配"的、有基于"向量量化自編碼器"的、有基于"掩碼自編碼器"的，也有基于"擴散損失"的。參數規模從最小的13億，到最大的140億，跨越了一個數量級。

輸入數據方面，文字提示來自T2I-CoReBench數據集，包含1080條涵蓋多種推理類型（演繹、歸納、溯因）的文字提示；圖像輸入來自MMBench數據集，包含3217張覆蓋感知和推理不同認知層次的圖像。

體檢結果分為兩大維度："輸入編碼"層面和"輸出生成"層面，每個維度都揭示了令人深思的規律。

**六、輸入編碼層面：模型"讀題"時并不關心題目類型**

第一個發現，頗出乎意料。研究團隊本以為，當一個模型面對"演繹推理題"和"簡單感知題"時，內部的信息處理方式會有所不同——畢竟這兩類任務的認知難度差異懸殊。

然而實驗結果顯示，對于同一個模型來說，不管輸入的文字是哪種推理類型，也不管輸入的圖像是在考察感知還是推理，模型內部各層的熵值軌跡幾乎一模一樣。也就是說，模型在"讀題"時，根本不區分題目的認知難度或類型。

用日常語言來說，這就好像一個學生拿到試卷，不管是填空題還是論述題，他的"眼球運動軌跡"都一樣——他看起來在讀題，但實際上并沒有根據題型調整自己的閱讀策略。模型表現出的是一種"結構不可知"的編碼方式——形式決定了處理過程，內容并不能改變它。

不同模型之間，熵值的絕對高低和變化軌跡存在顯著差異，但這些差異完全由模型的架構和參數規模決定，而非由輸入內容的語義復雜度決定。

在文字輸入方面，研究團隊還發現了一個有趣的規律：文字越長，對應的嵌入層熵值越高，這是因為更長的文字激活了表示空間中更多的獨立方向，使整體表示更加"豐富"和"各向同性"。不同架構的模型在絕對熵值上差異顯著，但共用相同大型語言模型底座的模型，其熵值基線非常接近，說明底層語言模型的先驗知識對表示幾何結構有主導性影響。

在逐層熵值的變化軌跡上，大模型通常在早期層就出現"熵值驟降"的現象，好像信息被急速壓縮，之后再緩慢回升到一個中等水平。小模型的熵值變化則更平滑、振蕩式上升，較好地保留了輸入信息。有一個特別的例外是Show-o2（70億參數），它對短文本能很快達到高熵，但面對長文本卻遲遲無法快速提升熵值，暗示它在早期擴展表示容量方面有某種局限性。

中等長度的文字提示還呈現出一個特殊現象：在深層網絡中熵值振蕩幅度反而比短文字和長文字都大，研究團隊推測這類提示處于一個"對齊歧義區"——太長了，單靠局部上下文處理不了；太短了，又不足以觸發層級推理機制——于是模型在深層表現出更大的"不確定性"。

在圖像輸入方面，同樣的規律再次出現：所有模型對不同類型的圖像（無論是簡單的感知任務還是復雜的推理任務）都展現出幾乎相同的逐層熵值軌跡，說明圖像輸入的語義密度和認知復雜度，同樣不影響模型的信息處理路徑。不同模型之間，Harmon表現出緩慢增長的熵值曲線（信息被逐步細致地處理），OmniGen2保持穩定的中等熵值（與其兩階段架構下有限的跨模態交互相符），而BAGEL、Janus系列、Show-o等主流模型則普遍呈現出圖像輸入在第一層就迅速飽和到高熵的特征，仿佛模型在一開始就把所有圖像"投射"進一個公共的高維空間，而不管具體內容是什么。

**七、模態間的"編碼鴻溝"：統一的殼，分裂的核**

如果說上一個發現是"同一模態不同類型之間沒有差異"，那么第二個發現則是"不同模態之間有系統性差異"，而且這種差異在每個模型內部都穩定存在。

當研究團隊把同一個模型處理文字輸入和處理圖像輸入的逐層熵值曲線畫在一起對比時，所有模型都暴露出了各自獨特的"模態不對稱"模式。

以BAGEL為例，文字輸入在早期層發生熵值崩塌（信息被強力壓縮），之后慢慢回升到5到6左右的中等水平；而圖像輸入從一開始就保持著高達9左右的熵值，全程穩定。這意味著，在BAGEL內部，跨模態對齊的代價幾乎完全由文字表示來承擔——文字信息被大幅壓縮，而視覺信息獲得了更寬裕的"表達空間"。

Harmon的情況則正好相反：文字輸入在早期層熵值快速攀升，穩定在較高水平，振蕩輕微；而圖像輸入從較低的基線出發，緩慢爬升到類似的水平。這是一種"異步收斂"的模式：語言信息被迅速拔高，視覺信息則被保守地逐步構建。

Show-o和Janus系列的行為又不同：文字和圖像的熵值都很早就躍升并飽和，雖然絕對值上有差距（文字約8，圖像約9），但整體趨勢相近，反映出這類模型傾向于把所有輸入都快速投射進一個高維共享空間——代價是丟失了模態特有的細粒度信息。

OmniGen2因為本身是"大語言模型加擴散模型"的兩階段架構，它的文字熵在中深層才穩定達到高位，而圖像熵從第0層就已經很高并保持平穩——盡管如此，兩個模態的最終熵值非常接近，可能是因為它生成圖像時依賴的是從語言模型中提取的文字條件，這在一定程度上隱式地"校準"了視覺表示。

這一系列發現匯聚成一個核心結論：所有當前的統一多模態模型，內部都存在系統性的"跨模態表示不對稱"。它們共享參數，卻并沒有共享一個統一的表示邏輯。視覺和語言從各自的起點出發，沿著不同的軌跡演化，最終即便在同一層網絡中"相遇"，也只是形式上的相遇，而非真正的融合。這種深層的不對稱，正是后續生成行為出現分裂的根源。

**八、輸出生成層面：一個模型里住著兩個"性格截然不同"的生成器**

最核心、也最令人信服的發現，來自對"輸出生成"行為的分析。

研究團隊計算了每個模型在生成文字和生成圖像時的逐層條件熵，然后把兩條曲線放在一起比較。結果幾乎一邊倒：除了Harmon之外，所有測試的模型，文字生成的條件熵都系統性地高于圖像生成的條件熵。

這意味著什么？回想前面關于條件熵的解釋：條件熵高，代表輸出對輸入的依賴性弱，生成過程更"自由發揮"；條件熵低，代表輸出對輸入的依賴性強，生成過程更"嚴格執行"。

換句話說，這些模型在生成文字時，表現出"創造性"生成模式——拿到問題之后，在寬廣的語義空間里自由采樣，產出多樣化、有深度的回答；而在生成圖像時，則表現出"保真"生成模式——拿到提示之后，盡量輸出一個確定性高、與提示高度吻合的圖像結果。

這種"雙軌"機制，正是大多數統一多模態模型的真實寫照：它們繼承了大型語言模型的開放性和概率性來處理文字，同時又繼承了擴散模型或向量量化模型的確定性和保真性來處理圖像。兩套生成邏輯共存于一個模型之中，卻從未真正整合。

正是這種內部分裂，解釋了開頭那個令人困惑的現象：BAGEL可以在文字里精確描述美國國旗，因為文字生成走的是"創造性推理"路徑；但它卻無法把這個推理結論傳導到圖像生成，因為圖像生成走的是另一條"保真執行"路徑，這條路徑天然地不擅長根據語義推理來決定輸出內容。

**九、Harmon為何是個例外？它揭示了"真統一"的可能性**

在十個被測模型中，Harmon是唯一的異類，也是研究中最重要的"反例證"。

Harmon的逐層條件熵曲線，走出了完全不同的軌跡：在早期層，圖像生成的條件熵反而高于文字生成；隨著網絡深度增加，文字的條件熵穩步上升，圖像的條件熵逐漸趨于穩定，最終兩條曲線在深層收斂到相近的水平。

這種"先分后合"的軌跡，意味著Harmon的文字生成和圖像生成，最終采用了相近程度的"自由度"——既不是把圖像生成強行壓低到極度確定性，也不是任由文字生成無邊無際地發散。兩種生成模式朝著共同的中間地帶靠攏。

這背后有架構上的深刻原因：Harmon使用**掩碼自編碼器**來處理圖像，而不是擴散模型或向量量化方法。掩碼自編碼器的工作原理是：隨機遮住圖像的一部分，讓模型從可見部分預測被遮住的部分。這和語言模型的"預測下一個詞"在本質邏輯上完全相同——都是"從已有信息推斷缺失信息"的上下文預測任務。

語言的"補全未來詞"和視覺的"補全遮蔽塊"，是同一種思維方式在不同模態上的體現。當兩種生成任務共享同一種歸納偏置（即"從局部上下文推斷整體"的思路），模型內部的生成邏輯就能真正統一起來，而不僅僅是在參數上共用同一套權重。

Harmon的存在證明了一件事：真正的統一是可能的，但它需要的不是"參數共享"，而是"思維方式共享"——讓文字生成和圖像生成從根本上遵循相同的推斷邏輯。

**十、"偽統一"問題的根源與解法**

綜合整個研究，研究團隊提煉出了一個清晰的診斷結論："偽統一"來自兩個層面的同步分裂。

第一個分裂發生在輸入編碼階段。視覺信息和語言信息，從進入模型的第一層起，就沿著不同的幾何軌跡演化——初始熵值不同，收斂速度不同，穩定狀態不同。這種不對稱不是因為兩種輸入的語義內容不同，而是由模型架構本身預設的。兩種模態從一開始就沒有在同一個"起跑線"上。

第二個分裂發生在輸出生成階段。文字生成遵循"高創造性、低保真"的生成邏輯，圖像生成遵循"低創造性、高保真"的生成邏輯，兩套機制并行運作，互不干擾，也互不協助。

這兩層分裂疊加在一起，就產生了開頭看到的那個令人哭笑不得的結果：模型"懂得"答案，卻無法在圖像中"表達"出來。推理能力被封鎖在文字生成的回路里，永遠無法流入圖像生成的回路。

要真正解決這個問題，研究團隊認為，僅靠"把模型做得更大"或"收集更多訓練數據"是不夠的——畢竟BAGEL已經有140億參數，依然逃不過偽統一的困境。真正需要改變的，是預訓練目標的設計：要讓文字生成任務和圖像生成任務共享同一種歸納偏置，比如都基于"上下文預測"的范式，讓兩種模態的生成邏輯從根本上對齊，而不是各自為政地優化。

研究團隊還特別指出，一些研究者嘗試通過修改輸入提示詞的方式來"引導"模型改變其信息處理方式，但實驗結果表明，這條路效果有限——模型在訓練中形成的信息處理模式，輕易不會因為輸入提示的變化而改變。真正的解法，必須從訓練階段就開始介入，將信息流的一致性作為第一等級的設計準則，而非期待它作為訓練的副產品自然涌現。

歸根結底，這項研究告訴我們：多模態AI模型的"統一"，不是貼上同一個名字標簽就算完成的。就像把廚師和畫家安排在同一個房間里工作，并不等于他們真的在合作創作——除非他們真的在用相同的思路、相同的邏輯、相同的語言交流，否則共用一個屋檐的意義并不大。

當前大多數統一多模態模型，都處于"同一屋檐下各干各的"階段。Harmon的出現，提示了一種真正讓兩位"工匠"開始共享工作語言的可能性。至于如何讓這種可能性變成普遍現實，還需要整個領域繼續探索——不是比拼誰的模型更大，而是比拼誰的設計理念更一致。

有興趣深入了解這項研究細節的讀者，可通過arXiv編號2604.10949查閱完整論文。

Q&A

Q1：統一多模態模型和普通的文生圖AI有什么區別？

A：普通文生圖AI只做一件事——把文字變成圖像，追求"忠實還原描述"。統一多模態模型（UMMs）則試圖在一個模型里同時實現文字理解、文字生成、圖像理解、圖像生成四種能力，理論上應該能把語言模型的推理能力和圖像模型的視覺生成能力打通，讓模型既能"想清楚"又能"畫明白"。但研究發現，現有大多數UMMs內部其實是兩套機制并行，并沒有真正打通。

Q2：矩陣基于Rényi熵是怎么測量AI模型內部信息量的？

A：傳統計算信息量（熵）的方法需要知道數據的概率分布，但AI模型內部的數據是高維復雜向量，無法直接計算概率。矩陣基于Rényi熵的做法是繞開概率，改為計算所有數據向量之間的"相似度矩陣"，再從這個矩陣的結構中推斷信息多樣性。數據越分散、差異越大，計算出的熵值越高；數據越集中、差異越小，熵值越低。這個方法已通過對照實驗驗證，能可靠反映真實的信息豐富度。

Q3：為什么小模型Harmon比大模型BAGEL在圖文推理上表現更好？

A：Harmon的優勢不在于參數量，而在于架構設計。它用"掩碼自編碼器"來生成圖像——遮住圖像一部分，從剩余部分預測缺失內容——這和語言模型"預測下一個詞"的邏輯本質相同，都是"從已知推斷未知"。這讓Harmon的文字生成和圖像生成共享了相同的推斷思路，內部信息流真正統一。相比之下，BAGEL等大模型用擴散模型生成圖像，這套邏輯與語言推理截然不同，兩者無法協同，導致推理能力無法從文字遷移到圖像。