AI成績單背后，藏著一位華人“出題人”

每次前沿模型發布，AI圈都會盯著幾張熟悉的成績單。

MMLU-Pro、MMMU、MMMU-Pro……這些名字對普通用戶來說有些陌生，但對模型公司和研究者而言，它們幾乎已經成了“標準科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek們不斷在這些基準上交卷。

“是騾子是馬拉出來溜溜”，模型怎么樣，往往都要靠這些分數來證明。

很多模型發布會上的性能對比圖，離不開它們；HuggingFace上的一些排行榜，也建立在這些評測體系之上。甚至可以說，今天AI行業討論模型能力時，使用的已經是一套由這些基準定義的共同語言。

但有意思的是，幾乎所有人都在關注分數，卻很少有人知道出題的人是誰。而MMLU-Pro、MMMU和MMMU-Pro背后，都能看到同一個名字——陳文虎。

他是加拿大滑鐵盧大學計算機科學系助理教授，在谷歌學術上，他的論文被引用超過3萬次。

他也是“老虎實驗室（TIGERLab）”的創始人，這個實驗室的英文全稱是Text and Image GEnerative Research Lab，因為名字里有一個“虎”字，陳文虎為其起了一個很有辨識度的中文名——虎頭幫。

01

舊考卷失靈之后

陳文虎最先被更多人注意到，是因為MMLU-Pro。

MMLU曾經是大語言模型能力評估中最常用的基準評測之一。它像一張綜合試卷，覆蓋多個學科，用來衡量模型在知識理解和推理任務上的表現。

在早期，這張卷子很有用。模型之間的差距能被分數拉開，行業也可以通過它觀察大語言模型是不是真的在進步。

但問題很快出現了。

隨著模型能力不斷提升，MMLU逐漸變得“不夠考”了。前沿模型的分數越來越高，彼此之間的差距越來越小。

到OpenAI發布o3之后，這個問題變得更加明顯。o3在MMLU上的準確率已經接近100%，其他前沿模型也陸續交出逼近滿分的成績。

這聽起來像是一個好消息，但對評估來說，反而意味著麻煩。

一張試卷如果大家都能考接近滿分，就很難繼續判斷誰更強、強在哪里。它仍然可以證明模型已經具備某些能力，卻不再適合衡量新的進步。

AI行業需要一張更難、也更不容易被“糊弄過去”的卷子。

2024年，陳文虎和團隊推出了MMLU-Pro。

MMLU-Pro重新改造了這張考卷，而非簡單把題庫擴大。

它包含12032道題，覆蓋數學、物理、化學、法律、工程、心理學、健康等14個領域。相比原版MMLU，它把選項從4個擴展到10個，降低模型靠猜測蒙對的概率；同時加入更多偏推理的問題，清理掉原題庫中相對簡單、存在歧義或者區分度不足的題目。

效果很直接。

論文結果顯示，模型在MMLU-Pro上的準確率相比原版MMLU下降了16%到33%。同一模型在24種不同提示詞風格下測試時，成績波動也從原MMLU的4%到5%，下降到約2%。

也就是說，這張新卷子不僅更難，也更穩定。

它讓那些在舊考卷上看起來都很優秀的模型，重新被拉開了差距。模型到底是真會推理，還是只是更擅長應付舊題，也因此更容易被看出來。

02

好用的基準評測

MMLU-Pro很快被行業拿去用了。

MMLU-Pro隨后進入NeurIPS2024數據集與基準評測賽道，也被EleutherAI的語言模型評測框架lm-evaluation-harness集成。對開源模型社區來說，這意味著它不再只是一篇論文里的數據集，而是進入了常用評測工具鏈。

很多模型發布時，開始報告MMLU-Pro分數。HuggingFace上的一些排行榜，也把它納入評估體系。

如果說MMLU-Pro解決的是語言模型評估里的“舊考卷失靈”，那么MMMU則把陳文虎和TIGERLab推到了多模態評測的中心。

多模態模型的問題更復雜。

語言模型答題，主要處理文字。多模態模型則要同時處理圖片、圖表、示意圖、地圖、表格、樂譜、化學結構等不同形式的信息。它不只是要讀懂題干，還要真正看懂圖像里的內容，并把視覺信息、文本信息和學科知識放在一起推理。

MMMU基準評測包含1.15萬道多模態問題，來自大學考試、測驗和教材，覆蓋藝術與設計、商業、科學、健康與醫學、人文社科、技術與工程六大領域，進一步細分為30個學科和183個子領域。

這些題目不是簡單問模型“圖里有什么”，它要求模型像學生做專業題一樣，把圖像信息和學科知識結合起來。

MMMU發布時，研究團隊測試了14個開源多模態模型，以及GPT-4V、GeminiUltra等代表性閉源模型。即便是當時最強的閉源模型，GPT-4V和GeminiUltra也只達到56%和59%的準確率。

這組數字說明，多模態模型看起來進步很快，但在真正需要專業理解和推理的問題上，仍然有大量空間。

后來，陳文虎團隊又推出了MMMU-Pro，進一步堵住模型繞過視覺信息的空間。它過濾掉只靠文本模型也能回答的問題，擴展候選項，并引入vision-only設置，把問題嵌入圖像中，要求模型同時完成視覺讀取和文本理解。

簡單說，就是不讓模型“只看文字猜答案”。

這類工作聽起來頗有點瑣碎之感，但它們很關鍵。因為多模態模型未來要進入醫療、教育、科研、設計、工程等場景，僅僅能描述圖片是不夠的。它必須能判斷、推理、解釋，也必須能在復雜視覺信息中找到真正有用的部分。

03

“考卷”背后的人

陳文虎后來做MMLU-Pro和MMMU，來自于他一直以來的研究方向。

他的研究興趣本來就與復雜信息理解、知識問答和推理有關。

他本科畢業于華中科技大學，之后到德國亞琛工業大學攻讀碩士，再到加州大學圣巴巴拉分校獲得計算機科學博士學位。博士期間，他已經開始圍繞復雜問答、表格推理、知識證據定位等方向做研究。

這類任務有一個共同點：答案往往不在單一文本里。

它可能藏在一張表格里，也可能需要結合一段文字和一張圖片，還可能需要模型先檢索信息，再整合、計算和推理。模型不能只會復述已有知識。

陳文虎參與過的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等項目，都和這條線有關。

這也解釋了他為什么會對模型評估里的漏洞敏感。

好的基準評測不是簡單把題目搞得越來越難，而是要預判模型最容易在哪里“蒙對題”“看起來會”。

模型可能記住了題庫，也可以靠選項猜答案，還可能用文字繞過視覺信息……好的評估得把這些漏洞補好。

博士畢業后，陳文虎進入谷歌研究院，隨后在2021年至2025年參與谷歌DeepMind的Gemini多模態模型和評估工作。這段經歷也很重要。長期接觸前沿模型研發，讓他更清楚模型能力是如何增長的，也更容易看見評估中可能存在的偏差和盲區。

2022年秋季，陳文虎加入滑鐵盧大學計算機科學學院，擔任助理教授。同年，他入選CanadaCIFARAIChair。之后，他創辦“老虎實驗室（也就是虎頭幫）”，繼續圍繞基礎模型、多模態能力和基準評測展開研究。

虎頭幫并不只是做基準評測，也在做模型和系統研究。

在視頻方向上，UniVideo試圖把視頻理解、生成和編輯放進同一個框架，讓模型不只是生成一段畫面，也能理解內容、響應指令并完成修改。Vamba瞄準長視頻理解，解決一小時級別視頻帶來的顯存、計算和訓練效率問題。與Meta生成式AI團隊合作的MoCha，則把重點放在說話虛擬角色生成上，通過語音和文字描述生成高質量人物視頻。

一個從來不做題的出題人是不可能出好題的。自己下場做模型，反過來也讓他們更適合做評估。

因為真正好的評估，往往來自對模型能力邊界的理解。只有知道模型是怎么做出來的，知道它在真實任務里會遇到什么問題，才更容易設計出能測出差距、也能暴露問題的題目。

如今，陳文虎進入Meta超級智能實驗室，工作繼續集中在多模態預訓練數據和評估，并服務于Meta基礎模型。

AI行業并不缺少被看見的人。AI行業里，聚光燈通常會落在創業者、明星研究員和大模型公司的負責人身上。新產品發布、融資消息、開源模型和團隊調整，往往最容易吸引外界關注，也讓這些名字更容易進入公眾視野。

但今天的AI領域，華人人才的參與已經遠不止這些最顯眼的位置。