專訪南洋理工李搏揚：被「數學缺陷」困了八年的MTS，第一次真正 work了| ICML 2026

一套數學上優雅、邏輯上自洽的框架方法，為什么就是跑不成功？

作者丨幸麗娟

編輯丨馬曉寧

AI 訓練有個很棘手的問題：數據越來越多，但質量參差不齊，直接往里倒反而可能把模型練壞。

那怎么辦？

2018年，一篇 ICML 論文提出了一個想法：讓 AI 自己學會挑選訓練數據。

這個想法后來有了名字，叫做Meta-learning for Training-data Selection（MTS）。

具體怎么挑？用一個選擇網絡，根據驗證集的反饋，給每個樣本打分——質量高的多學，質量差的少學。

在紙面上，框架優雅，邏輯自洽。

然而，問題來了。

直接套用MTS，效果經常出不來——甚至和不做任何篩選差不多。花了力氣選數據，結果選和不選一個樣。

因此，做 MTS 方向的人，也越來越少。

更關鍵的是：沒人能說清楚——為什么一個看起來很美好的方法，在實踐中就是不行？

南洋理工大學李搏揚團隊，花了一年時間死磕這個問題。

結果發現：MTS在數學層面，本身就存在內生缺陷。

于是，他們揪出了兩個“元兇”，逐一擊破，第一次讓 MTS 這套被"數學缺陷"困了六年的框架，跑成功。

論文成果入選 ICML 2026 Oral，全名叫做《On the Difficulty of Learning a Meta-network for Training Data Selection》。

論文鏈接：https://arxiv.org/pdf/2606.00571

AI 科技評論采訪了論文通訊作者、南洋理工大學計算與數據科學學院副教授李搏揚。他曾在百度美國研究院擔任高級研究科學家，在迪士尼匹茲堡研究院擔任研究科學家及研究組組長。

采訪中，他介紹了這項研究的動機、理論突破和對行業的貢獻價值，還分享了本次在 ICML 現場的見聞以及對世界模型領域的看法。

01

一個“聽起來很美好”的設想：

讓 AI 自己學會挑數據

我們先來看 MTS 方法的數學原理：

設主網絡為 f_θ(x)，參數為 θ；

設數據選擇網絡（Selection Network）為 s_φ(x)，參數為 φ，它為每個訓練樣本 (x_i, y_i) 生成一個權重 w_i = s_φ(x_i)；

訓練集損失（帶權重）和驗證集損失分別定義為：

這是一個雙層優化問題：

內層：主網絡在帶權重的訓練損失上做梯度下降；

外層：選擇網絡的優化目標是讓更新后的主網絡在驗證集上表現最好。

理論上，選擇網絡通過驗證集這個“金標準”的反饋，應該能自動學會——哪些樣本對泛化有益（給高權重），哪些是有害噪聲（給低權重）。

這個設想聽起來很美好對吧？但現實給了這個想法一記悶棍：MTS在實際訓練中經常表現不如預期，甚至比不上不做任何數據篩選的基線。

也就是說：你花了半天力氣去選數據，選和不選效果基本一樣。

那到底哪有問題？

這篇 ICML Oral 論文，通過嚴格的數學分析，揪出了MTS 失效的兩大“元兇”。

02

為什么很美好的設想，

在現實應用中失效？

▎元兇一：軍師“學偏”了——梯度信噪比（GSNR）低得可憐

MTS的訓練依賴于一個雙層優化（bi-level optimization）過程：先更新主網絡θ，再根據驗證集上的表現更新選擇網絡φ。

然而，論文通過數學推導和實驗測量發現，選擇網絡的梯度信噪比（Gradient Signal-to-Noise Ratio, GSNR），比主分類網絡低了差不多一個數量級。

為什么會這樣？

論文給出了一個非常關鍵的理論洞察：MTS 的訓練，會導致數據權重分布越來越“尖銳”（spiky）——少數幾個樣本的權重越來越大，其他樣本的權重被壓到接近于零。

作者甚至證明了一個定理：在理想條件下，歸一化后的權重向量p會收斂到一個“one-hot”狀態——即只有一個樣本的權重為1，其余全部為0。

權重分布越尖銳，有效批次大小（Effective Batch Size, EBS）就越小，梯度的方差就越大，GSNR自然就越低。低GSNR意味著梯度更新方向被噪聲淹沒，選擇網絡根本學不到有用的東西。

什么意思？我們以一個“問路”場景來類比：假設你蒙著眼站在一個山丘上（代表模型訓練），想通過“問路”找到最快下山（損失最小化）的方向。你雇了一個軍師（選擇網絡 s_φ），他的工作是：攔下路人問方向，然后給每個路人打分——靠譜的人打高分（多聽他的），不靠譜的人打低分（少聽他的）。

正常的做法是：軍師隨機攔住100個路人（一個路人代表一個batch），問他們腳底下感覺哪邊是下坡。他把這100個人的建議平均一下，得到一個綜合方向。這樣，即使有幾個人亂指，綜合方向也大概率是對的（梯度信號穩定，噪音被抵消）。

但訓練過程中，軍師自己也在“學習”——他根據驗證集的反饋來調整自己的打分策略。結果他學歪了：它把99.9%的信任權重都給了其中1 個人（權重收斂到One-hot），其他 99 個人幾乎為 0。

這時候軍師“看似”攔了100個人，但實際上只聽那 1 個人的話（有效批次大小 EBS ≈ 1）。

而這個人他可能視力不好（樣本有噪聲）；他可能站在一個奇怪的位置（樣本是離群點）；他可能根本不懂路（樣本標注錯誤）。

他告訴你“往北走”，但這個方向是錯的。

更可怕的是，每次軍師重新攔100個人，那個被選中“獨攬大權”的人都不一樣。

• 第一次，A被選中，他告訴你“往北走”——你往北走了兩步；

• 第二次，B被選中，他告訴你“往西走”——你往西走了兩步；

• 第三次，C被選中，他告訴你“往東走”——你往東走了兩步。

你的路線是：北→西→東→南→北……結果，你只是在原地打轉。

結果就是，軍師的每一次“學習”都建立在被 A/B/C 這些帶偏的反饋上——他的梯度更新幾乎全是隨機游走，學不到任何有用的東西。這也就是 MTS 失效。

不過好消息是，論文作者不僅檢查出了病因，而且指出了一個簡單粗暴的補救方法：增大批次大小（batch size）。并且通過實驗證明，當 batch size 從64提升到1024時，GSNR顯著改善。

▎元兇二：軍師只會“聽聲辨位”——輸入特征不足以判斷數據質量

好，假設現在解決了軍師“只聽一個人”的問題，他能做到公平地聽取所有人的意見了。

但新的問題來了：軍師雖然聽得見每個人的聲音，可他只有一個評估信息——每個人的“嗓門大小”（訓練損失值）。

他給路人打分，只能憑這個：

• A 喊得撕心裂肺（損失高），軍師說：“這人這么用力，肯定靠譜！打高分！”

• B 輕聲細語（損失低），軍師說：“這人沒啥信心，打低分吧。”

但實際情況完全不是這么回事。張三喊得大聲，是因為他剛好站在一塊翹起的石頭上硌得疼——他是個噪聲樣本，他的方向是錯的，應該給低分。李四輕聲細語，是因為他站在平地上穩穩當當——他是個干凈樣本，方向是對的，應該給高分。

再看C，他也喊得很大聲，但他站在一個陡坡上，雖然站不穩但那個方向確實是下坡——他是困難但有用的樣本，給高分是對的。D 也輕聲細語，但他站在平地上而且已經會了——他是冗余樣本，給低分也是對的。

問題就出在這里：軍師只看“嗓門大小”，根本分不清同樣大聲喊的 A 和 C——一個是噪聲，一個是困難難例。他也分不清同樣小聲的 B 和 D ——一個是干凈樣本，一個是冗余樣本。

換句話說，這位軍師，沒有足夠的評估信息去判斷到底誰的話更加靠譜。

因此，就算解決了只聽單個人的話的問題（GSNR 低），軍師（選擇網絡）可能還是無法幫你找到正確的路，因為他接收的輸入特征本身，就不包含判斷數據質量所需的信息。

同樣值得慶幸的是，這篇論文也針對這個問題，提出了解決方案：為軍師 MTS 配上一套“多維信息雷達”（豐富的特征體系），包括：

• 局部特征（Local features）：看這個人周圍的人在往哪走。如果周圍人都往南，他一個人往北，那他可能是個“離群點”。如果周圍人和他永遠都向同樣的方向走，那他可能是個“冗余點”，刪除也不影響網絡訓練。也就是說，通過計算每個樣本在訓練集和驗證集中的鄰居和它自己的相似度，判斷它是“冗余”還是“離群點”。

• 全局特征（Global features）：看這個人在他這一類數據中有沒有代表性。如果他離中心很遠，可能是個“離群點”。如果他離中心很近，可能是個“冗余點”。也就是說，計算每個樣本和其類別中心的相似度，判斷它在類內的“典型性”。

• 優化動態特征（Optimization dynamics features）：看這個人過去的表現。是一直在瞎指路，還是曾經指錯過、后來又慢慢糾正過來了？“遺忘事件”這種動態信號，能幫你區分“純粹的噪聲”和“值得反復學習的難例”。也就是，通過計算遺忘事件次數（Forgetting Events）、梯度范數等，追蹤樣本在訓練過程中的穩定性。

• 類別指示特征（Class-indicator features）：為類別標簽和數據來源（真實vs合成）學習可嵌入的表示。

有了這四個不同指向的信息，軍師才能看清每個人的位置、周圍的環境、歷史表現和身份背景，打出來的分數才真正靠譜。

03

實驗驗證：從“翻車”到“翻身”

論文在四個基準數據集上進行了評估：

• Waterbirds：用于評估模型在面對虛假相關性（Spurious Correlation）時的表現。

• CelebA：人臉屬性數據集，常用于分布偏移研究。

• Texture：紋理分類數據集。

• PACS：包含4個領域——藝術畫（Art Painting）、卡通（Cartoon）、照片（Photo）、素描（Sketch），用于成對遷移學習（Pairwise Transfer Learning） 評估。

對比的基線方法包括：不做選擇的基線（No Selection）、CLIP 相似度篩選、遺忘事件（Forgetting Events）、GraNd、重要性加權（Importance Weighting），以及與本文最接近的已有方法 MetaWeightNet。

▎整體性能：躍升式領先

論文提出的方法（即配備了四維特征和大批量的選擇網絡）取得了平均73.75%的準確率。

• 相較于不做任何篩選的No Selection基線（準確率 68.26%），提升了5.49%。這打破了“MTS不如不篩選”的魔咒。

• 相較于此前最強的基線Aux-Clf (Val)（硬選擇版本，準確率70.86%），依然提升了2.89%。

論文的方法，在所有四個數據集上均取得了一致的提升，證明了方法的通用性和魯棒性。

▎消融實驗一：驗證“元兇一”——Batch Size 的作用

MetaWeightNet是最接近本文的已有方法，但它有三個關鍵差異：（1）使用batch size = 64；（2）僅使用在線訓練損失作為唯一的輸入特征；（3）不對輸出的權重做歸一化。

在原始設定下，MetaWeightNet平均僅提升了0.62% ——幾乎無效。這正好印證了論文的核心論點：簡單粗暴地套用MTS，效果就是不行。

當論文給自己的方法換上小 batch size（64）時，準確率下降了2.79%。這定量證明了“GSNR是MTS有效訓練的必要條件” 。

論文進一步展示了 batch size = 512 和 1024 時的結果，趨勢一致：越大的 batch size，權重分布越平坦，有效批次越大，GSNR 越高。

▎消融實驗二：驗證“元兇二”——特征豐富度的貢獻

為了證明“輸入特征缺乏信息量”確實是另一個獨立且同樣致命的元兇，論文固定 batch size，把輸入給選擇網絡的特征換成了不同類型，觀察性能差異。

Raw Image（原始圖像）：直接把圖像像素作為輸入——平均68.20%，幾乎和 No Selection（68.26%）持平。說明原始圖像這種高維且未經處理的信息，選擇網絡根本沒法從中提取出判斷數據質量的有效信號。

ResNet Features（預訓練特征）：用ResNet提取的圖像特征——平均71.77%，比 Raw Image 高了不少。說明有一定語義信息的特征確實有幫助，但仍然不夠。

Training Loss（訓練損失）：只把損失值這一個標量作為輸入——平均69.85%，比 No Selection 只略好一點，但遠低于完整方法（73.75%）。這正是 MetaWeightNet 的做法：只靠“嗓門大小”來判斷，信息太單薄。

而且值得注意的是，Training Loss在這個設置下（N=1024，GSNR已解決）只達到 69.85%，而完整四維特征在同樣N=1024下達到73.75%——差了近4個百分點，這就是元兇二被解決之后帶來的增益。

▎兩個維度的關系：乘法，不是加法

而這項工作更關鍵的洞察在于：這兩個改進維度是乘法關系，不是加法關系。

0乘以任何數都得0。你把GSNR解決得再好（Batch Size拉到1024），但如果選擇網絡接收的特征本身就不包含判斷數據質量所需的信息，它依然學不對。

反過來，你給了再豐富、再好的四維特征，但如果梯度信號被噪聲淹沒、選擇網絡根本學不動，那再多信息也是白搭。

只有GSNR好 + 特征好，兩者同時具備，MTS 才能真正從“翻車”變成“翻身”。

實驗也完美印證了這一點：單獨增大batch size或單獨豐富特征，提升都有限；兩者結合，才相較于不做任何篩選的No Selection基線，實現了5.49%的平均增益。

因此，好的 GSNR 和高質量的特征，兩者缺一不可，且相互補充。

04

行業貢獻在哪？

在AI領域追逐“卷”創新、比拼工程技巧的大環境中，這種回歸本質、追問"為什么"的研究，顯得尤為可貴。

而這篇論文的價值，不在于提出了一個多厲害的新方法，而在于用理論工具拆解了一個被廣泛使用卻未被充分理解的方法，并為后續研究指明了改進方向。具體體現在三個層面：

第一，發現并診斷了MTS的“失效根源”。在這篇論文之前，MTS這套方法在理論層面幾乎是無懈可擊的——讓一個選擇網絡根據驗證集的反饋來學習數據權重，聽起來既優雅又合理。

但現實卻始終潑冷水。論文作者自己做的時候發現——這套理論上優雅的方案，加上再精巧的工程 Tricks， 在實踐中就是跑不出該有的效果。更令人困惑的是，沒人知道為什么。

這篇論文第一次用嚴格的數學分析揭開了這個謎底：MTS的失效并非因為工程實現不夠精巧，而是它在優化層面存在兩個根本性的缺陷：梯度信噪比極低，導致選擇網絡的更新信號被噪聲淹沒，學不動；輸入特征嚴重不足，導致選擇網絡缺乏判斷數據質量的依據，學不對。

有了這個理解，后續優化就擺脫了盲人摸象的狀態，研究者可以精準判斷瓶頸所在，把資源投入到正確方向。

第二，揭示了兩個失效原因之間"乘法而非加法"的關系。這意味著，研究者不能采取"先優化一個、再優化另一個"的線性累加策略，必須從一開始就同時滿足兩個條件。

這種解耦式的分析，把MTS從一個全盤調試的黑盒問題，簡化成了兩個可以獨立診斷、但必須同時達標的工程指標。

第三，追問"為什么"本身就是一種有價值的研究思路。 當其他研究者追熱點的時候，論文作者做了一個不一樣的選擇——停下來追問一個更基本的問題：這套理論上完美的方法，為什么在實際中就是跑不出效果？

這個追問最終把他們引向了問題根源：它在數學上就存在根本性缺陷，學不動也學不對。問題不在工程層面，在根基上。

這個教訓不僅適用于MTS，也適用于整個AI領域——當我們被一個優雅的理論框架吸引時，發現理論在實際中效果不佳時，應該先問一個更基本的問題：這個理論本身有沒有問題。追問"為什么"，有時候比發明"新方法"更有價值。

論文之外，李搏揚教授還向 AI 科技評論分享了本次 ICML 的見聞，對世界模型熱門研究方向的觀點以及對年輕研究者的建議。

以下為對話摘錄，AI 科技評論進行不改變原意的編輯：

▎AI 科技評論：這次ICML有什么讓您印象深刻的報告？

李搏揚：有兩個。

第一個是Mark Schmidt關于優化理論的 Tutorial。他講了一個讓在場很多人深有感觸的問題：為什么優化理論的研究做得很多，但對現實中深度學習的影響卻始終很小？而現實中好用的算法如Adam，在理論上的理解總是很弱？

他指出，理論為了在最壞情況下方便證明收斂，采取了一些非常保守的做法，比如很小的學習率。但在現實往往并沒有理論能設想的最壞情況那么壞。所以如果你采用理論上最好的學習率，在現實中反而優化速度很慢。

最后，他也指出了應該怎么做：我們需要思考理論和現實究竟哪里不一樣，怎樣去盡量彌合兩者的縫隙，而不是一味追求理論的優美。為了這點，他在兩個半小時的報告中，完全沒有提到收斂速度的證明，而這個問題通常在優化領域被認為是最核心的內容。

這個分析和我們這篇 ICML工作有共通之處。我們的論文本質上也是在問同樣的問題——MTS在理論上看起來很優美，但為什么在現實中失效？

第二個是來自普林斯頓的Arvind Narayanan，他的報告主題是： AI 時代，人類會怎樣工作。

他舉了“電氣化”的例子——在電力剛剛出現時，工廠主把蒸汽動力的機器簡單的替換為以電力驅動。但這沒有發揮電力的優勢。經過漫長的實踐，大家才發明現代的流水線作業。這種作業方式充分利用電機體積小的優勢，把人類按工序排列，導致生產力的大幅提高。

在電氣時代，不能生搬硬套蒸汽時代的思維。AI時代也是一樣，目前我們只是把 AI 直接套入現有流程，但這是不合適的。怎樣讓人和AI更好地協同？這個問題還沒有答案。

我個人認為這個問題即將成為重大的熱點研究方向。

▎AI 科技評論：您和學生怎么選研究課題？是從熱點方向找選題，還是有自己的節奏？

李搏揚：從熱點方向找選題，是學術界非常普遍的做法，也能比較快的看到效果。

我個人傾向于花更長的時間把文章做扎實。在美國求學的時候，有位同學的話徹底改變了我的思維方式——“不要只做現在的熱門問題，而要做即將成為熱門的問題。”

我覺得這篇論文就是例子。現在做MTS 的人其實不多，因為這個框架做不成功，而我們是第一個證實它能用的團隊，這或許也會是下一個熱門——至少我希望如此。

▎AI 科技評論：對想進入這個方向的年輕研究者有什么建議？

李搏揚：我有兩個可能有點反直覺的建議。

第一個建議：不要在最火的賽道里卷。

很多同學喜歡往熱門方向擠——因為投文章容易中、引用容易高、找教職簡歷好看。但問題是：你很難卷過別人。最火的賽道里競爭也最激烈，idea容易撞車，容易被別人搶發。即使是工作發表了，也容易淹沒在相似論文里，很難真正體現出獨特的意義。

在教職的市場上，有很多申請者在同一賽道做同一方向。大學會把同一賽道的人互相比較，不太可能招收特別多同一方向的教授。除非你是那個做得最好的，否則你的競爭力并不突出。

我的建議是花時間去思考，哪些方向最有實際意義，哪些方向即將成為熱門。在這些方向的工作，才是開創性的工作，才是最有impact的工作。

第二個建議：打好基礎。

現在很多同學追求短平快。我們過去說調(tiao)參調(diao)包就可以發論文。但是在Claude Code和OpenClaw這樣的框架出來之后，可能都不需要寫代碼，只用自然語言寫skills都能出論文。

但這樣做的問題是：有太多的同學對這個領域缺乏真正的理解。雖然簡歷上很光鮮，到了面試階段稍微問兩個問題就露餡了。

所以我的建議是：把工作做得踏實一點。花時間去思考，去理解這個領域的基本問題、基本方法和基本矛盾。

想打基礎的同學可能不知道從何打起，論文那么多，哪些重要、哪些不重要？

有幾種做法。要么找一個經驗豐富的人來引導你，要么就是在網上多看大牛的講座和課程——他們會在課程里把重要的東西講出來，而不是讓你自己在幾千篇論文里摸索。

好比 Mark Schmidt 的 Tutorial，他可以從宏觀上告訴你，每個小領域的研究之間的關系是什么，里面有哪些最具代表性的工作，還有那些關鍵的未解之謎。沒有在這個領域長期的積累，甚至是十幾二十幾年的經驗，不可能做到這點。

▎AI 科技評論：現在世界模型這個方向很火，看到您也有做一些因果相關的工作，您如何看待世界模型這個方向？

李搏揚：我認為世界模型很重要，不過我做的因果更多的側重“事件”層面，理解層次是從像素 → 物體（人、狗、桌子）→ 活動（人在讀書、狗在叫）→ 常識因果（狗叫因為被踢了一腳）→ 人類意圖（看門的狗叫，主人會想是不是遇到小偷，會來查看情況）。現在的世界模型，在這個層次做的工作可能還比較少。

對于世界模型路線，我認為 Yann LeCun 主張在隱空間做預測是對的，但關鍵是，要做到多深的隱空間。隱空間夠深、能表征到“事件”、“因果”和“人類意圖”的層面，實現常識因果，我認為那才是真正的世界模型。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。