LeCun 兩連推！LeJEPA 核心作者最新論文，改寫 JEPA 表征坍塌困局

0 “外掛”、1/10 數(shù)據(jù)，硬剛 7 大標(biāo)桿級自監(jiān)督學(xué)習(xí)算法

作者丨幸麗娟

編輯丨馬曉寧

社交平臺 X 上，一項名叫 VISReg 的研究工作，獲得圖靈獎得主 Yann LeCun 兩連推。

能讓 LeCun 如此高調(diào)背書的 VISReg，究竟做對了什么？

答案很簡單：它精準(zhǔn)命中LeCun 全力押注的 JEPA 世界模型的核心痛點——表征坍塌。

更難得的是，VISReg 不靠啟發(fā)式“外掛”，也不依賴海量數(shù)據(jù)，就在 15 個數(shù)據(jù)集上，綜合表現(xiàn)力壓 7 大主流自監(jiān)督學(xué)習(xí)算法。

這篇論文的作者團隊，也跟LeCun頗有淵源。

二作Randall Balestriero 現(xiàn)任 Brown University計算機科學(xué)系的助理教授，曾在Meta的FAIR實驗室擔(dān)任博士后研究員，合作導(dǎo)師正是Yann LeCun，也是LeCun團隊此前LeJEPA工作的核心作者之一。

Randall Balestriero 照片

另外兩位作者Haiyu Wu（一作）、Morgan Levine（三作）則來自 Altos Labs，這是一家由亞馬遜創(chuàng)始人貝索斯等巨頭投資的生物技術(shù)公司，專注于細胞重編程與衰老研究。

Haiyu Wu Github個人主頁

01

嵌入表征坍塌這個“老大難”問題

JEPA 世界模型的底層技術(shù)，是 LeCun 早在 2017 年就力推的自監(jiān)督學(xué)習(xí)。

這一學(xué)習(xí)范式，曾憑借“去標(biāo)注化”為通用 AI 開啟了無限可能。

以前訓(xùn)練AI，就像老師給一堆題目，每道題都要配標(biāo)準(zhǔn)答案（人工標(biāo)注），費時費力還燒錢。

自監(jiān)督學(xué)習(xí)不一樣：AI自己從海量數(shù)據(jù)里"找規(guī)律"學(xué)習(xí)，就像學(xué)生自己看書悟出道理，不需要每道題都有標(biāo)準(zhǔn)答案。

但這個學(xué)習(xí)過程，有個棘手的問題：嵌入表征坍塌。

什么意思？AI學(xué)到最后學(xué)會“偷懶”了——不管輸入什么東西，它都輸出"差不多一樣"的答案。就像學(xué)生考試，不管什么題都填"C"，看似交卷了，其實啥也沒學(xué)會。

為了防止這種坍塌，研究者們想了很多辦法。

比較經(jīng)典的一個解決方案，就是 LeCun 團隊自己提出來的VICReg（Variance-Invariance-Covariance Regularization）。把學(xué)習(xí)目標(biāo)拆成三項——方差項、不變性項、協(xié)方差項。用協(xié)方差來限制各個維度"不要太相關(guān)"。

但問題在于：協(xié)方差只看了"兩兩之間的關(guān)系"，就像你只知道班級的平均分和方差，卻不知道分?jǐn)?shù)具體分布——兩個班級可以均分方差完全一樣，但一個全是60-80分，一個全是 0 分和 100 分，天差地別。協(xié)方差看不出來這種差別。

后來，LeCun團隊又提出了另一個方法SIGReg（Sketched Isotropic Gaussian Regularization），它基于 Cramér-Wold 定理，通過素描（Sketching） 技術(shù)，直接把整個嵌入分布對齊到一個標(biāo)準(zhǔn)高斯分布。這相當(dāng)于不僅知道班級的均值和方差，還能確保分?jǐn)?shù)分布的形狀和正態(tài)分布完全一致。

但 SIGReg 也存在兩個硬傷：

1.梯度消失陷阱：當(dāng)嵌入開始坍塌時，SIGReg 的梯度會持續(xù)衰減，坍塌越嚴(yán)重，修正信號越微弱，模型徹底失去自救能力，訓(xùn)練直接卡死；

2.“尺度”與“形狀”耦合：沒有分離特征 “幅度大小（尺度）” 和 “分布形態(tài)（形狀）” 兩個獨立屬性，這相當(dāng)于同時調(diào)整音量大小和音色，互相干擾，在長尾、低質(zhì)量、低秩數(shù)據(jù)集上適配性極差。

02

VISReg 做了什么？

VISReg 對VICReg、SIGReg 進行“揚長避短”，具體的創(chuàng)新在于：

把尺度、形狀完全解耦，保留VICReg的方差項來控制尺度（確保每個維度的標(biāo)準(zhǔn)差趨近于1），但用基于切片Wasserstein距離（SWD）的 Sketching Objective 替代協(xié)方差項，來控制形狀。

這個設(shè)計主要體現(xiàn)在三個精妙之處：

▎第一，尺度與形狀解耦。

VISReg通過停止梯度（stop-gradient） 把尺度優(yōu)化和形狀優(yōu)化分離開，互不干擾。就像把音量旋鈕和音色旋鈕分開，調(diào)音量不影響音色，調(diào)音色不影響音量。

▎第二，基于SWD的素描目標(biāo)（Sketching Objective），比協(xié)方差更有表達力。

協(xié)方差只能控制“兩兩維度之間是否相關(guān)”，而SWD能強制所有投影方向上的完整邊緣分布都符合高斯形狀。

可以這樣理解：協(xié)方差只檢查“每一對同學(xué)的關(guān)系是否正常”，而SWD檢查“全班在任何一個角度投影過去的分布形狀是否合理”——后者要嚴(yán)格得多。

這種方法有個數(shù)學(xué)上的Cramér-Wold定理撐腰：高維分布的等價性，可以通過檢查所有一維隨機投影來判斷。這意味著SWD約束的是完整分布形狀，而非僅僅二階矩。

▎第三，坍塌時反而更強。

這是最狠的一點：當(dāng)模型表征已經(jīng)"塌"了，VISReg的梯度信號反而更強，修正力度更大，能把模型拽回來。

為了證明這一點，論文還進行了模擬實驗：讓特征范數(shù)逐漸減小模擬坍縮，測各方法的梯度強度。VISReg在坍縮最嚴(yán)重時梯度最大，SIGReg梯度趨近零——一個"越危險越使勁救"，一個"越危險越躺平"。

當(dāng)下熱門的 JEPA 世界模型賽道，長期懸而未決的表征坍塌痛點，迎來了突破性的正則化解法。

此外，在計算復(fù)雜度、算力成本，VISReg 均實現(xiàn)顯著升級：

▎復(fù)雜度較 VICReg 大幅降低

VICReg 協(xié)方差計算復(fù)雜度為O(N D2)，其中 D 為嵌入維度，維度越高算力爆炸；VISReg 復(fù)雜度為 O(N D K)（N 為 Batch大小，D 為嵌入維度，K 為切片數(shù)量），屬于線性復(fù)雜度，與VICReg的高維算力差距極大。

▎速度、內(nèi)存優(yōu)于 SIGReg

同等Batch規(guī)模下，VISReg 單 H100 GPU 的運行速度、顯存占用全面優(yōu)于SIGReg；分布式多卡訓(xùn)練時，切片任務(wù)可均勻分?jǐn)傊撩繌堬@卡，K 切片數(shù)量可固定不變，無需隨模型、Batch放大同步增加算力。

最后在準(zhǔn)確度和訓(xùn)練穩(wěn)定性上，VISReg也更優(yōu)于VICReg、 SIGReg，尤其是在低質(zhì)量數(shù)據(jù)集（ImageNet-LT、Galaxy10）上優(yōu)勢顯著。

03

VISReg 到底多強？

研究團隊在 15個數(shù)據(jù)集（8個 In-Domain 域內(nèi)數(shù)據(jù)集+6個 OOD 域外數(shù)據(jù)集 + 1個 用于稠密實例預(yù)測的 ADE20K 數(shù)據(jù)集）上做了測試，涵蓋天文Galaxy、醫(yī)療（胸片ChestXRay、眼底 Retina、器官 OrganA）、航拍遙感 AID、花卉Flowers等場景，跟7個標(biāo)桿級別的自監(jiān)督學(xué)習(xí)算法（MoCoV3、DINO、I-JEPA、MAE等）硬剛。

▎In-Domain 數(shù)據(jù)集：不用"外掛"也能打

為讓對比更加公平，實驗把算法分為兩大組別：帶“外掛”組(w/heuristics)和無“外掛”組 (w/o heuristics)。

在無啟發(fā)式“外掛”組，VISReg 表現(xiàn)領(lǐng)先：

• 同規(guī)模下（ViT-B/16）：VISReg 域內(nèi)線性精度達 75.7%，顯著超越 MAE（75.1%）；

• 升級規(guī)模后（ViT-L/14）：VISReg 進一步提升至 77.0%，高于 LeJEPA（75.6%）。

值得強調(diào)的是，VISReg 沒有用師生網(wǎng)絡(luò)、EMA、特殊蒸餾這些常見的“煉丹技巧”，純靠基礎(chǔ)訓(xùn)練就把性能拉滿了。

跟那些帶有啟發(fā)式"外掛"的算法（iBOT、DINO）比，VISReg在常規(guī)任務(wù)上只差了一點點。但一到考驗真本事的紋理數(shù)據(jù)集（DTD）上，VISReg直接反超所有帶外掛的算法。

這一結(jié)果直接表明VISReg的跨域泛化能力是天生優(yōu)勢，而非依賴人工技巧堆砌。

▎OOD 數(shù)據(jù)集：斷層領(lǐng)先

OOD 測試數(shù)據(jù)集覆蓋醫(yī)療（胸片ChestXRay、眼底 Retina、器官 OrganA）、天文 Galaxy10、航拍遙感 AID、紋理 DTD，全部和 ImageNet 訓(xùn)練域完全無關(guān)。

這就好比：學(xué)生在學(xué)校學(xué)的是“貓、狗、汽車”，考試考的卻是“X光片和星空圖”——這才是檢驗真本事的黃金標(biāo)準(zhǔn)。

無啟發(fā)式“外掛”下： ViT-B/16 的VISReg 平均 OOD 精度70.19%，ViT-L/14 達到70.63%，大幅甩開 MAE（67.85%），同時高于大部分帶“外掛”的經(jīng)典算法（MoCoV3 69.46%、DINO 69.56%、I-JEPA 68.55%）。

在Retina、OrganA等數(shù)據(jù)集優(yōu)勢尤為突出，這也證明VISReg的表征能學(xué)到通用底層視覺規(guī)律（線條、形狀、紋理），而非死記 ImageNet 的自然物體特征。

▎數(shù)據(jù)效率：10 倍碾壓 DINOv2

行業(yè)標(biāo)桿DINOv2用了1.42億張圖訓(xùn)練（LVD142M），VISReg只用了它的十分之一（ImageNet-22K）。

結(jié)果呢？

VISReg 精度 72.94%，DINOv2 72.93%——甚至還高了0.01%。

VISReg的學(xué)習(xí)效率是DINOv2的10倍！ 這正好印證了JEPA世界模型路線的核心目標(biāo)：花小錢辦大事。

▎下游遷移學(xué)習(xí)：微調(diào)能力優(yōu)于 DINO，表征適配性更強

在CIFAR10、CIFAR100、Flowers、ImageNet1K、Galaxy10五套數(shù)據(jù)集上做微調(diào)測試，VISReg的精度全部高于DINO。

這也說明VISReg學(xué)出來的"知識表征"分布更均勻、冗余更低、可塑性更強——不是死記硬背，后續(xù)接任何任務(wù)上限都更高。

▎稠密實例預(yù)測任務(wù)：表現(xiàn)穩(wěn)健

在完全不使用任何啟發(fā)式“外掛”的前提下，VISReg 在ADE20K上的稠密分割效果僅次于 MoCoV3，遠優(yōu)于 DINO、MAE、data2vec。

論文也坦誠：分割這塊離頂尖還有差距，后續(xù)會重點優(yōu)化。

▎圖像生成：不僅能當(dāng)‘尖子生’，還能當(dāng)‘創(chuàng)作教練’

最后，團隊還讓VISReg和DINO分別當(dāng)"教練"，去指導(dǎo)同一個畫圖AI（SiT-B/2），完成 10 萬步輕量化訓(xùn)練。

四個評分指標(biāo)中有三個，VISReg 指導(dǎo)出來的畫圖 AI 都優(yōu)于 DINO 指導(dǎo)的。

說明VISReg提取的特征不僅能做識別，還能當(dāng)生成模型的"好教練"，幫它加速訓(xùn)練。

總的看下來，VISReg用更樸素的方法（不用外掛）、更少的數(shù)據(jù)（十分之一）、更穩(wěn)的訓(xùn)練（越坍縮越自救），在圖像識別、分割、生成加速三個維度上都達到了頂尖或接近頂尖的水平。

這也難怪，這項工作能戳中LeCun的心尖~

Paper 鏈接:

https://arxiv.org/pdf/2606.02572Project

鏈接: https://haiyuwu.github.io/visreg/GitHub

鏈接: https://github.com/HaiyuWu/visreg

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。