圖靈獎得主LeCun 兩連推！LeJEPA 核心作者最新論文，改寫 JEPA 表征坍塌困局

來源：AI科技評論

作者：幸麗娟

編輯：馬曉寧

社交平臺 X 上，一項名叫 VISReg 的研究工作，獲得圖靈獎得主 Yann LeCun 兩連推。

能讓 LeCun 如此高調背書的 VISReg，究竟做對了什么？

答案很簡單：它精準命中LeCun 全力押注的 JEPA 世界模型的核心痛點——表征坍塌。

更難得的是，VISReg 不靠啟發式“外掛”，也不依賴海量數據，就在 15 個數據集上，綜合表現力壓 7 大主流自監督學習算法。

這篇論文的作者團隊，也跟LeCun頗有淵源。

二作Randall Balestriero 現任 Brown University計算機科學系的助理教授，曾在Meta的FAIR實驗室擔任博士后研究員，合作導師正是Yann LeCun，也是LeCun團隊此前LeJEPA工作的核心作者之一。

Randall Balestriero 照片

另外兩位作者Haiyu Wu（一作）、Morgan Levine（三作）則來自 Altos Labs，這是一家由亞馬遜創始人貝索斯等巨頭投資的生物技術公司，專注于細胞重編程與衰老研究。

Haiyu Wu Github個人主頁

01

嵌入表征坍塌這個“老大難”問題

JEPA 世界模型的底層技術，是 LeCun 早在 2017 年就力推的自監督學習。

這一學習范式，曾憑借“去標注化”為通用 AI 開啟了無限可能。

以前訓練AI，就像老師給一堆題目，每道題都要配標準答案（人工標注），費時費力還燒錢。

自監督學習不一樣：AI自己從海量數據里"找規律"學習，就像學生自己看書悟出道理，不需要每道題都有標準答案。

但這個學習過程，有個棘手的問題：嵌入表征坍塌。

什么意思？AI學到最后學會“偷懶”了——不管輸入什么東西，它都輸出"差不多一樣"的答案。就像學生考試，不管什么題都填"C"，看似交卷了，其實啥也沒學會。

為了防止這種坍塌，研究者們想了很多辦法。

比較經典的一個解決方案，就是 LeCun 團隊自己提出來的VICReg（Variance-Invariance-Covariance Regularization）。把學習目標拆成三項——方差項、不變性項、協方差項。用協方差來限制各個維度"不要太相關"。

但問題在于：協方差只看了"兩兩之間的關系"，就像你只知道班級的平均分和方差，卻不知道分數具體分布——兩個班級可以均分方差完全一樣，但一個全是60-80分，一個全是 0 分和 100 分，天差地別。協方差看不出來這種差別。

后來，LeCun團隊又提出了另一個方法SIGReg（Sketched Isotropic Gaussian Regularization），它基于 Cramér-Wold 定理，通過素描（Sketching） 技術，直接把整個嵌入分布對齊到一個標準高斯分布。這相當于不僅知道班級的均值和方差，還能確保分數分布的形狀和正態分布完全一致。

但 SIGReg 也存在兩個硬傷：

1.梯度消失陷阱：當嵌入開始坍塌時，SIGReg 的梯度會持續衰減，坍塌越嚴重，修正信號越微弱，模型徹底失去自救能力，訓練直接卡死；

2.“尺度”與“形狀”耦合：沒有分離特征 “幅度大?。ǔ叨龋?和 “分布形態（形狀）” 兩個獨立屬性，這相當于同時調整音量大小和音色，互相干擾，在長尾、低質量、低秩數據集上適配性極差。

02

VISReg 做了什么？

VISReg 對VICReg、SIGReg 進行“揚長避短”，具體的創新在于：

把尺度、形狀完全解耦，保留VICReg的方差項來控制尺度（確保每個維度的標準差趨近于1），但用基于切片Wasserstein距離（SWD）的 Sketching Objective 替代協方差項，來控制形狀。

這個設計主要體現在三個精妙之處：

▎第一，尺度與形狀解耦。

VISReg通過停止梯度（stop-gradient） 把尺度優化和形狀優化分離開，互不干擾。就像把音量旋鈕和音色旋鈕分開，調音量不影響音色，調音色不影響音量。

▎第二，基于SWD的素描目標（Sketching Objective），比協方差更有表達力。

協方差只能控制“兩兩維度之間是否相關”，而SWD能強制所有投影方向上的完整邊緣分布都符合高斯形狀。

可以這樣理解：協方差只檢查“每一對同學的關系是否正常”，而SWD檢查“全班在任何一個角度投影過去的分布形狀是否合理”——后者要嚴格得多。

這種方法有個數學上的Cramér-Wold定理撐腰：高維分布的等價性，可以通過檢查所有一維隨機投影來判斷。這意味著SWD約束的是完整分布形狀，而非僅僅二階矩。

▎第三，坍塌時反而更強。

這是最狠的一點：當模型表征已經"塌"了，VISReg的梯度信號反而更強，修正力度更大，能把模型拽回來。

為了證明這一點，論文還進行了模擬實驗：讓特征范數逐漸減小模擬坍縮，測各方法的梯度強度。VISReg在坍縮最嚴重時梯度最大，SIGReg梯度趨近零——一個"越危險越使勁救"，一個"越危險越躺平"。

當下熱門的 JEPA 世界模型賽道，長期懸而未決的表征坍塌痛點，迎來了突破性的正則化解法。

此外，在計算復雜度、算力成本，VISReg 均實現顯著升級：

▎復雜度較 VICReg 大幅降低

VICReg 協方差計算復雜度為O(N D2)，其中 D 為嵌入維度，維度越高算力爆炸；VISReg 復雜度為 O(N D K)（N 為 Batch大小，D 為嵌入維度，K 為切片數量），屬于線性復雜度，與VICReg的高維算力差距極大。

▎速度、內存優于 SIGReg

同等Batch規模下，VISReg 單 H100 GPU 的運行速度、顯存占用全面優于SIGReg；分布式多卡訓練時，切片任務可均勻分攤至每張顯卡，K 切片數量可固定不變，無需隨模型、Batch放大同步增加算力。

最后在準確度和訓練穩定性上，VISReg也更優于VICReg、 SIGReg，尤其是在低質量數據集（ImageNet-LT、Galaxy10）上優勢顯著。

03

VISReg 到底多強？

研究團隊在 15個數據集（8個 In-Domain 域內數據集+6個 OOD 域外數據集 + 1個 用于稠密實例預測的 ADE20K 數據集）上做了測試，涵蓋天文Galaxy、醫療（胸片ChestXRay、眼底 Retina、器官 OrganA）、航拍遙感 AID、花卉Flowers等場景，跟7個標桿級別的自監督學習算法（MoCoV3、DINO、I-JEPA、MAE等）硬剛。

▎In-Domain 數據集：不用"外掛"也能打

為讓對比更加公平，實驗把算法分為兩大組別：帶“外掛”組(w/heuristics)和無“外掛”組 (w/o heuristics)。

在無啟發式“外掛”組，VISReg 表現領先：

• 同規模下（ViT-B/16）：VISReg 域內線性精度達 75.7%，顯著超越 MAE（75.1%）；

• 升級規模后（ViT-L/14）：VISReg 進一步提升至 77.0%，高于 LeJEPA（75.6%）。

值得強調的是，VISReg 沒有用師生網絡、EMA、特殊蒸餾這些常見的“煉丹技巧”，純靠基礎訓練就把性能拉滿了。

跟那些帶有啟發式"外掛"的算法（iBOT、DINO）比，VISReg在常規任務上只差了一點點。但一到考驗真本事的紋理數據集（DTD）上，VISReg直接反超所有帶外掛的算法。

這一結果直接表明VISReg的跨域泛化能力是天生優勢，而非依賴人工技巧堆砌。

▎OOD 數據集：斷層領先

OOD 測試數據集覆蓋醫療（胸片ChestXRay、眼底 Retina、器官 OrganA）、天文 Galaxy10、航拍遙感 AID、紋理 DTD，全部和 ImageNet 訓練域完全無關。

這就好比：學生在學校學的是“貓、狗、汽車”，考試考的卻是“X光片和星空圖”——這才是檢驗真本事的黃金標準。

無啟發式“外掛”下： ViT-B/16 的VISReg 平均 OOD 精度70.19%，ViT-L/14 達到70.63%，大幅甩開 MAE（67.85%），同時高于大部分帶“外掛”的經典算法（MoCoV3 69.46%、DINO 69.56%、I-JEPA 68.55%）。

在Retina、OrganA等數據集優勢尤為突出，這也證明VISReg的表征能學到通用底層視覺規律（線條、形狀、紋理），而非死記 ImageNet 的自然物體特征。

▎數據效率：10 倍碾壓 DINOv2

行業標桿DINOv2用了1.42億張圖訓練（LVD142M），VISReg只用了它的十分之一（ImageNet-22K）。

結果呢？

VISReg 精度 72.94%，DINOv2 72.93%——甚至還高了0.01%。

VISReg的學習效率是DINOv2的10倍！ 這正好印證了JEPA世界模型路線的核心目標：花小錢辦大事。

▎下游遷移學習：微調能力優于 DINO，表征適配性更強

在CIFAR10、CIFAR100、Flowers、ImageNet1K、Galaxy10五套數據集上做微調測試，VISReg的精度全部高于DINO。

這也說明VISReg學出來的"知識表征"分布更均勻、冗余更低、可塑性更強——不是死記硬背，后續接任何任務上限都更高。

▎稠密實例預測任務：表現穩健

在完全不使用任何啟發式“外掛”的前提下，VISReg 在ADE20K上的稠密分割效果僅次于 MoCoV3，遠優于 DINO、MAE、data2vec。

論文也坦誠：分割這塊離頂尖還有差距，后續會重點優化。

▎圖像生成：不僅能當‘尖子生’，還能當‘創作教練’

最后，團隊還讓VISReg和DINO分別當"教練"，去指導同一個畫圖AI（SiT-B/2），完成 10 萬步輕量化訓練。

四個評分指標中有三個，VISReg 指導出來的畫圖 AI 都優于 DINO 指導的。

說明VISReg提取的特征不僅能做識別，還能當生成模型的"好教練"，幫它加速訓練。

總的看下來，VISReg用更樸素的方法（不用外掛）、更少的數據（十分之一）、更穩的訓練（越坍縮越自救），在圖像識別、分割、生成加速三個維度上都達到了頂尖或接近頂尖的水平。

這也難怪，這項工作能戳中LeCun的心尖~

Paper 鏈接:

https://arxiv.org/pdf/2606.02572Project

鏈接: https://haiyuwu.github.io/visreg/GitHub

鏈接: https://github.com/HaiyuWu/visreg

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）