視頻通用模型來了！DeepMind 再證「生成即理解」，何愷明參與

編輯｜山輝

視頻鏈接：https://mp.weixin.qq.com/s/dX552R_CIZwNNiywiosqSw

如果想開發一個視頻理解應用，你會怎么做？

一種常見的思路，是把視頻中的信息逐層剝離。例如動作理解，原始像素轉化為人體關鍵點，連續動作經過時序分割變成片段，整個過程要盡可能拋棄與任務無關的干擾信息。

問題也隨之出現：不同階段依賴不同的數據標注和表示，數據之間難以對齊，誤差的傳遞與累積，拋棄的干擾信息可能在下游重新變重要……

理解世界，是否一定要從「做減法」開始？

在幾個月前，谷歌 DeepMind 放出了一篇重量級論文《Image Generators are Generalist Vision Learners》，系統性地證明了之前許多人已經有過的直覺：圖像生成器就是強大的通用視覺學習器。

我們此前對此進行了報道：視覺GPT時刻來了！DeepMind用Vision Banana證明「生成即理解」，何愷明、謝賽寧都參與。

如今，谷歌 DeepMind 又將「生成即理解」的路線推進到了視頻。

在最新論文《Video Generation Models are General-Purpose Vision Learners》中，研究團隊提出GenCeption，將視頻生成模型改造成一個由文本指令控制的通用視頻理解系統，可完成深度估計、表面法線預測、分割、相機位姿估計和 3D 關鍵點預測等多種任務。

• 論文標題：Video Generation Models are General-Purpose Vision Learners
• 項目主頁：https://genception.github.io/
• 論文鏈接：https://arxiv.org/pdf/2607.09024v1

視頻生成，可能就是通用預訓練目標

自然語言處理之所以能夠從專用模型走向通用基礎模型，關鍵在于找到了一個統一且可規模化的訓練目標：預測序列中的下一個單位。

計算機視覺并不缺少強大的基礎模型，這些模型依然帶有明顯的任務專用色彩。

論文作者認為，構建通用視覺模型的關鍵，就是找到一種類似于語言模型「下一詞元預測」的通用預訓練目標。

這種視覺預訓練范式至少需要滿足三個條件。

• 能夠學習時間演化、三維結構和物理規律；
• 能夠與語言天然對齊；
• 能夠隨著數據、參數量和算力持續擴展。

大規模文本到視頻生成恰好同時滿足了這三個條件。

為了生成一段連續、可信的視頻，模型必須學習多樣的時空先驗。與此同時，文本到視頻模型天然以語言提示為條件，并且已經獲得了大量產業資源的投入。

因此，視頻生成或許并不只是視覺系統的一項下游能力，它本身就可以成為視覺領域的通用預訓練任務。

把視頻生成器改造成理解模型

GenCeption 的核心思路，是直接復用經過預訓練的文生視頻擴散模型，將其中學習到的時空先驗轉化為視覺理解能力。

GenCeption 方法與范式轉變

傳統擴散模型從隨機噪聲出發，經過多輪迭代去噪生成視頻。但深度、分割和姿態估計需要的是穩定、確定的結果，而不是帶有隨機性的生成樣本。

因此，GenCeption 將多步擴散過程改造成單步前饋模型。

模型不再輸入隨機噪聲，而是直接接收待分析視頻的無噪聲潛在表示，擴散時間步被固定在 t=0，整個模型只進行一次前向傳播。

輸入同一段視頻時，只需改變文本指令，模型就能切換任務：指令是「輸出深度」，模型就生成逐幀深度圖；指令是「輸出 3D 關鍵點」，模型則直接預測三維人體姿態。

同一個模型因此可以用統一架構處理多種任務，而不必為每個任務重新專用系統。

視頻鏈接：https://mp.weixin.qq.com/s/dX552R_CIZwNNiywiosqSw

GenCeption 能無縫切換不同的視覺任務。

如何統一多種視覺任務

許多所謂的多任務視覺模型，雖然共享同一個主干網絡，但在面對不同任務時，依然需要使用不同的任務頭和損失函數。

GenCeption 更進一步，試圖統一視覺任務的主干網絡、預測頭和訓練目標

研究團隊首先將任務分成兩類：

• 密集視覺任務：對于深度、法線、分割和相機射線圖等密集任務，模型將結果統一編碼到標準 RGB 空間。這樣，不同任務都可以被表示為一種 “目標視頻”，繼續沿用生成模型原本熟悉的輸出形式。
• 稀疏視覺任務：對于 2D、3D 關鍵點等稀疏任務，模型額外加入可學習 Token，再通過一個輕量級 MLP 解碼為坐標。

GenCeption 架構

這樣一來，GenCeption 既可以輸出逐像素的視覺結果，也可以輸出適合進一步計算和控制的坐標數據。

更進一步，所有任務都使用統一的 L2 損失訓練。任務之間的差異不再主要通過不同模型頭和損失函數來體現，而被轉移到數據表示方式上：先通過歸一化和重新編碼消除不同任務的尺度與格式差異，再使用統一損失進行優化。

這也是論文所強調的范式變化：任務定義不再主要體現在架構修改中，而是體現在數據格式設計中。

合成數據解決多任務標注與對齊問題

統一視覺任務還面臨另一個現實問題：數據

真實視頻數據通常只包含有限的標注模態。例如某個特定的體育項目數據集，可能有人體關鍵點，卻沒有動作類別；另一個數據集可能有相機軌跡，卻沒有時序關鍵幀。

為了獲得能夠同時支持多種任務的高質量標注，研究團隊主要采用合成數據

他們使用 800 個 RenderPeople 人物資產和 200 種動作，生成 7500 段人體視頻，并同步獲得深度、法線、分割、DensePose、2D/3D 關鍵點和相機位姿等標注。

這些信息來自同一個三維場景，因此在空間和時間上天然對齊，也減少了不同數據集之間的格式沖突。

生成式預訓練真的更好嗎？

GenCeption 覆蓋深度、表面法線、前景分割、指代表達分割、相機位姿和 3D 關鍵點等任務。

實驗顯示，它在多個基準上能夠接近或超過 Depth Anything V3、SAM 3、D4RT、VGGT-Ω、Sapiens 和 Genmo 等專用模型

值得注意的是，論文同時測試了兩個版本。

專用版「Specialist」分別在單個任務上訓練，而通用版「Generalist」則由同一個模型聯合學習多個任務。

通常來說，多任務模型容易因為任務之間相互干擾而出現性能下降。

結果顯示，兩者之間的性能差距較小，說明統一模型并未因為處理多種輸出模態而出現明顯的能力損失。

單純證明 GenCeption 表現優秀，還不足以證明視頻生成是一種更好的預訓練范式。這些結果究竟來自生成式預訓練，還是僅僅來自更大的模型？

為此，作者在相同后訓練數據下，比較了 V-JEPA、VideoMAE V2 和視頻生成模型 WAN 2.1 作為主干網絡的效果。

結果顯示，在深度估計任務中，生成式預訓練的 WAN 明顯優于另外兩種視頻表征學習方法。隨著模型從 13 億參數擴大到 140 億參數，性能還會繼續提升

GenCeption 同時表現出較高的數據效率。

它使用約 123 萬幀后訓練數據，就能取得接近部分領先專用模型的效果；而 Depth Anything V3、D4RT 和 VGGT-Ω 使用的數據規模分別約為 2 億、8600 萬和 6 億幀。

論文因此認為，GenCeption 能夠以少 7 倍至 500 倍的下游訓練數據，達到與部分領先模型相近的性能。

這并不意味著視頻模型訓練成本很低，因為 GenCeption 依賴一個已經完成大規模預訓練的 140 億參數生成模型。

但這表明，一旦擁有一個強大的視頻生成基礎模型，針對下游視覺任務進行適配時，所需要的專用標注數據可能大幅減少。

這對于標注昂貴、任務定義不斷變化的專業領域尤其重要。

從合成人類，到動物和機器人

GenCeption 最有意思的部分，不只是基準結果，而是訓練范圍之外的泛化能力

模型的大部分后訓練數據來自合成人體視頻，但它能夠直接處理真實視頻，并輸出深度、法線、分割和姿態結果。

主要使用單人視頻訓練的模型，也能在多人場景中輸出多個姿態實例。

多人場景泛化結果

更進一步，模型還能把人體相關任務遷移到訓練中未出現的類別

例如，一個主要在合成人類數據上后訓練的模型，可以為猩猩預測近似的人體姿態，或者對動物和擬人角色進行分割或姿態估計，以及為機器人輸出具有語義對應關系的關鍵點。

動物泛化結果

這些能力很難僅僅用 7500 段合成人體視頻來解釋，作者認為，它們主要來自視頻生成模型在大規模預訓練階段已經獲得的廣泛世界知識。

后訓練不需要教會模型「什么是動物」「什么是機器人」，只是讓模型學會了一種新的格式來輸出已有知識，下游訓練因此更像是在提供一套讀取已有知識的接口。

「生成即理解」成立了嗎？

GenCeption 確實為「生成即理解」提供了相當有力的證據。

這說明，視頻生成模型內部保存的除了畫面紋理和風格，還有大量關于空間、時間、物體和運動的結構信息

但「生成即理解」仍然不是一個已經完全成立的等式。

本文驗證的主要關注「結構信息」，而動作語義、事件因果和意圖推理需要進一步回答「發生了什么」以及「為什么發生」，兩者之間仍然存在距離。

更準確地說，這篇文章證明了，視頻生成式預訓練可以學習到支持多種視覺理解任務的通用表征。不同的任務需要的能力，也許藏在同一個基礎模型中可以被調用和遷移的通用能力中。

這定義了一種新的開發方式。

未來，面對一個新任務，也許不必再從頭完成海量標注和專用模型級聯，你只需要更有限的任務樣本，和一個好用的通用模型。