從看懂到交互：多模態(tài)如何重構世界模型丨智源大會回顧

來源：智源社區(qū)

編輯：宇軒 夢佳

6月13日上午，智源大會“多模態(tài)”論壇在中關村國際創(chuàng)新中心舉行。

本場論壇由南京大學人工智能學院助理教授趙敏主持，圍繞多模態(tài)模型從圖像理解、視頻生成、圖像生成走向世界狀態(tài)建模和實時交互這一關鍵趨勢展開。過去幾年，多模態(tài)大模型已在視覺理解、文生圖、文生視頻和AIGC內(nèi)容生產(chǎn)中快速突破。而當模型進入交互場景，單次離線生成已不足以支撐新的應用需求，模型必須能理解狀態(tài)、維持記憶、響應控制信號，并在時間序列中持續(xù)預測下一狀態(tài)。未來的多模態(tài)模型不僅要能夠“看懂”世界或生成一段內(nèi)容，而是要在視頻、3D、音頻、文本、動作和交互信號之間建立可持續(xù)演化的世界表示。

論壇邀請來自學術界和產(chǎn)業(yè)界的六位嘉賓，從生成建模新范式、實時可交互視頻世界模型、三維空間感知基礎模型、統(tǒng)一多模態(tài)世界模型、產(chǎn)業(yè)級AIGC產(chǎn)品體系和交互表演模型等角度展開分享。嘉賓演講結束后，本場論壇開展了題為的“從看懂到交互：多模態(tài)如何重構世界模型？”圓桌討論，進一步探討了世界模型定義、原生自回歸視頻模型、Omni多模態(tài)趨勢和未來關鍵問題。

鄧明揚——Generative Modeling via Drifting

MIT博士生鄧明揚圍繞“Generative Modeling via Drifting”介紹了一種從訓練動態(tài)角度理解生成模型的新范式。他從深度學習歷史切入：在圖像識別領域，端到端訓練已成為主流，但在生成模型中，最成功的diffusion和autoregressive方法仍帶有“分步訓練、推理時拼接”的特點。Diffusion將生成過程拆解成逐步去噪的過程，autoregressive模型則是逐token生成，訓練時每一步相對獨立，推理時才把這些步驟串起來。鄧明揚的問題是：能否讓生成模型像識別模型一樣，在訓練過程中就端到端地把生成分布推向真實數(shù)據(jù)分布？

Drifting Models的核心思想是設計一個drifting field對當前生成分布中的每個樣本點，模型計算一個向量場，使樣本沿著該場移動。如果生成分布與真實數(shù)據(jù)分布相同，向量場在每個點都應為零，系統(tǒng)達到平衡。這樣，訓練不只是擬合一個靜態(tài)loss，而是在訓練迭代中讓樣本分布逐步漂移到真實數(shù)據(jù)分布。具體實現(xiàn)上，可以將每個點附近真實樣本重心與生成樣本重心的差作為drifting field，并用蒙特卡洛方式估計。這個設計并非唯一，鄧明揚強調(diào)，很多滿足“分布相等時場為零”的field都可能成立。

與已有方法相比，Drifting Models把很多看似不同的生成方法統(tǒng)一在一個更一般的框架中。MMD、DMD、GAN等都可對應某種底層的drifting field，但反過來，一個field未必對應傳統(tǒng)意義上的loss。因此，以field為中心的視角可能比以loss為中心更一般。它與flow matching和diffusion的關鍵區(qū)別在于，后者主要在推理時讓分布演化，而Drifting Models希望在訓練時就讓分布演化；它與一步生成方法的關系也在于，一些一步方法可被解釋為隱含地沿某個field更新。

實驗上，鄧明揚先在低維toy數(shù)據(jù)上驗證了兩個理想行為。他發(fā)現(xiàn)，隨著loss逐漸下降，生成分布逐步收斂到目標分布，且不會出現(xiàn)明顯mode collapse。在ImageNet圖像生成中，模型使用預訓練feature encoder定義feature space上的loss。由于高維像素空間中直接估計field較難，feature space成為緩解維度災難的關鍵。實驗顯示，drifting field設計是否滿足平衡態(tài)條件非常重要；batch size越大、field估計越準，性能越好；feature encoder越強，生成效果也越好，說明該方法在loss space或feature space上具有新的scaling軸。

他還展示了機器人動作預測實驗。給定observation，模型預測一段action chunk。由于機器人動作數(shù)據(jù)維度較低，方法無需復雜feature space，也不易出現(xiàn)誤差累積，可以通過一次forward pass得到接近diffusion policy的效果。鄧明揚總結，Drifting Models提供了一種“訓練時演化”而非“推理時演化”的生成建模視角。未來的關鍵在于設計更好的field、更準確地估計field，以及探索更適合圖像、視頻和機器人數(shù)據(jù)的表征空間。

趙敏——視頻世界模型：從離線內(nèi)容生成到實時交互

趙敏以“視頻世界模型：從離線內(nèi)容生成到實時交互”為題，討論如何將高質(zhì)量雙向視頻基礎模型蒸餾為低延遲、可交互的視頻世界模型。她指出，視頻生成經(jīng)歷了從將image diffusion微調(diào)為視頻模型，到Sora、Seedance等通過大規(guī)模數(shù)據(jù)和Transformer scaling生成高質(zhì)量動態(tài)內(nèi)容的階段。當前的新問題是，如何把這些強大的離線視頻生成模型轉(zhuǎn)化為實時交互范式：用戶不是一次性輸入prompt等待結果，而是在生成過程中隨時改變相機、風格、場景或動作，模型實時響應并延續(xù)世界狀態(tài)。

實時可交互視頻世界模型需要滿足三項要求。第一是實時性，生成下一秒視頻的速度必須快于視頻播放速度，讓用戶無需等待。第二是低延遲，即首個chunk或首幀要盡快生成，使交互響應足夠快。第三是可交互，每個小生成單元都能接收新的條件輸入。技術上，這對應AR diffusion路線：chunk之間自回歸，chunk內(nèi)部仍使用擴散生成。

趙敏重點分析了從雙向視頻擴散模型蒸餾到少步自回歸模型的難點。傳統(tǒng)Causal Forcing類似于AR的分布匹配蒸餾(DMD)，如果teacher是雙向多步模型，student是AR類型的少步模型，二者同時存在步數(shù)gap和架構gap。直接套用DMD效果不好，因為雙向模型可以看到未來幀，而自回歸模型只能看到歷史幀。她進一步從理論上指出，ODE蒸餾要求帶噪狀態(tài)到干凈狀態(tài)存在逐幀單射性，但雙向注意力會讓同一首幀受到后續(xù)不同幀影響，導致同一輸入對應多個目標，模型學到條件期望而不是真實分布，生成結果就會模糊。

為解決這一問題，趙敏提出先訓練AR teacher，再進行ODE蒸餾。也就是說，不直接用雙向teacher做蒸餾，而是通過teacher forcing得到具備自回歸結構的teacher，再用它初始化AR few-step模型，保證逐幀映射的理論正確性。進一步地，她指出ODE蒸餾需要離線采大量teacher軌跡，成本很高，尤其面對十幾B規(guī)模模型時難以scaling。因此，團隊引入causal consistency distillation等更適合在線訓練的蒸餾方式，減少離線采樣成本，使從雙向模型到AR few-step模型的技術路線逐步收斂。

在方法之外，趙敏還介紹了全鏈路開源的實時可交互視頻世界模型框架。該框架覆蓋數(shù)據(jù)構造、雙向模型微調(diào)、AR微調(diào)、DMD/consistent distillation和AR推理，支持Wan和混元Video等不同架構，也面向WorldPlay等世界模型微調(diào)場景。團隊還把工程經(jīng)驗沉淀為Claude Code skill，用于多卡同步、attention算子匹配等復雜工程調(diào)試。她強調(diào)，開源框架的重要性在于讓社區(qū)不只獲得推理腳本，而是能復現(xiàn)從雙向基礎模型到實時可交互模型的完整訓練鏈路。

彭思達——面向三維世界模型的空間感知基礎模型研究

浙江大學彭思達以“面向三維世界模型的空間感知基礎模型研究”為題，將多模態(tài)論壇的討論從視頻和文本擴展到3D模態(tài)。他的研究工作關注自主移動機器人，包括無人車、倉儲機器人、無人機等物流、巡檢和出行場景。對這些系統(tǒng)而言，規(guī)模化評測和強化學習訓練不能全部依賴真實世界，因為真實環(huán)境成本高、安全風險大且失敗工況難復現(xiàn)。因此，高質(zhì)量仿真環(huán)境成為訓練和評測自主移動機器人不可或缺的基礎設施。

彭思達指出，現(xiàn)有導航仿真器主要依賴網(wǎng)格資產(chǎn)，但網(wǎng)格渲染質(zhì)量不高、Sim-to-real gap明顯、資產(chǎn)構建慢，難以滿足世界模型和機器人訓練需求。他的研究目標是構建復雜動態(tài)環(huán)境下能穩(wěn)定執(zhí)行任務的自主移動機器人，路線包括三部分：規(guī)模化構建三維高斯場景資產(chǎn)，基于三維高斯構建導航仿真器，再在仿真器中設計和訓練自主移動機器人模型，并遷移到真實世界。

在三維高斯資產(chǎn)構建方面，他指出傳統(tǒng)三維高斯重建需要對每個場景逐場景優(yōu)化，成本較高。近年前饋式三維高斯預測試圖用網(wǎng)絡一次推理跳過優(yōu)化過程，但核心難點是如何從圖像中獲得準確幾何。單目或多目深度估計在相對尺度上可較準，但絕對尺度往往不穩(wěn)定。團隊提出利用低成本LiDAR、iPhone ToF、Realsense等深度傳感器作為“提示詞”，將帶噪深度信號注入深度基礎模型，使模型輸出絕對尺度更準確的深度圖。更準確的深度也能提升具身抓取等下游策略表現(xiàn)。

他進一步指出，逐像素深度反投影到3D時，由于透視投影，遠處像素間距變大，點云會出現(xiàn)裂縫。解決思路是在像素之間預測次像素深度，用隱式編碼器根據(jù)查詢坐標輸出任意位置的深度值，從而補全幾何空隙，并提升細桿、細線等細節(jié)重建質(zhì)量。基于連續(xù)深度，團隊構建表面組織點云，再在三維空間預測分布合理的三維高斯，使單張圖片可進行大范圍視角漫游，并在風景照、城市建筑和AI生成圖像上展示較強泛化。

面對長序列圖像重建，彭思達指出VGGT等工作證明Transformer在足夠數(shù)據(jù)和模型規(guī)模下可以回歸camera pose和map，但圖像序列過長會爆顯存。彭思達團隊提出的Scal3R將長序列分為chunk，對每個chunk計算梯度，再對梯度做平均更新網(wǎng)絡，將復雜度從全局二次降低，同時仍讓網(wǎng)絡全局處理所有圖片。重要的是，它直接在長序列圖片上訓練，保證訓練與測試一致。該方法在校園8公里范圍和無紋理、反光嚴重的室內(nèi)環(huán)境中展示了較好閉環(huán)效果。

在導航仿真器方面，團隊擴展Habitat-Sim，將Mesh Renderer替換為3DGS Renderer，并接入三維高斯資產(chǎn)和數(shù)字人，實現(xiàn)更高質(zhì)量的導航環(huán)境。平臺繼承Habitat-Sim任務訓練和評測能力，支持StreamVLN、UniNavid等模型訓練，也拓展到智駕挑戰(zhàn)賽。

王騰飛——HY World：邁向統(tǒng)一的多模態(tài)世界模型

騰訊混元世界模型負責人王騰飛，系統(tǒng)介紹了混元World系列在視頻世界模型、3D世界模型、重建模型和開源生態(tài)上的進展。他從世界模型的歷史切入：世界模型原本是心理學概念，指智能體對世界的內(nèi)在理解和認知模型；在2023至2024年，生成式模型尤其是擴散模型在圖像、視頻和3D生成上的突破，重新定義了世界模型的實驗路徑和能力邊界。

王騰飛認為，當前生成式世界模型有不同路線。以Gemini為代表的視頻模態(tài)世界模型，通過海量互聯(lián)網(wǎng)視頻學習未來畫面預測，WorldLabs等路線更關注3D世界還原。騰訊混元的定位則是多模態(tài)世界模型，既做視頻形式的WorldPlay，也做可以導入仿真引擎的3D資產(chǎn)生成。混元World系列從早期驗證可行性，到WorldMirror端到端3D重建，再到WorldPlay視頻世界模型和World2.0可用3D模型，目標是讓生成內(nèi)容真正進入可交互和可編輯的引擎系統(tǒng)。

在視頻世界模型方面，WorldPlay的核心假設是，模型可通過自回歸預測下一幀來建模物理世界因果規(guī)律。它支持720P、24FPS實時生成，可生成第一人稱漫游視頻，也可在場景中加入角色進行控制。訓練采用四階段范式：預訓練階段將雙向視頻擴散模型轉(zhuǎn)為自回歸范式；中間訓練加入動作指令控制和memory機制；后訓練階段用WorldCompass強化學習提升長程生成中的指令遵從度和一致性；最后通過蒸餾提升推理速度，同時保持memory和強化學習帶來的能力。

WorldPlay的memory機制針對長視頻生成中的遺忘和沖突問題。模型會在歷史幀中選擇相關重要token保留，同時保留局部短時記憶，并將這些memory內(nèi)化到網(wǎng)絡中。數(shù)據(jù)管線同樣關鍵。混元使用互聯(lián)網(wǎng)游戲視頻、Vlog漫游視頻和UE合成數(shù)據(jù)，并進行水印檢測、UI檢測、質(zhì)量篩選、光流和3D重建評分，以及動作文本、多模態(tài)標簽和相機姿態(tài)標注。為解決自回歸視頻長程漂移，WorldCompass利用3D感知與重建模型從生成視頻中恢復運動軌跡，并與輸入指令對比形成reward，使復雜指令遵從度從26%提升到70%以上。

王騰飛指出，視頻本質(zhì)是3D世界的投影，而在許多場景中，大部分像素對應靜態(tài)背景，真正變化的是少量主體。因此，World2.0試圖生成可自由探索、可交互、可導入引擎的3D世界，而不是一段固定視頻。模型支持文本、圖像、視頻、幾何等多模態(tài)輸入，輸出3DGS、點云、深度、相機等多種格式。其核心流程包括：先生成全景或初始空間，再由空間理解與規(guī)劃模型規(guī)劃探索軌跡，隨后生成對應視角視頻，最后通過3D重建大模型轉(zhuǎn)為3D資產(chǎn)。

在他看來，世界模型下一階段的關鍵不是盲目scaling up，而是評判標準。當前評測多關注視覺質(zhì)量，但世界模型真正重要的是可交互性和可維持世界狀態(tài)。視頻世界模型和3D世界模型會從并行走向交融。3D模型提供世界框架和物理/空間規(guī)則，視頻模型作為渲染器提供人類可接受的畫面表達，最終走向圖、視頻、3D空間統(tǒng)一的多模態(tài)世界模型。

成宇——從Skyreels V4到Mureka V9：昆侖萬維的AIGC多模態(tài)布局

香港中文大學副教授、昆侖萬維集團首席科學家成宇從產(chǎn)業(yè)視角介紹“從SkyReels V4到Mureka V9”的AIGC多模態(tài)布局。他指出，昆侖萬維近年來圍繞“3+1”戰(zhàn)略展開：一個超級智能體方向，以及三個原生AIGC平臺。多模態(tài)論壇中，他重點介紹視頻生成平臺SkyReels和AI音樂生成平臺Mureka，展示多模態(tài)模型如何從單點技術走向創(chuàng)作工作流和商業(yè)應用。

在視頻方向，SkyReels的目標是打造下一代視聽創(chuàng)作范式。成宇認為，成熟AI視頻生成不是簡單生成一段好看的視頻，而是重構視聽創(chuàng)作邏輯。對普通用戶而言，工具應降低創(chuàng)作門檻、融入大眾文化并支撐自由表達；對產(chǎn)業(yè)創(chuàng)作者而言，工具應重構影視、廣告、短劇和教育內(nèi)容的生產(chǎn)流程，提高效率并提供可控編輯能力。SkyReels從2025年發(fā)布首個面向AI短劇的視頻模型，到V2支持無限長電影級生成，再到V3、V4持續(xù)升級，已從單點突破進入底層架構和全流程能力突破階段。

SkyReels V4的第一項核心突破是音畫一體雙流聯(lián)合生成架構。它不再將文本、語音、視頻分離處理，而是支持從文本到語音和視頻的聯(lián)合生成，解決分離式管線中的割裂。第二項突破是全模態(tài)理解和精準控制，支持多智能體參考、多圖片參考、運動參考和視頻編輯工具，可實現(xiàn)首幀續(xù)寫、多幀參考生成、動漫片段生成、多人電影級對話、人物或IP替換、服飾和外觀編輯、LOGO移除和多余人物刪減等能力。

第三項突破是全模態(tài)強化學習體系。成宇將其類比為“首席監(jiān)制”的上帝視角reward，覆蓋全模態(tài)任務，解決傳統(tǒng)視頻生成“重像素、輕邏輯”的痛點。模型通過循序漸進的強化學習，從低分辨率到高分辨率、從簡單任務到復雜任務逐步提升，使生成結果更貼合創(chuàng)作意圖。第四項突破是電影級畫質(zhì)與高效生成之間的平衡，目前可生成1080P、32FPS、15秒高分辨率視頻，并在全球視頻生成榜單中取得較好表現(xiàn)。但成宇強調(diào)，榜單不是目標，真正目標是通過API開放和去中心化賦能，讓短劇、在線平臺、教育、影視和廣告等行業(yè)獲得可用解決方案。

在音樂生成方向，Mureka V9希望成為AI視聽時代的技術燈塔。Mureka從2024年上線，逐步發(fā)展到V9，在精確控制、錄音級混音和生成多樣性上顯著提升。V9不僅能根據(jù)創(chuàng)作意圖控制段落表達，還能提高模型響應效率、成品音質(zhì)穩(wěn)定性和多語言、多風格生成能力。與Suno等頭部模型相比，Mureka V9在旋律性、音樂表現(xiàn)力、編排編曲和精準控制上已接近或部分超過其性能。成宇指出，Mureka Studio讓AI音樂不只是生成一首歌，而是覆蓋創(chuàng)作、素材、編輯、Remix、分發(fā)和二創(chuàng)的完整工作室流程。多模態(tài)AIGC的真正價值，來自模型能力、工具鏈、Agent系統(tǒng)和商業(yè)閉環(huán)的聯(lián)動。

曾愛玲——LPM 1.0：基于視頻生成的交互表演模型

Anuttacon研究員曾愛玲首先界定了什么是“表演”。在她看來，表演指的是角色通過視覺、聲音、時序行為外化意圖、情感和個性的過程，是角色生命感的來源。傳統(tǒng)3D管線能實現(xiàn)高質(zhì)量角色表演，但依賴建模、綁定、動畫、渲染等復雜流程，擴展到新身份、新行為風格和開放互動場景時成本極高。隨著開放世界游戲、直播、數(shù)字人和影視生產(chǎn)對大規(guī)模角色表演的需求增長，僅靠手工資產(chǎn)堆疊已難以滿足。

LPM的目標是從大規(guī)模視頻中學習人類如何運動和表演，聚焦單人和全雙工音視頻對話場景。全雙工意味著用戶和角色兩條音軌始終在線，角色可以說話、沉默、傾聽、被打斷，也可以打斷用戶；視頻維度則要求角色不僅在說話時嘴型同步，還要在用戶說話時表現(xiàn)出傾聽、理解、遲疑、反應、情緒變化和小動作。當雙方都不說話時，角色也應像活人一樣呼吸和保持自然狀態(tài)。

曾愛玲指出，現(xiàn)有音頻驅(qū)動視頻模型大多關注“說話”任務，傾聽音頻缺失；控制信號較弱，難以同時處理文本、說話音頻、傾聽音頻、多參考圖和身份保持；單首幀輸入也會導致牙齒、手、外觀等身份細節(jié)隨機變化。LPM 1.0因此試圖統(tǒng)一建模圖像、文本、說話音頻、傾聽音頻、多圖參考和視頻輸出，在表現(xiàn)力、實時推理和長時穩(wěn)定性之間取得平衡。她強調(diào)，這三者不是對稱目標，而是分層目標：首先要達到足夠表現(xiàn)力，再追求實時和長時穩(wěn)定。

數(shù)據(jù)方面，LPM構建了大規(guī)模人物視頻和對話數(shù)據(jù)。經(jīng)過精細篩選，原始數(shù)據(jù)保留率為11.5%，最終用于訓練的數(shù)據(jù)片段約3100萬，抽樣質(zhì)檢錯誤率低于1%。對話數(shù)據(jù)的關鍵是逐幀標注speak、listen和idle狀態(tài)，并將音頻拆成雙音軌。難點在于，現(xiàn)實訪談和電話視頻中，大部分鏡頭都給到說話者，傾聽者鏡頭只有約10%，且其中大量幾乎靜止。團隊從3000萬整體數(shù)據(jù)中篩出350萬傾聽clip，再通過語義理解和運動caption選出47萬條高質(zhì)量傾聽樣本，增強聽音頻與視頻表現(xiàn)之間的相關性。

為保持身份一致，LPM不僅輸入首幀，還可輸入1至4張多視角身體參考圖和1至8張不同表情參考圖。模型基于Wan 14B，在原有text cross attention基礎上增加speak audio和listen audio注入，并采用奇偶層交錯策略以節(jié)省50%計算量、減少梯度沖突。訓練分為Base LPM和Online LPM。Base LPM在480P上做多階段多模態(tài)對齊，并通過時序續(xù)寫訓練支持連續(xù)10分鐘生成、每5秒精準文本控制。Online LPM則解決實時和長時誤差問題，使模型可在2張H100上持續(xù)生成480P、24FPS視頻。

LPM Benchmark關注運動動態(tài)性、身份保持、文本控制和音畫同步四個維度。曾愛玲認為，LPM目前不是嚴格意義上的世界模型，因為它沒有在給定當前狀態(tài)和控制信號后預測下一狀態(tài)，而是在做多模態(tài)對齊和表演生成；但它很容易向世界模型方向轉(zhuǎn)化。未來，LPM還需沿時間軸拓展長時記憶，沿物理軸增加人與物、人與場景的交互和物理合理性，并進一步支持多人交互、人機交互和社交智能。

圓桌討論——從看懂到交互：多模態(tài)如何重構世界模型？

本場論壇的圓桌討論由趙敏主持，討論聚焦世界模型定義、原生AR視頻模型、Omni趨勢等關鍵問題。

問題一：世界模型的定義和核心能力是什么？

曾愛玲認為，世界模型最直白的定義是：給定當前狀態(tài)和后續(xù)控制信號，生成下一個狀態(tài)。關鍵不只是短時維持時序一致性，更是長時因果關系。在完成長程任務時，模型需要是否知道自己狀態(tài)發(fā)生了什么變化，任務是否完成，下一步應采取什么動作。她也區(qū)分了視頻生成和世界模型：LPM主要做多模態(tài)對齊和表演生成，不直接預測下一狀態(tài)，因此不是嚴格世界模型，但可向這個方向轉(zhuǎn)化。

鄧明揚從表征學習角度補充，視頻中存在許多穩(wěn)定性質(zhì)，例如上一幀出現(xiàn)的物體下一幀仍應存在。若模型能學習到這些性質(zhì)，就在某種意義上形成了世界模型。世界模型不僅是一種生成器，也是一種能捕捉世界結構和不變量的表征學習方法。

王騰飛給出兩個關鍵詞：可交互和可維持的世界狀態(tài)。世界模型載體可以是視頻、3D或其他形式，但與普通視頻生成不同，它不以美學、敘事、質(zhì)感為第一目標，而是關注能否基于當前狀態(tài)和控制信號預測下一狀態(tài)。機器人甚至不需要渲染像素，關鍵是場景中有多少物體、空間關系如何、物理屬性和規(guī)律是什么。這種世界狀態(tài)可以是顯式3D狀態(tài)，也可以是模型內(nèi)部的latent feature或物理規(guī)律表示。

問題二：未來是否會出現(xiàn)原生自回歸視頻模型？

曾愛玲認為，當下從雙向DiT蒸餾為單向causal模型，是因為雙向視頻DiT已經(jīng)work，并提供了“文本-視頻”對齊、身份保持和音頻控制等基礎能力。在這個基礎上，研究者需要思考交互信號何時加入，以及交互信號應是語義層、動作層還是其他控制層。未來從頭訓練單向模型有希望，但前提是能夠大規(guī)模構造交互數(shù)據(jù)，使交互視頻預訓練持續(xù)進行。

王騰飛則認為，語言模型的token具有相對獨立的語義單位，而視頻中單個像素信息量太低，因此視頻生成更自然以幀或chunk為單位。長序列視頻生成可能分階段發(fā)展，即先在短窗口中使用雙向diffusion訓練，再基于此擴展序列長度。當前“短序列雙向、長序列自回歸”的方式仍是相對合理的折中。

趙敏在主持中補充，視頻自回歸面臨連續(xù)token誤差累積問題，原生AR后訓練仍有挑戰(zhàn)；但若能讓原生AR視頻模型具備穩(wěn)定生成和交互能力，將是這一方向的重要突破。

問題三：多模態(tài)未來會走向Omni統(tǒng)一嗎？

鄧明揚認為，Omni統(tǒng)一當然是理想趨勢，因為不同模態(tài)的representation應能互相幫助。但目前實踐中，將不同模態(tài)簡單放在一起訓練，往往效果不升反降。原因可能在于不同訓練目標強調(diào)的東西不同，例如diffusion和flow matching強調(diào)視覺細節(jié)，可能過于模態(tài)特化。真正有價值的是找到能讓不同模態(tài)表征共享和互相促進的方法，類似多語言共同訓練中的遷移效果。

趙敏從視頻生成實踐出發(fā)指出，理解確實能幫助生成，例如更強的語言模型、VLM和RLM可提供更好的caption和語義條件。但目前還沒有充分證明生成能反過來提升理解。她認為，未來統(tǒng)一訓練需要處理好理解任務和生成任務之間的目標差異。

王騰飛同意理解對生成的價值。早期DiT中的encoder更像外觀條件輸入，后來MMDiT引入雙向交互，再到原生多模態(tài)模型，會更多利用語言模型預訓練經(jīng)驗，將理解能力嵌入圖像和視頻生成。他判斷，未來生成模型會越來越多借鑒語言模型和統(tǒng)一理解模型的技術路線。

問題四：未來1至3年最值得投入的問題是什么？

曾愛玲認為第一關鍵問題是評測。只有問題可驗證，領域才會快速進步。多模態(tài)視頻生成和視頻理解應建立面向應用場景、物理特性和機器人可用性的評測，并配套自動化算子，使模型迭代可量化。第二是video tokenizer和視頻表征學習。當前視頻理解多靠抽幀，對細粒度時序理解不足，而視頻生成逐幀生成時，評測器和理解模型卻常常沒有建模時序，這會成為瓶頸。

鄧明揚認為表征學習仍遠未解決。圖像生成中，長文本描述能幫助生成，但人眼看到的世界并不能被語言無損描述。缺少描述時，模型是否真正學到圖像和視頻分布的性質(zhì)，仍值得研究。視頻若直接自回歸訓練，容易出現(xiàn)漂移、變灰等問題，說明模型未必真正理解視頻分布的結構。如何讓模型學到更好的visual/video representation，是未來重要方向。

王騰飛同樣把評測列為關鍵問題。當前評測多關注視覺質(zhì)量和審美對齊，但世界模型最重要的是交互性和物理規(guī)律掌握。沒有好的交互評測，就無法判斷哪些進展是真實進步，也無法把評測信號轉(zhuǎn)化為強化學習reward。他認為，世界模型評測不僅是衡量工具，也可能成為下一階段訓練方法的重要組成部分。

大會回放 https://2026.baai.ac.cn

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）