世界模型評測的最大盲區(qū)，被這個(gè)新基準(zhǔn)捅破了

編輯｜澤南、Panda

世界模型，真的擁有記憶嗎？

如果你正把一杯水倒進(jìn)玻璃瓶，然后扭頭看了一眼窗外，再轉(zhuǎn)回來，瓶子里的水位應(yīng)該已經(jīng)發(fā)生變化。這是任何一個(gè)三歲孩子都具備的常識：東西不在眼前，不代表它消失了，更不代表它會停止變化。心理學(xué)把這種能力叫做「物體恒存（object permanence）」，是人類最早建立起來的認(rèn)知能力之一。

但對今天最先進(jìn)的視頻生成模型來說，這個(gè)任務(wù)卻不簡單。

過去一年里，「世界模型」成為視頻生成領(lǐng)域最熱的關(guān)鍵詞之一。從 Sora 到國產(chǎn)的多款視頻大模型，廠商們爭相強(qiáng)調(diào)自己的產(chǎn)品不只是「生成好看的畫面」，而是在「模擬真實(shí)世界的運(yùn)行規(guī)律」。其中，世界模型是否具備類似人類「物體恒存」的認(rèn)知能力，正成為衡量建模水平的核心標(biāo)尺：當(dāng)物體暫時(shí)離開視野、并在遮擋期間持續(xù)發(fā)生物理變化時(shí)，模型能否記住它的身份、推演它的狀態(tài)，并在它重新出現(xiàn)時(shí)準(zhǔn)確還原？

長期以來，業(yè)界評測始終未能精準(zhǔn)檢驗(yàn)這一能力：絕大多數(shù)基準(zhǔn)只考核物體持續(xù)可見時(shí)的幀間一致性；少數(shù)涉及遮擋的測試，也多針對靜態(tài)場景（物體消失期間環(huán)境沒有任何變化），無法驗(yàn)證模型對動態(tài)世界的記憶與推演能力。

針對這個(gè)問題，來自哈佛大學(xué)、MIT、IBM、波士頓大學(xué)、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一個(gè)新的診斷性基準(zhǔn)：MemoBench。這是首個(gè)面向動態(tài)環(huán)境的「消失-重現(xiàn)」世界建模評測基準(zhǔn)，并已被計(jì)算機(jī)視覺頂會 ECCV 2026 接收。其一作 Haoyu Chen 為哈佛大學(xué)計(jì)算科學(xué)與工程專業(yè)一年級碩士生，師從哈佛大學(xué)計(jì)算機(jī)科學(xué)助理教授 Yilun Du。

• 論文標(biāo)題：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

• 論文地址：https://arxiv.org/abs/2606.27537

• 項(xiàng)目主頁：https://memobench-team.github.io/

• 代碼：https://github.com/MemoBench-Team/MemoBench

• 數(shù)據(jù)集：https://huggingface.co/datasets/tonyc54/MemoBench

該基準(zhǔn)以 360 段高質(zhì)量真值視頻為基礎(chǔ)，搭配自動化指標(biāo)與語義化 VQA 評估體系，系統(tǒng)測試了 10 個(gè)主流世界生成模型，清晰揭示了當(dāng)前技術(shù)在記憶一致性上的核心短板：沒有一個(gè)的「物體重現(xiàn)得分」超過 0.6（滿分 1）。也就是說，沒有一個(gè)模型能穩(wěn)定地讓消失的物體「記得住、認(rèn)得出、變得對」。

這個(gè)結(jié)果也讓研究團(tuán)隊(duì)給出了一個(gè)非常直接的核心判斷：現(xiàn)有視頻生成模型即使能生成視覺上完全連貫的畫面，也幾乎無法在物體重新出現(xiàn)時(shí)，正確恢復(fù)它在「消失期間」本該經(jīng)歷的狀態(tài)變化。這一結(jié)論清晰揭示了「生成畫面逼真」與「真正理解世界」之間的顯著差距，也為下一代世界模型的研發(fā)提供了可量化的診斷標(biāo)尺。

「記住」世界：世界模型的必答題

近年來，視頻生成技術(shù)快速迭代，模型已經(jīng)能夠生成高分辨率、時(shí)序連貫的動態(tài)畫面，也被越來越多地視作「世界模擬器」，為自動駕駛、機(jī)器人操縱、具身智能等場景提供環(huán)境推演能力。

但真實(shí)世界的運(yùn)轉(zhuǎn)，不會因視線離開而停止：冰塊會持續(xù)融化、火焰會持續(xù)燃燒、行人會持續(xù)行走、觸碰液體的紙張會被持續(xù)浸染……

MemoBench 數(shù)據(jù)集中一個(gè)來自真實(shí)世界的數(shù)據(jù)樣本

一個(gè)真正合格的世界模型，應(yīng)當(dāng)具備類似人類「物體恒存」的認(rèn)知能力：即便物體暫時(shí)離開視野，也能維持對它的身份、位置與狀態(tài)的表征，并正確推演其在遮擋期間的變化。

這恰恰是當(dāng)前評測體系的核心盲區(qū)。現(xiàn)有的視頻生成基準(zhǔn)大多只考核物體全程可見時(shí)的幀間一致性；少數(shù)涉及遮擋的測試，也多針對靜態(tài)場景（物體消失期間環(huán)境沒有任何變化）。因此只需還原原有外觀即可通過測試，完全無法驗(yàn)證模型對動態(tài)世界的記憶與推演能力。

我們始終無法確認(rèn)：當(dāng)物體重新出現(xiàn)在畫面中時(shí)，模型是真的「記住并更新了世界狀態(tài)」，還是僅僅「重新生成了一個(gè)看起來合理的畫面」？

MemoBench：補(bǔ)齊世界建模評測的新基準(zhǔn)

核心設(shè)計(jì)：「可見-消失-重現(xiàn)」三段式范式

現(xiàn)有的視頻生成基準(zhǔn)（如 VBench、WorldScore 等）主要評估視覺質(zhì)量、物理一致性或相機(jī)的運(yùn)動控制。它們幾乎只評估「持續(xù)出現(xiàn)在畫面中」的物體，如果偶爾有物體移出畫面，現(xiàn)有基準(zhǔn)也多是在靜態(tài)場景下進(jìn)行評估，缺乏對遮擋期間動態(tài)變化的考察。

為了回答這個(gè)問題，MemoBench 建立了Visible–Disappear–Reappear（可見-消失-重現(xiàn)，可縮寫為V-D-R）的核心評測范式，用簡潔的三段式結(jié)構(gòu)，精準(zhǔn)探測模型是否維持了對物體的持久狀態(tài)表征。

每一個(gè)測試樣本都嚴(yán)格遵循統(tǒng)一的物理邏輯：

1. 可見（Visible）：目標(biāo)物體完整呈現(xiàn)在視野內(nèi)，并且正處于持續(xù)的物理變化過程中，比如可能是正在行走的人物、正在融化的冰塊、正在傾倒的粉末。模型可以觀察到物體的初始狀態(tài)與變化趨勢。

2. 消失（Disappear）：相機(jī)通過平移、轉(zhuǎn)頭、U 型轉(zhuǎn)彎等運(yùn)動完全移開視線，目標(biāo)物體徹底離開視野。在此期間，物理過程不會停止，會按照自然規(guī)律持續(xù)演化。

3. 重現(xiàn)（Reappear）：相機(jī)轉(zhuǎn)回對應(yīng)區(qū)域，目標(biāo)物體重新進(jìn)入畫面。模型需要準(zhǔn)確還原物體更新后的狀態(tài)，包括位置、形態(tài)、物理變化進(jìn)度等，與真實(shí)演化結(jié)果對齊。

MemoBench 概述。第 1–2 行展示了一段合成的「可見–消失–重現(xiàn)」序列及其相機(jī)軌跡；第 3–4 行展示了一段真實(shí)世界的狀態(tài)變化序列（粉末傾倒）。MemoBench 包含 196 段合成剪輯和 164 段真實(shí)世界剪輯，通過自動化指標(biāo)和 LLM 評判的 VQA 進(jìn)行評估。

這個(gè)看起來簡單的范式，考驗(yàn)的是世界模型的核心能力：模型不能只是在做逐幀的畫面生成，而是必須在視野外維護(hù)一個(gè)持續(xù)演化的世界狀態(tài)。

它同時(shí)考驗(yàn)視覺記憶、狀態(tài)更新與動態(tài)推演能力，是對「真實(shí)世界建模水平」的直接檢驗(yàn)。

數(shù)據(jù)構(gòu)建：合成場景與真實(shí)素材雙管齊下

基于這一范式，MemoBench 構(gòu)建了合成與真實(shí)世界兩條并行的數(shù)據(jù)流水線，共包含360 段1920×1080 分辨率的高質(zhì)量 Ground-truth 視頻，配上完整的幾何標(biāo)注與評測工具：

• 合成子集（196 段）：在虛幻引擎 5 中渲染生成，覆蓋 5 大類環(huán)境、14 個(gè)子場景，包含 U 型轉(zhuǎn)彎、前進(jìn)移動、頭部轉(zhuǎn)動、垂直運(yùn)動等多種復(fù)雜相機(jī)軌跡。每段視頻都附帶逐幀 RGB 圖、度量深度圖、相機(jī)內(nèi)參與相機(jī)位姿，能夠支撐幾何層面的精準(zhǔn)評估，重點(diǎn)測試大視角變化下的空間記憶能力。

合成數(shù)據(jù)：由虛幻引擎 5 渲染的 5 個(gè)類別下的 14 個(gè)場景。

• 真實(shí)世界子集（164 段）：在可控室內(nèi)環(huán)境中實(shí)拍完成，覆蓋 7 大類、30 種物理狀態(tài)變化過程，包括溶解、燃燒熱變、擴(kuò)散吸收、化學(xué)反應(yīng)、粘性流動、泡沫演化、力學(xué)形變等。這些依賴粘度、彈性、熱傳導(dǎo)等真實(shí)材質(zhì)屬性的過程，難以被游戲引擎精準(zhǔn)模擬，專門用于檢驗(yàn)?zāi)Ｐ蛯φ鎸?shí)物理動態(tài)的記憶準(zhǔn)確性。

真實(shí)世界數(shù)據(jù)：在受控室內(nèi)環(huán)境中拍攝，涵蓋 7 大類別的 30 種物理狀態(tài)變化過程

所有樣本都經(jīng)過人工標(biāo)注，精準(zhǔn)標(biāo)記了物體「完全消失」和「完全重現(xiàn)」兩個(gè)關(guān)鍵幀，用以精確劃分可見（V）、消失（D）、重現(xiàn)（R）三個(gè)階段，作為后續(xù)所有評測指標(biāo)計(jì)算的基礎(chǔ)。

MemoBench 的數(shù)據(jù)整編流程

怎么打分：自動化指標(biāo) + VQA 雙線評測

MemoBench 設(shè)計(jì)了自動化量化指標(biāo) + VQA 語義評估兩套互補(bǔ)的評估方案，既看底層像素保真，也看高層語義正確，避免單一指標(biāo)的片面性。

自動化指標(biāo)覆蓋三大維度，所有核心分?jǐn)?shù)均歸一化到 0-100 區(qū)間，考驗(yàn)世界模型的：

• 通用視頻質(zhì)量：包含視覺質(zhì)量、運(yùn)動平滑度、物體身份一致性、3D 幾何一致性四項(xiàng)，衡量基礎(chǔ)生成能力；

• 記憶專屬指標(biāo)：這是評測的核心。其中物體重現(xiàn)分?jǐn)?shù)（ORS）通過 SAM-3 文本驅(qū)動分割模型，檢測重現(xiàn)階段目標(biāo)物體的存在性與置信度，直接衡量模型能否讓目標(biāo)「正確回來」；同時(shí)包含分階段的像素級保真度（PSNR、SSIM、LPIPS）與相機(jī)可控性指標(biāo)，可精準(zhǔn)定位性能退化的具體環(huán)節(jié)。

• 提示保真度：通過 ImageReward 衡量生成內(nèi)容與文本提示的匹配程度。

VQA 語義評估則聚焦自動化指標(biāo)難以捕捉的高層語義合理性，覆蓋四個(gè)診斷維度：

1. 指令遵循：是否準(zhǔn)確執(zhí)行提示中的相機(jī)運(yùn)動、物體軌跡與事件順序；

2. 物體與背景一致性：前后景元素是否存在形態(tài)漂移、身份切換、場景突變；

3. 記憶連續(xù)性：物體消失期間，模型是否維持了它的身份、軌跡與狀態(tài)，是與「消失-重現(xiàn)」范式最直接對應(yīng)的維度；

4. 物理合理性：運(yùn)動、重力、光影陰影是否符合物理規(guī)律。

VQA 評估流程。大語言模型根據(jù)提示詞和首幀生成 24 個(gè)極性平衡的是/否問題（每個(gè)維度 6 個(gè)）。問題通過真實(shí)標(biāo)注和失敗片段評估進(jìn)行篩選，再由人工審核驗(yàn)證。最終問題庫應(yīng)用于每個(gè)生成的視頻，從而得出四個(gè)診斷維度各自的通過率。

為了保證評估的可靠性，所有問題都經(jīng)過真值過濾、失敗案例過濾與人工交叉驗(yàn)證三輪篩選。最終人工與 VLM 判斷的整體一致性達(dá) 92.9%，Cohen's κ 系數(shù)為 0.85，評估結(jié)果具備很高的可信度。

當(dāng)前世界模型的真實(shí)水平如何？

研究團(tuán)隊(duì)在 MemoBench 上測試了 10 個(gè)當(dāng)前主流的世界生成模型，涵蓋相機(jī)可控圖生視頻（CI2V）、顯式 3D 視角合成、普通圖生視頻（I2V）三類技術(shù)路線，得到了一系列關(guān)鍵發(fā)現(xiàn)，清晰呈現(xiàn)了當(dāng)前世界建模技術(shù)的能力邊界。

MemoBench 給出的核心結(jié)論是：當(dāng)前沒有任何一個(gè)模型能可靠完成「消失-重現(xiàn)」的記憶任務(wù)。

所有被測模型的物體重現(xiàn)分?jǐn)?shù)（ORS）均未超過 0.6；在真正執(zhí)行相機(jī)軌跡、讓物體實(shí)際離開畫面的模型中，「記憶連續(xù)性」維度的語義得分最高也只有 55.6 分（滿分 100，57.0 的 LTX-Video 因相機(jī)不動存在虛高問題）；也就是說，即便是最強(qiáng)的模型，針對記憶的提問也只能答對一半多一點(diǎn)。

在 MemoBench 上對 10 個(gè)世界生成模型的自動評估。模型分為 CI2V、基于 3D 和 I2V 三類。↑：越高越好；↓：越低越好。加粗：最佳；下劃線：次佳。

在 MemoBench 上跨四個(gè)語義維度的 VQA 評估。每個(gè)維度評分范圍為 0–100（↑：越高越好）。模型分為 CI2V、基于 3D 和 I2V 三類。粗體：最佳；下劃線：次佳。

一旦物體離開畫面，模型的「記憶」就開始快速退化。重現(xiàn)時(shí)的內(nèi)容要么直接消失，要么被隨機(jī)幻覺替代，要么外觀還在、狀態(tài)卻完全不對。

研究團(tuán)隊(duì)把這些失敗系統(tǒng)整理成六類：物體憑空消失、身份悄悄換人、狀態(tài)被重置回初始、位置突然跳變、背景被幻覺填充、相機(jī)軌跡發(fā)生漂移。

LingBot-World 的失敗分類。這里報(bào)告的計(jì)數(shù)并非互斥，因?yàn)橐粋€(gè)生成的序列可能表現(xiàn)出多種失敗類型。

其中，合成場景里最常見的失敗是「背景幻覺」，即物體還在，但身后的世界已經(jīng)面目全非；真實(shí)場景里最常見的則是「身份漂移」，即同一個(gè)物體，消失前后的樣子判若兩物。

這個(gè)大盤結(jié)論之外，評測還揭示了幾組值得深入討論的對照。

發(fā)現(xiàn) 1：「相機(jī)不動」會虛高一致性分?jǐn)?shù)，傳統(tǒng)指標(biāo)存在盲區(qū)

最反直覺的發(fā)現(xiàn)出現(xiàn)在普通圖生視頻模型（I2V）身上。

LTX-Video 沒有任何相機(jī)控制能力，但它在運(yùn)動平滑度、3D 幾何一致性、物體身份一致性三項(xiàng)指標(biāo)上全部排名第一，物體重現(xiàn)分?jǐn)?shù)也達(dá)到了 0.330。

單看數(shù)字，成績相當(dāng)體面，但研究團(tuán)隊(duì)發(fā)現(xiàn)，這份「好成績」的來源非常可疑：LTX-Video 幾乎不移動相機(jī)，目標(biāo)物體從頭到尾留在畫面里，「物體從未消失」自然就「物體從未失憶」。它的高分是用「回避挑戰(zhàn)」換來的，而非真正的記憶能力。

不同模型在沖泡咖啡任務(wù)上的生成表現(xiàn)

這暴露了一個(gè)重要的評測漏洞：傳統(tǒng)視頻質(zhì)量指標(biāo)無法區(qū)分「在真實(shí)視角變化中保持一致」和「靠靜止鏡頭繞開一切挑戰(zhàn)」這兩種本質(zhì)不同的情況。

MemoBench 專門設(shè)計(jì)了「相機(jī)可控性」和「指令遵循」兩個(gè)維度來識別這種現(xiàn)象。而在這兩項(xiàng)上，LTX-Video 的得分排到了最后一檔。

發(fā)現(xiàn) 2：能控制相機(jī)，不代表記得住物體

既然靜止鏡頭會「作弊」，那支持相機(jī)條件控制的模型，表現(xiàn)是否就一定更好？

答案是：不一定，而且差距相當(dāng)懸殊。

同樣接受相機(jī)軌跡作為輸入，五個(gè) CI2V 模型的物體重現(xiàn)分?jǐn)?shù)從 0.266 到 0.582 不等，跨度超過一倍。HunyuanWorldPlay 以 0.582 的 ORS 領(lǐng)跑 CI2V 陣營，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276；后兩者的視覺畫質(zhì)評分反而更高。

這組數(shù)據(jù)說明：相機(jī)能跟著軌跡走和模型腦子里是否維護(hù)著「走開之前那個(gè)世界的狀態(tài)」，是兩件獨(dú)立的事。鏡頭控制得再精準(zhǔn)，也只是「知道該看哪里」，不是「記住了那里之前發(fā)生了什么」。

物體恒存不會作為相機(jī)條件生成的副產(chǎn)品自然涌現(xiàn)，它必須被顯式地納入訓(xùn)練目標(biāo)。

發(fā)現(xiàn) 3：幾何精確和畫面好看，往往不可兼得

3D 類模型提供了最鮮明的能力分化樣本。

• Stable Virtual Camera 直接以顯式相機(jī)位姿驅(qū)動渲染，相機(jī)軌跡控制最為精準(zhǔn)，像素級保真度在所有模型中也最高；但它的視覺質(zhì)量評分偏低，畫面中容易出現(xiàn)模糊邊緣、拼接縫和深度修補(bǔ)錯誤，VQA 語義評分同樣靠后。

• Matrix-Game 2.0 則完全相反：畫面最銳利、視覺質(zhì)量最高，但相機(jī)軌跡經(jīng)常跑偏；同一段軌跡指令，它生成的視角和真實(shí)路徑偏差巨大，導(dǎo)致像素保真度和 VQA 得分都落入低位。

這兩個(gè)模型同時(shí)站在評測榜單的兩個(gè)極端，共同說明一件事：幾何準(zhǔn)確和畫面自然度，在當(dāng)前技術(shù)框架下還沒有對齊。用畫質(zhì)評分去推斷幾何精度，或者反過來，都會得出錯誤結(jié)論。

這也是 MemoBench 堅(jiān)持多維度評測的核心原因：用任何單一指標(biāo)，你都只能看見這張地圖的一角。

發(fā)現(xiàn) 4：擴(kuò)大模型，不如給它看第一幀

論文還披露了一項(xiàng)消融實(shí)驗(yàn)，結(jié)論相當(dāng)出人意料。

研究團(tuán)隊(duì)對 Wan2.2 做了兩組對照：一組把模型參數(shù)量從 5B 擴(kuò)到 14B，另一組保持 5B 參數(shù)不變，但額外提供「可見階段的第一幀」作為圖像條件輸入。

結(jié)果顯示，加入第一幀條件使 PSNR 提升了約 4.2 dB，感知距離（LPIPS）下降了 0.20；而參數(shù)擴(kuò)大近三倍，對這兩項(xiàng)指標(biāo)的改善微乎其微。也就是說，讓模型清楚地「看見」物體的初始狀態(tài)，比單純堆參數(shù)量對記憶任務(wù)有用得多。

Wan2.2 初始狀態(tài)條件化與骨干網(wǎng)絡(luò)容量消融實(shí)驗(yàn)結(jié)果。基于 50 個(gè)片段。「V-frame」指將可見階段的首幀作為圖像條件。

這一發(fā)現(xiàn)指向了一個(gè)重要的設(shè)計(jì)方向：與其追求更大的模型，不如在「初始狀態(tài)如何被編碼和保持」這件事上下功夫。

十個(gè)模型同臺競技，四組發(fā)現(xiàn)從不同側(cè)面共同指向同一個(gè)結(jié)論：讓畫面看起來連貫和真正記住世界的狀態(tài)，是兩件截然不同的事情。而后者才是世界模型走向真實(shí)應(yīng)用必須跨越的核心門檻。

共建世界模型評測標(biāo)尺

MemoBench 揭開的，不只是當(dāng)前技術(shù)的短板，也是一個(gè)長期被忽視的研究方向「動態(tài)遮擋下的視覺記憶」第一次有了可量化、可對比、可追蹤的評測基礎(chǔ)。

對于研究者而言，這套體系在指出問題的同時(shí)，也暗示了改進(jìn)路徑：持久狀態(tài)表征的顯式建模、以記憶為目標(biāo)的訓(xùn)練策略、對初始狀態(tài)感知的強(qiáng)化設(shè)計(jì)，都是接下來值得深耕的方向。

目前，論文、代碼、數(shù)據(jù)集與公開榜單均已開源，研究者可以直接使用評測工具測試自己的模型，并將結(jié)果提交至排行榜，與社區(qū)共享進(jìn)展。

• 榜單地址：https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

從「生成好看的視頻」到「維護(hù)一個(gè)真實(shí)的世界」，這中間隔著的，正是 MemoBench 正在度量的那段距離。它不一定短，但現(xiàn)在至少有了刻度。

? THE END

轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)