世界模型評測的最大盲區(qū)，被這個新基準(zhǔn)捅破了

世界模型，真的擁有記憶嗎？

如果你正把一杯水倒進(jìn)玻璃瓶，然后扭頭看了一眼窗外，再轉(zhuǎn)回來，瓶子里的水位應(yīng)該已經(jīng)發(fā)生變化。這是任何一個三歲孩子都具備的常識：東西不在眼前，不代表它消失了，更不代表它會停止變化。心理學(xué)把這種能力叫做「物體恒存（object permanence）」，是人類最早建立起來的認(rèn)知能力之一。

但對今天最先進(jìn)的視頻生成模型來說，這個任務(wù)卻不簡單。

過去一年里，「世界模型」成為視頻生成領(lǐng)域最熱的關(guān)鍵詞之一。從 Sora 到國產(chǎn)的多款視頻大模型，廠商們爭相強調(diào)自己的產(chǎn)品不只是「生成好看的畫面」，而是在「模擬真實世界的運行規(guī)律」。其中，世界模型是否具備類似人類「物體恒存」的認(rèn)知能力，正成為衡量建模水平的核心標(biāo)尺：當(dāng)物體暫時離開視野、并在遮擋期間持續(xù)發(fā)生物理變化時，模型能否記住它的身份、推演它的狀態(tài)，并在它重新出現(xiàn)時準(zhǔn)確還原？

長期以來，業(yè)界評測始終未能精準(zhǔn)檢驗這一能力：絕大多數(shù)基準(zhǔn)只考核物體持續(xù)可見時的幀間一致性；少數(shù)涉及遮擋的測試，也多針對靜態(tài)場景（物體消失期間環(huán)境沒有任何變化），無法驗證模型對動態(tài)世界的記憶與推演能力。

針對這個問題，來自哈佛大學(xué)、MIT、IBM、波士頓大學(xué)、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一個新的診斷性基準(zhǔn)：MemoBench。這是首個面向動態(tài)環(huán)境的「消失-重現(xiàn)」世界建模評測基準(zhǔn)，并已被計算機視覺頂會 ECCV 2026 接收。其一作 Haoyu Chen 為哈佛大學(xué)計算科學(xué)與工程專業(yè)一年級碩士生，師從哈佛大學(xué)計算機科學(xué)助理教授 Yilun Du。

• 論文標(biāo)題：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments
• 論文地址：https://arxiv.org/abs/2606.27537
• 項目主頁：https://memobench-team.github.io/
• 代碼：https://github.com/MemoBench-Team/MemoBench
• 數(shù)據(jù)集：https://huggingface.co/datasets/tonyc54/MemoBench

該基準(zhǔn)以 360 段高質(zhì)量真值視頻為基礎(chǔ)，搭配自動化指標(biāo)與語義化 VQA 評估體系，系統(tǒng)測試了 10 個主流世界生成模型，清晰揭示了當(dāng)前技術(shù)在記憶一致性上的核心短板：沒有一個的「物體重現(xiàn)得分」超過 0.6（滿分 1）。也就是說，沒有一個模型能穩(wěn)定地讓消失的物體「記得住、認(rèn)得出、變得對」。

這個結(jié)果也讓研究團(tuán)隊給出了一個非常直接的核心判斷：現(xiàn)有視頻生成模型即使能生成視覺上完全連貫的畫面，也幾乎無法在物體重新出現(xiàn)時，正確恢復(fù)它在「消失期間」本該經(jīng)歷的狀態(tài)變化。這一結(jié)論清晰揭示了「生成畫面逼真」與「真正理解世界」之間的顯著差距，也為下一代世界模型的研發(fā)提供了可量化的診斷標(biāo)尺。

「記住」世界：世界模型的必答題

近年來，視頻生成技術(shù)快速迭代，模型已經(jīng)能夠生成高分辨率、時序連貫的動態(tài)畫面，也被越來越多地視作「世界模擬器」，為自動駕駛、機器人操縱、具身智能等場景提供環(huán)境推演能力。

但真實世界的運轉(zhuǎn)，不會因視線離開而停止：冰塊會持續(xù)融化、火焰會持續(xù)燃燒、行人會持續(xù)行走、觸碰液體的紙張會被持續(xù)浸染……

MemoBench 數(shù)據(jù)集中一個來自真實世界的數(shù)據(jù)樣本

一個真正合格的世界模型，應(yīng)當(dāng)具備類似人類「物體恒存」的認(rèn)知能力：即便物體暫時離開視野，也能維持對它的身份、位置與狀態(tài)的表征，并正確推演其在遮擋期間的變化。

這恰恰是當(dāng)前評測體系的核心盲區(qū)。現(xiàn)有的視頻生成基準(zhǔn)大多只考核物體全程可見時的幀間一致性；少數(shù)涉及遮擋的測試，也多針對靜態(tài)場景（物體消失期間環(huán)境沒有任何變化）。因此只需還原原有外觀即可通過測試，完全無法驗證模型對動態(tài)世界的記憶與推演能力。

我們始終無法確認(rèn)：當(dāng)物體重新出現(xiàn)在畫面中時，模型是真的「記住并更新了世界狀態(tài)」，還是僅僅「重新生成了一個看起來合理的畫面」？

MemoBench：補齊世界建模評測的新基準(zhǔn)

核心設(shè)計：「可見-消失-重現(xiàn)」三段式范式

現(xiàn)有的視頻生成基準(zhǔn)（如 VBench、WorldScore 等）主要評估視覺質(zhì)量、物理一致性或相機的運動控制。它們幾乎只評估「持續(xù)出現(xiàn)在畫面中」的物體，如果偶爾有物體移出畫面，現(xiàn)有基準(zhǔn)也多是在靜態(tài)場景下進(jìn)行評估，缺乏對遮擋期間動態(tài)變化的考察。

為了回答這個問題，MemoBench 建立了Visible–Disappear–Reappear（可見-消失-重現(xiàn)，可縮寫為V-D-R）的核心評測范式，用簡潔的三段式結(jié)構(gòu)，精準(zhǔn)探測模型是否維持了對物體的持久狀態(tài)表征。

每一個測試樣本都嚴(yán)格遵循統(tǒng)一的物理邏輯：

1. 可見（Visible）：目標(biāo)物體完整呈現(xiàn)在視野內(nèi)，并且正處于持續(xù)的物理變化過程中，比如可能是正在行走的人物、正在融化的冰塊、正在傾倒的粉末。模型可以觀察到物體的初始狀態(tài)與變化趨勢。
2. 消失（Disappear）：相機通過平移、轉(zhuǎn)頭、U 型轉(zhuǎn)彎等運動完全移開視線，目標(biāo)物體徹底離開視野。在此期間，物理過程不會停止，會按照自然規(guī)律持續(xù)演化。
3. 重現(xiàn)（Reappear）：相機轉(zhuǎn)回對應(yīng)區(qū)域，目標(biāo)物體重新進(jìn)入畫面。模型需要準(zhǔn)確還原物體更新后的狀態(tài)，包括位置、形態(tài)、物理變化進(jìn)度等，與真實演化結(jié)果對齊。

MemoBench 概述。第 1–2 行展示了一段合成的「可見–消失–重現(xiàn)」序列及其相機軌跡；第 3–4 行展示了一段真實世界的狀態(tài)變化序列（粉末傾倒）。MemoBench 包含 196 段合成剪輯和 164 段真實世界剪輯，通過自動化指標(biāo)和 LLM 評判的 VQA 進(jìn)行評估。

這個看起來簡單的范式，考驗的是世界模型的核心能力：模型不能只是在做逐幀的畫面生成，而是必須在視野外維護(hù)一個持續(xù)演化的世界狀態(tài)。

它同時考驗視覺記憶、狀態(tài)更新與動態(tài)推演能力，是對「真實世界建模水平」的直接檢驗。

數(shù)據(jù)構(gòu)建：合成場景與真實素材雙管齊下

基于這一范式，MemoBench 構(gòu)建了合成與真實世界兩條并行的數(shù)據(jù)流水線，共包含360 段1920×1080 分辨率的高質(zhì)量 Ground-truth 視頻，配上完整的幾何標(biāo)注與評測工具：

• 合成子集（196 段）：在虛幻引擎 5 中渲染生成，覆蓋 5 大類環(huán)境、14 個子場景，包含 U 型轉(zhuǎn)彎、前進(jìn)移動、頭部轉(zhuǎn)動、垂直運動等多種復(fù)雜相機軌跡。每段視頻都附帶逐幀 RGB 圖、度量深度圖、相機內(nèi)參與相機位姿，能夠支撐幾何層面的精準(zhǔn)評估，重點測試大視角變化下的空間記憶能力。

合成數(shù)據(jù)：由虛幻引擎 5 渲染的 5 個類別下的 14 個場景。

• 真實世界子集（164 段）：在可控室內(nèi)環(huán)境中實拍完成，覆蓋 7 大類、30 種物理狀態(tài)變化過程，包括溶解、燃燒熱變、擴散吸收、化學(xué)反應(yīng)、粘性流動、泡沫演化、力學(xué)形變等。這些依賴粘度、彈性、熱傳導(dǎo)等真實材質(zhì)屬性的過程，難以被游戲引擎精準(zhǔn)模擬，專門用于檢驗?zāi)Ｐ蛯φ鎸嵨锢韯討B(tài)的記憶準(zhǔn)確性。

真實世界數(shù)據(jù)：在受控室內(nèi)環(huán)境中拍攝，涵蓋 7 大類別的 30 種物理狀態(tài)變化過程

所有樣本都經(jīng)過人工標(biāo)注，精準(zhǔn)標(biāo)記了物體「完全消失」和「完全重現(xiàn)」兩個關(guān)鍵幀，用以精確劃分可見（V）、消失（D）、重現(xiàn)（R）三個階段，作為后續(xù)所有評測指標(biāo)計算的基礎(chǔ)。

MemoBench 的數(shù)據(jù)整編流程

怎么打分：自動化指標(biāo) + VQA 雙線評測

MemoBench 設(shè)計了自動化量化指標(biāo) + VQA 語義評估兩套互補的評估方案，既看底層像素保真，也看高層語義正確，避免單一指標(biāo)的片面性。

自動化指標(biāo)覆蓋三大維度，所有核心分?jǐn)?shù)均歸一化到 0-100 區(qū)間，考驗世界模型的：

• 通用視頻質(zhì)量：包含視覺質(zhì)量、運動平滑度、物體身份一致性、3D 幾何一致性四項，衡量基礎(chǔ)生成能力；
• 記憶專屬指標(biāo)：這是評測的核心。其中物體重現(xiàn)分?jǐn)?shù)（ORS）通過 SAM-3 文本驅(qū)動分割模型，檢測重現(xiàn)階段目標(biāo)物體的存在性與置信度，直接衡量模型能否讓目標(biāo)「正確回來」；同時包含分階段的像素級保真度（PSNR、SSIM、LPIPS）與相機可控性指標(biāo)，可精準(zhǔn)定位性能退化的具體環(huán)節(jié)。
• 提示保真度：通過 ImageReward 衡量生成內(nèi)容與文本提示的匹配程度。

VQA 語義評估則聚焦自動化指標(biāo)難以捕捉的高層語義合理性，覆蓋四個診斷維度：

1. 指令遵循：是否準(zhǔn)確執(zhí)行提示中的相機運動、物體軌跡與事件順序；
2. 物體與背景一致性：前后景元素是否存在形態(tài)漂移、身份切換、場景突變；
3. 記憶連續(xù)性：物體消失期間，模型是否維持了它的身份、軌跡與狀態(tài)，是與「消失-重現(xiàn)」范式最直接對應(yīng)的維度；
4. 物理合理性：運動、重力、光影陰影是否符合物理規(guī)律。

VQA 評估流程。大語言模型根據(jù)提示詞和首幀生成 24 個極性平衡的是/否問題（每個維度 6 個）。問題通過真實標(biāo)注和失敗片段評估進(jìn)行篩選，再由人工審核驗證。最終問題庫應(yīng)用于每個生成的視頻，從而得出四個診斷維度各自的通過率。

為了保證評估的可靠性，所有問題都經(jīng)過真值過濾、失敗案例過濾與人工交叉驗證三輪篩選。最終人工與 VLM 判斷的整體一致性達(dá) 92.9%，Cohen's κ 系數(shù)為 0.85，評估結(jié)果具備很高的可信度。

當(dāng)前世界模型的真實水平如何？

研究團(tuán)隊在 MemoBench 上測試了 10 個當(dāng)前主流的世界生成模型，涵蓋相機可控圖生視頻（CI2V）、顯式 3D 視角合成、普通圖生視頻（I2V）三類技術(shù)路線，得到了一系列關(guān)鍵發(fā)現(xiàn)，清晰呈現(xiàn)了當(dāng)前世界建模技術(shù)的能力邊界。

MemoBench 給出的核心結(jié)論是：當(dāng)前沒有任何一個模型能可靠完成「消失-重現(xiàn)」的記憶任務(wù)。

所有被測模型的物體重現(xiàn)分?jǐn)?shù)（ORS）均未超過 0.6；在真正執(zhí)行相機軌跡、讓物體實際離開畫面的模型中，「記憶連續(xù)性」維度的語義得分最高也只有 55.6 分（滿分 100，57.0 的 LTX-Video 因相機不動存在虛高問題）；也就是說，即便是最強的模型，針對記憶的提問也只能答對一半多一點。

在 MemoBench 上對 10 個世界生成模型的自動評估。模型分為 CI2V、基于 3D 和 I2V 三類。↑：越高越好；↓：越低越好。加粗：最佳；下劃線：次佳。

在 MemoBench 上跨四個語義維度的 VQA 評估。每個維度評分范圍為 0–100（↑：越高越好）。模型分為 CI2V、基于 3D 和 I2V 三類。粗體：最佳；下劃線：次佳。

一旦物體離開畫面，模型的「記憶」就開始快速退化。重現(xiàn)時的內(nèi)容要么直接消失，要么被隨機幻覺替代，要么外觀還在、狀態(tài)卻完全不對。

研究團(tuán)隊把這些失敗系統(tǒng)整理成六類：物體憑空消失、身份悄悄換人、狀態(tài)被重置回初始、位置突然跳變、背景被幻覺填充、相機軌跡發(fā)生漂移。

LingBot-World 的失敗分類。這里報告的計數(shù)并非互斥，因為一個生成的序列可能表現(xiàn)出多種失敗類型。

其中，合成場景里最常見的失敗是「背景幻覺」，即物體還在，但身后的世界已經(jīng)面目全非；真實場景里最常見的則是「身份漂移」，即同一個物體，消失前后的樣子判若兩物。

這個大盤結(jié)論之外，評測還揭示了幾組值得深入討論的對照。

發(fā)現(xiàn) 1：「相機不動」會虛高一致性分?jǐn)?shù)，傳統(tǒng)指標(biāo)存在盲區(qū)

最反直覺的發(fā)現(xiàn)出現(xiàn)在普通圖生視頻模型（I2V）身上。

LTX-Video 沒有任何相機控制能力，但它在運動平滑度、3D 幾何一致性、物體身份一致性三項指標(biāo)上全部排名第一，物體重現(xiàn)分?jǐn)?shù)也達(dá)到了 0.330。

單看數(shù)字，成績相當(dāng)體面，但研究團(tuán)隊發(fā)現(xiàn)，這份「好成績」的來源非常可疑：LTX-Video 幾乎不移動相機，目標(biāo)物體從頭到尾留在畫面里，「物體從未消失」自然就「物體從未失憶」。它的高分是用「回避挑戰(zhàn)」換來的，而非真正的記憶能力。

不同模型在沖泡咖啡任務(wù)上的生成表現(xiàn)

這暴露了一個重要的評測漏洞：傳統(tǒng)視頻質(zhì)量指標(biāo)無法區(qū)分「在真實視角變化中保持一致」和「靠靜止鏡頭繞開一切挑戰(zhàn)」這兩種本質(zhì)不同的情況。

MemoBench 專門設(shè)計了「相機可控性」和「指令遵循」兩個維度來識別這種現(xiàn)象。而在這兩項上，LTX-Video 的得分排到了最后一檔。

發(fā)現(xiàn) 2：能控制相機，不代表記得住物體

既然靜止鏡頭會「作弊」，那支持相機條件控制的模型，表現(xiàn)是否就一定更好？

答案是：不一定，而且差距相當(dāng)懸殊。

同樣接受相機軌跡作為輸入，五個 CI2V 模型的物體重現(xiàn)分?jǐn)?shù)從 0.266 到 0.582 不等，跨度超過一倍。HunyuanWorldPlay 以 0.582 的 ORS 領(lǐng)跑 CI2V 陣營，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276；后兩者的視覺畫質(zhì)評分反而更高。

這組數(shù)據(jù)說明：相機能跟著軌跡走和模型腦子里是否維護(hù)著「走開之前那個世界的狀態(tài)」，是兩件獨立的事。鏡頭控制得再精準(zhǔn)，也只是「知道該看哪里」，不是「記住了那里之前發(fā)生了什么」。

物體恒存不會作為相機條件生成的副產(chǎn)品自然涌現(xiàn)，它必須被顯式地納入訓(xùn)練目標(biāo)。

發(fā)現(xiàn) 3：幾何精確和畫面好看，往往不可兼得

3D 類模型提供了最鮮明的能力分化樣本。

• Stable Virtual Camera 直接以顯式相機位姿驅(qū)動渲染，相機軌跡控制最為精準(zhǔn)，像素級保真度在所有模型中也最高；但它的視覺質(zhì)量評分偏低，畫面中容易出現(xiàn)模糊邊緣、拼接縫和深度修補錯誤，VQA 語義評分同樣靠后。
• Matrix-Game 2.0 則完全相反：畫面最銳利、視覺質(zhì)量最高，但相機軌跡經(jīng)常跑偏；同一段軌跡指令，它生成的視角和真實路徑偏差巨大，導(dǎo)致像素保真度和 VQA 得分都落入低位。

這兩個模型同時站在評測榜單的兩個極端，共同說明一件事：幾何準(zhǔn)確和畫面自然度，在當(dāng)前技術(shù)框架下還沒有對齊。用畫質(zhì)評分去推斷幾何精度，或者反過來，都會得出錯誤結(jié)論。

這也是 MemoBench 堅持多維度評測的核心原因：用任何單一指標(biāo)，你都只能看見這張地圖的一角。

發(fā)現(xiàn) 4：擴大模型，不如給它看第一幀

論文還披露了一項消融實驗，結(jié)論相當(dāng)出人意料。

研究團(tuán)隊對 Wan2.2 做了兩組對照：一組把模型參數(shù)量從 5B 擴到 14B，另一組保持 5B 參數(shù)不變，但額外提供「可見階段的第一幀」作為圖像條件輸入。

結(jié)果顯示，加入第一幀條件使 PSNR 提升了約 4.2 dB，感知距離（LPIPS）下降了 0.20；而參數(shù)擴大近三倍，對這兩項指標(biāo)的改善微乎其微。也就是說，讓模型清楚地「看見」物體的初始狀態(tài)，比單純堆參數(shù)量對記憶任務(wù)有用得多。

Wan2.2 初始狀態(tài)條件化與骨干網(wǎng)絡(luò)容量消融實驗結(jié)果。基于 50 個片段。「V-frame」指將可見階段的首幀作為圖像條件。

這一發(fā)現(xiàn)指向了一個重要的設(shè)計方向：與其追求更大的模型，不如在「初始狀態(tài)如何被編碼和保持」這件事上下功夫。

十個模型同臺競技，四組發(fā)現(xiàn)從不同側(cè)面共同指向同一個結(jié)論：讓畫面看起來連貫和真正記住世界的狀態(tài)，是兩件截然不同的事情。而后者才是世界模型走向真實應(yīng)用必須跨越的核心門檻。

共建世界模型評測標(biāo)尺

MemoBench 揭開的，不只是當(dāng)前技術(shù)的短板，也是一個長期被忽視的研究方向「動態(tài)遮擋下的視覺記憶」第一次有了可量化、可對比、可追蹤的評測基礎(chǔ)。

對于研究者而言，這套體系在指出問題的同時，也暗示了改進(jìn)路徑：持久狀態(tài)表征的顯式建模、以記憶為目標(biāo)的訓(xùn)練策略、對初始狀態(tài)感知的強化設(shè)計，都是接下來值得深耕的方向。

目前，論文、代碼、數(shù)據(jù)集與公開榜單均已開源，研究者可以直接使用評測工具測試自己的模型，并將結(jié)果提交至排行榜，與社區(qū)共享進(jìn)展。

• 榜單地址：https://huggingface.co/spaces/tonyc54/MemoBench_Leaderboard

從「生成好看的視頻」到「維護(hù)一個真實的世界」，這中間隔著的，正是 MemoBench 正在度量的那段距離。它不一定短，但現(xiàn)在至少有了刻度。