LiveWorld：視頻世界模型新范式，讓鏡頭之外的世界繼續演化

視頻鏈接：https://mp.weixin.qq.com/s/IBAIk3TPzS_UExnHCtNUwg

• 論文標題：LiveWorld: Simulating Out-of-Sight Dynamics in Generative Video World Models
• 項目主頁：https://zichengduan.github.io/pages/LiveWorld/index.html
• 文章鏈接：https://arxiv.org/abs/2603.07145
• 代碼鏈接：https://github.com/ZichengDuan/LiveWorld

世界模型正在成為通向通用智能的重要方向。借助視頻生成模型強大的視覺先驗，這類系統可以根據當前觀察、文本提示和相機軌跡，模擬一個能夠被持續探索的虛擬環境，并服務于智能體訓練、交互式仿真、自動駕駛決策和大規模合成數據生成。

然而，當越來越多的研究開始追求更高的畫質和更精確的相機控制時，一個更基礎的問題仍未得到充分回答：這些模型究竟是在模擬持續運行的世界，還是只是在生成相機當前看到的視頻？

來自阿德萊德大學、澳大利亞國立大學、蒙納士大學、浙江大學與奧克蘭大學的研究者重新審視了現有視頻世界模型的建模方式。他們發現，這類方法普遍把「世界自身如何演化」與「相機在某個視角下看到了什么」交給同一個視頻生成器處理。

這種耦合會帶來一個直接后果：一旦某個物體離開相機視野，模型通常就不再更新它的狀態，而是將其停留在最后一次被看到的時刻。例如，一只狗正在吃東西，觀察者轉頭看向別處，過一會兒再回來。現實中，狗可能已經吃完并走開；現有模型卻往往再次生成「狗仍在吃東西」的畫面，仿佛相機移開的同時，局部世界也被按下了暫停鍵。

研究者將這一缺失的時間進程定義為「視野外動態」（Out-of-Sight Dynamics），并指出現有視頻世界模型實際上隱含著一種「靜態世界假設」：只有進入相機視野的內容才會繼續變化。為打破這一假設，他們提出了LiveWorld，將世界演化與觀察渲染顯式解耦，使事件在離開視野后仍能持續推進。

LiveWorld：解耦世界演化與觀察渲染

LiveWorld 的出發點很簡單：世界如何變化，不應該由相機正在看哪里決定。因此，它不再讓視頻生成器同時猜測「世界發生了什么」和「相機看到了什么」，而是把兩件事明確拆開：先讓世界狀態隨時間演化，再根據相機軌跡渲染當前觀察。

這一分解也帶來了清晰的系統分工：虛擬監視器（Monitor）負責在固定位置持續模擬局部事件，觀察渲染器（Renderer）負責從移動相機的視角呈現更新后的世界。二者雖然職責不同，本質上都屬于「給定狀態與條件生成視頻」，因此 LiveWorld 使用同一個基于 Wan2.1-14B-T2V 的狀態條件視頻擴散骨干實現兩種功能。

方法設計

沿著上述思路，LiveWorld 的運行過程可以理解為一條持續循環的流水線：發現需要跟蹤的動態實體，讓它們在視野外繼續演化，同時積累靜態場景；當相機再次經過時，再把二者組合成最新畫面。具體包含以下四個環節：

• 為動態事件設置虛擬監視器。每輪生成前，系統使用 Qwen3-VL 和 SAM3 檢查上一段視頻，識別其中可能繼續活動的人、動物或車輛等實體。如果某個新實體所在區域尚未被覆蓋，系統就在該位置注冊一個固定的虛擬監視器（Monitor），并記錄當時的相機位姿與畫面作為錨點。為控制計算開銷，活躍 Monitor 的數量設有上限；超出后，優先移除距離當前觀察者最遠的一個。

• 在固定視角下推進局部事件。當觀察者轉向別處后，Monitor 仍會繼續工作。它以錨定畫面的靜態背景、裁剪出的實體外觀，以及描述后續動作的文本為條件，生成該區域接下來發生的視頻。例如，狗可以繼續吃完食物并走開，而不是停在最后一次被看到的姿態。生成的前景視頻結合深度信息被還原到三維空間，形成隨時間變化的 4D Monitor 點云。若實體在一輪視頻的中途才出現，系統還會先補齊從出現時刻到當前時刻的狀態，使其與全局時間線同步。
• 持續積累靜態空間記憶。與動態實體并行，系統會從歷史觀察中分離背景區域，并通過前饋式 SLAM 框架 Stream3R 增量融合為全局 3D 點云。這部分記錄場景中相對穩定的結構，為長期重訪、視角變換和相機控制提供空間基礎。這樣，LiveWorld 不需要反復生成整片世界，只需重點更新真正發生變化的局部區域。
• 從最新世界狀態渲染觀察。當相機移動或重訪舊區域時，系統先把靜態 3D 點云與已經演化到當前時刻的動態 4D 點云，共同投影到目標相機軌跡上，得到像素級幾何條件。隨后，狀態適配器（State Adapter）將投影結果注入視頻擴散模型，約束物體的位置、結構與運動；外觀 LoRA（Appearance LoRA）則利用檢索到的歷史參考幀補充紋理和身份細節。最終生成的視頻既遵循目標相機運動，也能呈現實體在離開視野期間發生的變化。

由此，LiveWorld 形成了一個閉環：觀察新區域、注冊動態事件、在后臺推進狀態，再從最新狀態生成下一段觀察。它并沒有試圖一次性構建完整的 4D 世界，而是用「靜態場景長期記憶 + 動態實體按需演化」的方式，把視野外動態轉化為一個可計算、可擴展的問題。

實驗驗證

要評估視野外動態，僅比較單段視頻的畫質并不夠。關鍵在于：相機離開后再回來，事件是否已經推進，物體身份是否保持，場景幾何是否仍然一致。為此，研究者構建了首個面向該問題的專門基準LiveBench，包含 100 個場景和 400 條評估序列，并為每個場景配置多輪相機軌跡與文本事件腳本。

LiveBench 包含兩類重訪軌跡：Same-Pose（A→B→A→B→A）要求相機多次回到同一位置，考察長時序狀態變化；Different-Pose（A→B→C）則讓相機從新視角重訪舊區域，同時考察事件演化與三維一致性。研究者將 LiveWorld 與 Matrix-Game-2.0、Hunyuan-GameCraft-1.0 和 Spatia 等開源相機可控世界模型進行了比較。

• 事件并沒有停在舊畫面里。衡量事件是否按照腳本推進的 VQA-Acc 最能體現這一點。在 Same-Pose 的第二次長時序重訪中，LiveWorld 達到，顯著超過 Spatia（14.655）、GameCraft-1（10.273）和 Matrix-Game-2.0（5.012）；在更困難的 Different-Pose 第二次重訪中，LiveWorld 仍達到，而其他方法普遍降至個位數。這表明模型呈現的并非緩存中的舊畫面，而是推進后的事件狀態。
• 事件變化的同時，物體和空間也能保持一致。第二次重訪時，LiveWorld 的前景 DINO 相似度達到，而 Spatia 為 0.416；動態點云的 Chamfer Distance 降至，優于所有對比方法。背景一致性則與采用顯式 3D 記憶的 Spatia 持平或更優。這說明 LiveWorld 不只會生成符合文本的動作，也能把變化后的實體放回正確的空間位置。

• 多事件場景進一步檢驗了系統閉環。當多個事件需要在視野外并行推進時，去掉事件演化模塊的版本在最嚴格的 Full Succ. 指標上為0%，完整 LiveWorld 則達到26%。消融實驗還顯示，去掉空間記憶會導致相機控制失效，并在重訪時產生漂移和重影；去掉參考幀后，前景身份和背景外觀都會在長序列中逐漸失穩。性能提升因此并非單純來自更大的生成模型，而是來自動態演化、空間記憶和狀態渲染之間的協同。

• 消融實驗驗證了各個模塊的作用。移除事件演化后，系統退化為普通的相機可控視頻模型，無法在重訪時呈現已經推進的事件；移除空間記憶后，相機控制和背景幾何明顯惡化，容易出現漂移與重影；移除歷史參考幀后，長序列中的前景身份和背景外觀逐漸失穩。三項結果分別對應時間演化、空間一致性和外觀保持，表明 LiveWorld 的提升來自完整系統設計，而非單純擴大生成模型。

更多可視化結果 —— 多事件重訪與不同位姿重訪

結論與展望

LiveWorld 提出的核心問題是：如果一個世界模型只能更新相機正在觀察的內容，它所建模的仍然只是連續的視頻，而不是持續運行的世界。通過形式化「視野外動態」、顯式拆分世界演化與觀察渲染，并結合靜態 3D 空間記憶和動態 4D 實體狀態，LiveWorld 將視頻世界模型從「記住看過的畫面」推進到「維護看不見時仍在變化的狀態」。

這項工作并非最終答案，而是為持續世界建模提供了一個可實現、可評測的起點：未來仍需探索帶隱式動態記憶的端到端模型、更完整高效的 4D 世界表示、更合理的狀態注入與渲染機制，以及跨區域事件交互和推理成本控制。只有當模型能夠長期維護對象、事件、空間與時間之間的關系，生成式世界模型才可能真正成為可持續運行和交互的世界模擬器。