計算所、ETH研究者提出WorldCache，視頻世界模型近無損提速3.7倍

如果說擴散世界模型的瓶頸，是每一步去噪都要把同一個大 Transformer 再跑一遍，那么WorldCache的思路就是：不要再把所有 Token、所有時間步都當成同一件事。這篇工作把 “哪些內容適合緩存”和“哪些時刻必須重算” 拆開處理，在不重新訓練模型、幾乎不增加額外顯存的前提下，把緩存真正做成了一套更貼合世界模型結構的推理策略。

• 論文標題：WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching
• arXiv 地址：https://arxiv.org/abs/2603.06331
• 代碼地址：https://github.com/FofGofx/WorldCache

世界模型為什么難以被直接緩存

世界模型之所以比普通圖像或視頻生成更難加速，首先在于它生成的不是單一模態內容。以論文關注的擴散世界模型為例，模型在去噪過程中同時處理RGB、Depth以及與相機軌跡相關的多模態狀態，不同模態、不同空間位置上的 Token，變化速度和變化方式都不一樣。有的 Token 在連續時間步之間幾乎靜止，有的 Token 大致線性變化，還有一小部分 Token 會出現明顯的非線性轉向。如果繼續沿用單一緩存規則，要么會為了照顧困難 Token 而對大多數容易預測的 Token 過于保守，要么會因為策略太激進，在少量關鍵 Token 上迅速累積誤差。

第二個問題出現在時間維度上。世界模型的去噪過程并不是均勻平滑地推進，真正決定結果是否失穩的，往往不是所有 Token 的平均變化，而是那一小撮最難緩存、最容易漂移的 “瓶頸 Token”。這意味著，固定間隔跳步也好，基于全局平均差值觸發重算也好，都會錯過真正危險的時刻：該重算時不夠敏感，不該重算時又容易浪費一次完整前向。WorldCache 的切入點，正是把這兩個世界模型特有的失效機理拆出來分別處理。

把緩存做成 Token 級策略

WorldCache 的第一步，是用曲率去估計 Token 軌跡到底 “好不好預測”。論文使用最近三次 FULL 計算得到的真實輸出，構造離散速度和加速度，再由此計算每個 Token 的曲率分數。直觀地看，曲率越小，說明該 Token 的軌跡越接近平滑、線性，可預測性更強；曲率越大，則意味著它在當前階段更可能發生突變或轉向。基于這一分數，WorldCache 將 Token 劃分為 Stable、Linear 和 Chaotic 三組，分別對應直接復用、線性外推和阻尼更新三種緩存方式。

這一步的關鍵，不是簡單地把緩存做細，而是把計算真正分配給需要它的地方。對 Stable Token，直接復用上一次輸出就足夠；對 Linear Token，用一階外推在成本和精度之間取得平衡；而對最難處理的 Chaotic Token，WorldCache 進一步引入基于 Hermite 平滑權重的阻尼更新，避免模型只依賴最近一步的切線方向做冒進預測。換句話說，WorldCache 不是用一把尺子衡量所有 Token，而是承認世界模型內部存在難度分布的長尾，并圍繞這件事重新設計緩存規則。

只盯住最難緩存的那一小撮 Token

如果說前半部分解決的是 “緩存時如何預測”，那么 WorldCache 的第二步處理的是 “什么時候該停下緩存、恢復完整計算”。論文提出了Chaotic-prioritized Adaptive Skipping，也就是混沌優先的自適應跳步機制。它不再對全部 Token 做平均監控，而是只跟蹤那部分最難緩存的 Chaotic Token，并利用曲率對特征差值進行歸一化，構造一個無量綱的漂移指標。這樣一來，系統關心的就不再是 “整體看起來有沒有變化”，而是 “關鍵 Token 是否已經開始失穩”。

這套調度邏輯帶來的好處很直接。一方面，WorldCache 能在大量平穩時間步上放心地延長緩存鏈條，把昂貴的骨干網絡前向讓給真正必要的時刻；另一方面，當瓶頸 Token 出現漂移苗頭時，累計誤差又會足夠快地觸發 FULL 計算，避免局部誤差擴散成整段 rollout 的質量坍塌。從方法設計上看，WorldCache 把 “緩存策略” 和 “重算觸發” 做成了一套相互配合的系統，而不是孤立地改一個預測器或一個閾值。

結果不是靠堆顯存換來的

在 HunyuanVoyager-13B 的 image-to-world 生成任務上，WorldCache 將端到端延遲從 1053.7 秒降到 288.6 秒，對應 3.65 倍加速；與此同時，Dynamic WorldScore 仍達到 45.43，接近無緩存基線的 46.40，PSNR 為 23.49，LPIPS 為 0.176。更重要的是，它的顯存占用為 50.58GB，和基線 50.44GB 幾乎一致。相比之下，部分層內緩存基線雖然嘗試提速，但顯存開銷已經超過 100GB，單卡部署并不輕松。

在 Aether-5B 的世界生成任務上，WorldCache 依然保持了最強的一組質量 - 效率折中：Dynamic WorldScore 為 44.72，高于 EasyCache 的 44.02；PSNR 為 31.87，SSIM 為 0.924，LPIPS 為 0.066；端到端延遲降到 107.2 秒，對應 1.68 倍加速，而顯存仍維持在 46.59GB。如果把視角進一步轉到幾何相關能力，WorldCache 在 Aether 的 3D 重建設置中把延遲從 55.42 秒壓到 21.20 秒，實現 2.61 倍加速，同時保持 Abs Rel 0.341、RPE trans 0.068，并在加速方法中取得最低的旋轉誤差 0.796。

這件事對世界模型意味著什么

WorldCache 給出的不只是一次更快的采樣過程，更是一種面向世界模型內部異質性的緩存思路。

世界模型并不是普通視頻擴散模型的簡單延伸，面向世界模型的推理優化，必須尊重多模態耦合、空間差異和時間動態非均勻這些結構性事實。在這個前提下，無需額外訓練，不引入大規模額外顯存，卻能把本來昂貴的世界模型推理推到更接近交互式使用的區間，這為更長時間跨度的世界模擬、可交互場景生成乃至具身智能相關應用，提供一種有潛力的路徑。

作者簡介

本文共同第一作者為中國科學院計算所博士生馮偉倫、碩士生范國鑫，以及蘇黎世聯邦理工學院博后秦浩桐。通訊作者為中國科學院計算所楊傳廣和安竹林副研究員。核心成員來自計算所智能算法安全全國重點實驗室智能優化課題組，隸屬于徐勇軍研究員團隊，課題組長期從事高效人工智能的研究，重點關注視覺、多模態等領域的理解與生成高效性方面的研究。