從生成視頻到交互仿真，地瓜機(jī)器人 Uranus 模型實(shí)現(xiàn)幀級(jí)閉環(huán)

摘要：Uranus 讓機(jī)器人仿真從手工搭建，走向數(shù)據(jù)驅(qū)動(dòng)的生成式閉環(huán)

機(jī)器人仿真為什么難？

開(kāi)發(fā)一臺(tái)能自主完成復(fù)雜任務(wù)的機(jī)器人，離不開(kāi)大量的測(cè)試與驗(yàn)證。然而，真實(shí)世界的測(cè)試昂貴、耗時(shí)且難以復(fù)現(xiàn)。讓一臺(tái)機(jī)械臂在真實(shí)環(huán)境中試錯(cuò)成千上萬(wàn)次，意味著設(shè)備、人力、場(chǎng)地和時(shí)間成本都要持續(xù)投入。更麻煩的是，真實(shí)環(huán)境很難完全復(fù)現(xiàn)，光照、物體位置、桌面狀態(tài)等，只要其中一個(gè)條件變化，測(cè)試結(jié)果就可能受到影響。

傳統(tǒng)仿真器，例如 Isaac Sim、MuJoCo，提供了一種替代方案：在虛擬環(huán)境中驗(yàn)證算法，再遷移到真實(shí)世界。但這條路同樣崎嶇，手工構(gòu)建仿真場(chǎng)景本身就是一項(xiàng)浩大的工程。3D建模、材質(zhì)設(shè)定、物理參數(shù)調(diào)校等，每一個(gè)新環(huán)境都可能需要數(shù)天甚至數(shù)周的搭建。

有沒(méi)有一種方法，能像生成圖片和視頻一樣“生成”一個(gè)仿真環(huán)境？更進(jìn)一步——能不能像真正的仿真器那樣，做到逐幀交互、逐幀閉環(huán)？

Uranus：一幀一反饋的世界模型

地瓜機(jī)器人算法團(tuán)隊(duì)提出了Uranus，一個(gè)基于視頻擴(kuò)散模型、工作在幀級(jí)閉環(huán)模式下的交互式世界模型。它將機(jī)器人仿真從“手工搭建”推進(jìn)到“數(shù)據(jù)驅(qū)動(dòng)”的全新范式。

給定幾幀參考圖像、機(jī)器人關(guān)節(jié)狀態(tài)、相機(jī)參數(shù)和一句文本描述，模型就能自回歸地生成多相機(jī)視角下連續(xù)、可控的未來(lái)視頻流，用于模擬機(jī)器人與環(huán)境的交互過(guò)程。

Uranus 模型架構(gòu)：模型在參考幀和歷史幀約束下，根據(jù)輸入的動(dòng)作通過(guò) flow matching 生成下一幀。

幀級(jí)閉環(huán)是 Uranus 的核心能力。與傳統(tǒng)的“輸入一段動(dòng)作、一次性輸出整段視頻”的開(kāi)環(huán)生成不同，Uranus 的工作方式更像一個(gè)真正的仿真器：按幀推進(jìn)生成過(guò)程，并將每一幀結(jié)果反饋給下一步預(yù)測(cè)，使動(dòng)作指令可以在過(guò)程中實(shí)時(shí)調(diào)整。

具體來(lái)說(shuō)，這一過(guò)程分為三步：

• 每一步只生成一幀：模型根據(jù)當(dāng)前觀測(cè)（參考圖 + 歷史幀）和動(dòng)作指令，預(yù)測(cè)下一時(shí)刻的多相機(jī)畫(huà)面
• 生成結(jié)果立刻反饋：新生成的幀被追加到歷史窗口中，成為下一步預(yù)測(cè)的條件
• 動(dòng)作可以實(shí)時(shí)調(diào)整：因?yàn)槭且粠粠评淼模憧梢栽谌我鈺r(shí)刻改變動(dòng)作指令，模型會(huì)立刻響應(yīng)

這相當(dāng)于一個(gè)幀級(jí)的“視覺(jué)數(shù)字孿生”：給定初始畫(huà)面和機(jī)器人模型，開(kāi)發(fā)者可以像操作真實(shí)機(jī)器人一樣，生成畫(huà)面中逐步“駕駛”Uranus，而這一過(guò)程不需要手工 3D 建模。

四個(gè)能力，讓生成模型更接近仿真器

1. 讓不同機(jī)器人說(shuō)同一種“圖像語(yǔ)言”

傳統(tǒng)方法通常需要為每種機(jī)器人單獨(dú)適配或訓(xùn)練模型。Uranus 則通過(guò)統(tǒng)一的骨架渲染管線徹底解耦了具身結(jié)構(gòu)與模型輸入：

• 只需提供 URDF 或 MJCF 格式的機(jī)器人描述文件，結(jié)合關(guān)節(jié)位置（qpos）
• 系統(tǒng)自動(dòng)通過(guò)前向運(yùn)動(dòng)學(xué)（FK）計(jì)算 3D 關(guān)節(jié)坐標(biāo)，投影到相機(jī)平面渲染為骨架圖
• 同一個(gè)模型即可支持G1 人形機(jī)器人、Franka 協(xié)作臂、雙臂系統(tǒng)乃至移動(dòng)平臺(tái)

換言之，一個(gè)模型，支持多種具身；訓(xùn)練一次，即可在不同機(jī)器人本體上復(fù)用。

這對(duì)閉環(huán)交互至關(guān)重要。因?yàn)樵陂]環(huán)模式下，模型每時(shí)每刻都在接收自己上一幀的預(yù)測(cè)結(jié)果作為輸入。如果模型只能處理單一機(jī)器人，每換一個(gè)本體就要重新訓(xùn)練，閉環(huán)的泛化性就無(wú)從談起。Uranus 的骨架渲染管線讓不同機(jī)器人的動(dòng)作都落到同一個(gè)“圖像語(yǔ)言”里，這樣無(wú)論驅(qū)動(dòng)的是 G1 還是 Franka，模型看到的是統(tǒng)一格式的骨架圖。

2. 閉環(huán)跑得更久，畫(huà)面不容易漂

幀級(jí)閉環(huán)的難點(diǎn)在于誤差會(huì)不斷累積。每一步的微小預(yù)測(cè)誤差都會(huì)作為歷史條件喂入下一步，幾十步之后，畫(huà)面可能開(kāi)始漂移，甚至出現(xiàn)明顯失真。這也是很多視頻生成模型只能穩(wěn)定生成幾秒鐘片段的重要原因。Uranus 通過(guò)三項(xiàng)關(guān)鍵設(shè)計(jì)突破了長(zhǎng)時(shí)閉環(huán)生成的瓶頸：

• 因果注意力掩碼（Causal Mask）：確保每一幀只能看到歷史上下文，嚴(yán)格遵循自回歸閉環(huán)的因果結(jié)構(gòu)
• 幀相對(duì)位置編碼（Frame-Relative RoPE）：讓模型在訓(xùn)練時(shí)只見(jiàn)過(guò)短片段，推理時(shí)卻能泛化到任意長(zhǎng)度的閉環(huán) rollout
• 參考幀注意力匯（Reference Sink）：利用 Transformer 中天然存在的“注意力匯”現(xiàn)象，將初始參考幀永久保留在上下文窗口中作為視覺(jué)錨點(diǎn)——無(wú)論閉環(huán)跑多少步，模型始終有一個(gè)“干凈的起點(diǎn)”可以參考，有效抑制畫(huà)質(zhì)漂移

在這些設(shè)計(jì)支持下，Uranus 可以在訓(xùn)練只用 2 秒片段的情況下，在推理階段穩(wěn)定生成 60s 級(jí)別的閉環(huán)視頻，并保持較好的畫(huà)面連續(xù)性。

訓(xùn)練 2 秒，閉環(huán)60秒，這也是 Uranus 長(zhǎng)時(shí)閉環(huán)生成能力最直觀的體現(xiàn)。

3. 多個(gè)相機(jī)，看到同一個(gè)世界

機(jī)器人通常配備多個(gè)相機(jī)。以操作任務(wù)為例，機(jī)器人可能同時(shí)使用腕部相機(jī)、環(huán)境相機(jī)等多路視覺(jué)輸入。Uranus 支持同步生成 3 路以上相機(jī)視角，并保持不同視角之間的空間一致性。

為此，Uranus 設(shè)計(jì)了交替式空間-時(shí)間注意力機(jī)制：

• 空間模式：同一時(shí)刻不同相機(jī)之間交換信息，保證多視圖幾何一致性
• 時(shí)間模式：同一相機(jī)沿時(shí)間軸建模運(yùn)動(dòng)動(dòng)態(tài)，在閉環(huán)推理時(shí)，只有這些層需要建立 KVCache

這兩種模式在 DiT 的各層之間交替執(zhí)行，兼顧了計(jì)算效率與生成質(zhì)量。

4. 相機(jī)可以移動(dòng)，觀察角度更靈活

除了動(dòng)作可控，Uranus 還支持相機(jī)軌跡控制。通過(guò)Plücker 射線嵌入，模型可以將每一幀的相機(jī)外參和內(nèi)參編碼為逐像素幾何特征。這種表示完全由相機(jī)標(biāo)定參數(shù)直接決定，無(wú)需額外任何學(xué)習(xí)。

在閉環(huán)交互場(chǎng)景中，開(kāi)發(fā)者這意味著你可以像操作傳統(tǒng)仿真器一樣，在任意時(shí)刻移動(dòng)相機(jī)位置和角度。模型會(huì)根據(jù)新的相機(jī)參數(shù)，在下一步生成對(duì)應(yīng)視角的畫(huà)面。

這意味著，Uranus 不只能模擬機(jī)器人動(dòng)作，也能支持動(dòng)態(tài)觀察：既可以看整體環(huán)境，也可以切換到末端視角，觀察機(jī)器人與物體的接觸過(guò)程。

兩個(gè) Demo：G1 與 Franka 的閉環(huán)操作

以下演示展示了 Uranus 在幀級(jí)閉環(huán)模式下，對(duì)兩種不同機(jī)器人、不同軌跡的交互仿真效果。

Demo 1：G1 人形機(jī)器人閉環(huán)操作

G1 機(jī)器人在不同場(chǎng)景下執(zhí)行多種操作軌跡，Uranus 在多相機(jī)視角下實(shí)時(shí)生成連續(xù)交互畫(huà)面。

[agibot_demo.mov]

演示內(nèi)容：G1 機(jī)器人完成商品條碼掃描，三路相機(jī)視角同步輸出，幀級(jí)閉環(huán)連續(xù) Rollout。

Demo 2：Franka 協(xié)作臂閉環(huán)操作

Franka 機(jī)械臂在不同環(huán)境和軌跡下的操作效果，展示模型的跨本體具身泛化能力和對(duì)復(fù)雜末端軌跡的響應(yīng)能力。

[droid_demo.mov]

演示內(nèi)容：Franka 機(jī)械臂完成物品抓放，展示閉環(huán)模式下對(duì)末端執(zhí)行器姿態(tài)、夾爪開(kāi)合的控制能力。

技術(shù)架構(gòu)速覽：輸入動(dòng)作，生成下一幀

從架構(gòu)上看，Uranus 是一個(gè)由動(dòng)作和相機(jī)軌跡共同約束的多視角交互視頻模型。

模型接收參考幀、歷史幀、機(jī)器人動(dòng)作、相機(jī)參數(shù)和文本描述，基于預(yù)訓(xùn)練的Wan 2.1 視頻 DiT骨干，通過(guò) Flow Matching（逐步去噪）生成下一幀畫(huà)面。新生成的畫(huà)面繼續(xù)進(jìn)入歷史窗口，參與下一步預(yù)測(cè)，從而形成幀級(jí)閉環(huán)。

Uranus：動(dòng)作和相機(jī)軌跡約束的多視角可交互視頻模型。

模型提供1.3B 和 14B兩個(gè)參數(shù)規(guī)模，分別適用于快速實(shí)驗(yàn)和高保真閉環(huán)生成場(chǎng)景。

讓逐幀生成真正跑起來(lái)

幀級(jí)閉環(huán)對(duì)工程效率提出了嚴(yán)苛的要求。每生成一幀，都需要完成一次完整的去噪擴(kuò)散過(guò)程，如果每一步都從頭計(jì)算注意力，計(jì)算開(kāi)銷(xiāo)會(huì)隨著序列長(zhǎng)度快速增長(zhǎng)。

為降低推理成本，Uranus 引入了KV-Cache 和滑動(dòng)窗口機(jī)制：

• 預(yù)填充階段：參考幀和歷史幀的 Key/Value 被計(jì)算并緩存
• 去噪階段：當(dāng)前幀只計(jì)算自己的 Key/Value，與緩存中的歷史拼接即可完成注意力——無(wú)需重復(fù)計(jì)算
• 滑動(dòng)窗口淘汰：當(dāng)歷史幀超過(guò)窗口大小時(shí)，自動(dòng)淘汰最舊的幀，保證每步開(kāi)銷(xiāo)恒定

訓(xùn)練側(cè)，Uranus 采用HSDP、序列并行 和 VAE Tile 并行的混合策略，支持 64 GPU 規(guī)模訓(xùn)練。通過(guò)參數(shù)分片、數(shù)據(jù)并行、序列并行等方式，系統(tǒng)可以處理高分辨率、多視角、長(zhǎng)序列視頻訓(xùn)練帶來(lái)的顯存和通信壓力。

推理階段，Uranus則通過(guò)KV-Cache、+ 滑動(dòng)窗口淘汰和+ 序列并行機(jī)制，減少重復(fù)計(jì)算，讓每一步的延遲和顯存占用保持相對(duì)穩(wěn)定——無(wú)論生成多少幀，開(kāi)銷(xiāo)不變，以支持多環(huán)境并行實(shí)時(shí) Rrollout。

從生成視頻，到交互式仿真

Uranus 重新定義了“用生成模型做仿真”這件事。

幀級(jí)閉環(huán)是 Uranus 區(qū)別于一般視頻生成模型的核心特性。正是因?yàn)樗芤粠粠亟邮談?dòng)作、一幀一幀地產(chǎn)出畫(huà)面、再將畫(huà)面反饋給下一步，它才能成為一個(gè)真正可用的交互式仿真器，而不是一個(gè)只能“播放”的視頻生成器。

圍繞 Uranus同時(shí)，地瓜機(jī)器人正在探索一種新的機(jī)器人仿真構(gòu)建方式：我們

• 不再需要手工搭建 3D 場(chǎng)景
• 不再為每種機(jī)械臂單獨(dú)訓(xùn)練模型
• 不再受限于秒級(jí)的生成長(zhǎng)度
• 用數(shù)據(jù)驅(qū)動(dòng)的方式，讓機(jī)器人在“想象”中學(xué)會(huì)與世界交互

真實(shí)世界測(cè)試仍然是機(jī)器人開(kāi)發(fā)中不可替代的一環(huán)。Uranus 的價(jià)值，在于為真機(jī)測(cè)試之外的訓(xùn)練、評(píng)測(cè)和策略迭代提供新的工具，讓機(jī)器人能夠在更可控的環(huán)境中完成更多輪試錯(cuò)。

地瓜機(jī)器人將持續(xù)推進(jìn) Uranus 的技術(shù)迭代，并在后續(xù)公布完整技術(shù)報(bào)告、訓(xùn)練細(xì)節(jié)和定量實(shí)驗(yàn)結(jié)果。