地瓜機(jī)器人Uranus：讓世界模型像仿真器一樣工作

機(jī)器人仿真為什么難？

開發(fā)一臺能自主完成復(fù)雜任務(wù)的機(jī)器人，離不開大量的測試與驗(yàn)證。然而，真實(shí)世界的測試昂貴、耗時且難以復(fù)現(xiàn)。讓一臺機(jī)械臂在真實(shí)環(huán)境中試錯成千上萬次，意味著設(shè)備、人力、場地和時間成本都要持續(xù)投入。更麻煩的是，真實(shí)環(huán)境很難完全復(fù)現(xiàn)，光照、物體位置、桌面狀態(tài)等，只要其中一個條件變化，測試結(jié)果就可能受到影響。

傳統(tǒng)仿真器，例如 Isaac Sim、MuJoCo，提供了一種替代方案：在虛擬環(huán)境中驗(yàn)證算法，再遷移到真實(shí)世界。但這條路同樣崎嶇，手工構(gòu)建仿真場景本身就是一項(xiàng)浩大的工程。3D建模、材質(zhì)設(shè)定、物理參數(shù)調(diào)校等，每一個新環(huán)境都可能需要數(shù)天甚至數(shù)周的搭建。

有沒有一種方法，能像生成圖片和視頻一樣“生成”一個仿真環(huán)境？更進(jìn)一步——能不能像真正的仿真器那樣，做到逐幀交互、逐幀閉環(huán)？

Uranus：一幀一反饋的世界模型

地瓜機(jī)器人算法團(tuán)隊(duì)提出了Uranus，一個基于視頻擴(kuò)散模型、工作在幀級閉環(huán)模式下的交互式世界模型。它將機(jī)器人仿真從“手工搭建”推進(jìn)到“數(shù)據(jù)驅(qū)動”的全新范式。

給定幾幀參考圖像、機(jī)器人關(guān)節(jié)狀態(tài)、相機(jī)參數(shù)和一句文本描述，模型就能自回歸地生成多相機(jī)視角下連續(xù)、可控的未來視頻流，用于模擬機(jī)器人與環(huán)境的交互過程。

Uranus 模型架構(gòu)：模型在參考幀和歷史幀約束下，根據(jù)輸入的動作通過 flow matching 生成下一幀。

幀級閉環(huán)是 Uranus 的核心能力。與傳統(tǒng)的“輸入一段動作、一次性輸出整段視頻”的開環(huán)生成不同，Uranus 的工作方式更像一個真正的仿真器：按幀推進(jìn)生成過程，并將每一幀結(jié)果反饋給下一步預(yù)測，使動作指令可以在過程中實(shí)時調(diào)整。

具體來說，這一過程分為三步：

• 每一步只生成一幀：模型根據(jù)當(dāng)前觀測（參考圖 + 歷史幀）和動作指令，預(yù)測下一時刻的多相機(jī)畫面
• 生成結(jié)果立刻反饋：新生成的幀被追加到歷史窗口中，成為下一步預(yù)測的條件
• 動作可以實(shí)時調(diào)整：因?yàn)槭且粠粠评淼模憧梢栽谌我鈺r刻改變動作指令，模型會立刻響應(yīng)

這相當(dāng)于一個幀級的“視覺數(shù)字孿生”：給定初始畫面和機(jī)器人模型，開發(fā)者可以像操作真實(shí)機(jī)器人一樣，生成畫面中逐步“駕駛”Uranus，而這一過程不需要手工 3D 建模。

四個能力，讓生成模型更接近仿真器

1. 讓不同機(jī)器人說同一種“圖像語言”

傳統(tǒng)方法通常需要為每種機(jī)器人單獨(dú)適配或訓(xùn)練模型。Uranus 則通過統(tǒng)一的骨架渲染管線徹底解耦了具身結(jié)構(gòu)與模型輸入：

• 只需提供 URDF 或 MJCF 格式的機(jī)器人描述文件，結(jié)合關(guān)節(jié)位置（qpos）
• 系統(tǒng)自動通過前向運(yùn)動學(xué)（FK）計(jì)算 3D 關(guān)節(jié)坐標(biāo)，投影到相機(jī)平面渲染為骨架圖
• 同一個模型即可支持G1 人形機(jī)器人、Franka 協(xié)作臂、雙臂系統(tǒng)乃至移動平臺

換言之，一個模型，支持多種具身；訓(xùn)練一次，即可在不同機(jī)器人本體上復(fù)用。

這對閉環(huán)交互至關(guān)重要。因?yàn)樵陂]環(huán)模式下，模型每時每刻都在接收自己上一幀的預(yù)測結(jié)果作為輸入。如果模型只能處理單一機(jī)器人，每換一個本體就要重新訓(xùn)練，閉環(huán)的泛化性就無從談起。Uranus 的骨架渲染管線讓不同機(jī)器人的動作都落到同一個“圖像語言”里，這樣無論驅(qū)動的是 G1 還是 Franka，模型看到的是統(tǒng)一格式的骨架圖。

2. 閉環(huán)跑得更久，畫面不容易漂

幀級閉環(huán)的難點(diǎn)在于誤差會不斷累積。每一步的微小預(yù)測誤差都會作為歷史條件喂入下一步，幾十步之后，畫面可能開始漂移，甚至出現(xiàn)明顯失真。這也是很多視頻生成模型只能穩(wěn)定生成幾秒鐘片段的重要原因。Uranus 通過三項(xiàng)關(guān)鍵設(shè)計(jì)突破了長時閉環(huán)生成的瓶頸：

• 因果注意力掩碼（Causal Mask）：確保每一幀只能看到歷史上下文，嚴(yán)格遵循自回歸閉環(huán)的因果結(jié)構(gòu)
• 幀相對位置編碼（Frame-Relative RoPE）：讓模型在訓(xùn)練時只見過短片段，推理時卻能泛化到任意長度的閉環(huán) rollout
• 參考幀注意力匯（Reference Sink）：利用 Transformer 中天然存在的“注意力匯”現(xiàn)象，將初始參考幀永久保留在上下文窗口中作為視覺錨點(diǎn)——無論閉環(huán)跑多少步，模型始終有一個“干凈的起點(diǎn)”可以參考，有效抑制畫質(zhì)漂移

在這些設(shè)計(jì)支持下，Uranus 可以在訓(xùn)練只用 2 秒片段的情況下，在推理階段穩(wěn)定生成 60s 級別的閉環(huán)視頻，并保持較好的畫面連續(xù)性。

訓(xùn)練 2 秒，閉環(huán)60秒，這也是 Uranus 長時閉環(huán)生成能力最直觀的體現(xiàn)。

3. 多個相機(jī)，看到同一個世界

機(jī)器人通常配備多個相機(jī)。以操作任務(wù)為例，機(jī)器人可能同時使用腕部相機(jī)、環(huán)境相機(jī)等多路視覺輸入。Uranus 支持同步生成 3 路以上相機(jī)視角，并保持不同視角之間的空間一致性。

為此，Uranus 設(shè)計(jì)了交替式空間-時間注意力機(jī)制：

• 空間模式：同一時刻不同相機(jī)之間交換信息，保證多視圖幾何一致性
• 時間模式：同一相機(jī)沿時間軸建模運(yùn)動動態(tài)，在閉環(huán)推理時，只有這些層需要建立 KVCache

這兩種模式在 DiT 的各層之間交替執(zhí)行，兼顧了計(jì)算效率與生成質(zhì)量。

4. 相機(jī)可以移動，觀察角度更靈活

除了動作可控，Uranus 還支持相機(jī)軌跡控制。通過Plücker 射線嵌入，模型可以將每一幀的相機(jī)外參和內(nèi)參編碼為逐像素幾何特征。這種表示完全由相機(jī)標(biāo)定參數(shù)直接決定，無需額外任何學(xué)習(xí)。

在閉環(huán)交互場景中，開發(fā)者這意味著你可以像操作傳統(tǒng)仿真器一樣，在任意時刻移動相機(jī)位置和角度。模型會根據(jù)新的相機(jī)參數(shù)，在下一步生成對應(yīng)視角的畫面。

這意味著，Uranus 不只能模擬機(jī)器人動作，也能支持動態(tài)觀察：既可以看整體環(huán)境，也可以切換到末端視角，觀察機(jī)器人與物體的接觸過程。

兩個 Demo：G1 與 Franka 的閉環(huán)操作

以下演示展示了 Uranus 在幀級閉環(huán)模式下，對兩種不同機(jī)器人、不同軌跡的交互仿真效果。

Demo 1：G1 人形機(jī)器人閉環(huán)操作

G1 機(jī)器人在不同場景下執(zhí)行多種操作軌跡，Uranus 在多相機(jī)視角下實(shí)時生成連續(xù)交互畫面。

[agibot_demo.mov]

演示內(nèi)容：G1 機(jī)器人完成商品條碼掃描，三路相機(jī)視角同步輸出，幀級閉環(huán)連續(xù) Rollout。

Demo 2：Franka 協(xié)作臂閉環(huán)操作

Franka 機(jī)械臂在不同環(huán)境和軌跡下的操作效果，展示模型的跨本體具身泛化能力和對復(fù)雜末端軌跡的響應(yīng)能力。

[droid_demo.mov]

演示內(nèi)容：Franka 機(jī)械臂完成物品抓放，展示閉環(huán)模式下對末端執(zhí)行器姿態(tài)、夾爪開合的控制能力。

技術(shù)架構(gòu)速覽：輸入動作，生成下一幀

從架構(gòu)上看，Uranus 是一個由動作和相機(jī)軌跡共同約束的多視角交互視頻模型。

模型接收參考幀、歷史幀、機(jī)器人動作、相機(jī)參數(shù)和文本描述，基于預(yù)訓(xùn)練的Wan 2.1 視頻 DiT骨干，通過 Flow Matching（逐步去噪）生成下一幀畫面。新生成的畫面繼續(xù)進(jìn)入歷史窗口，參與下一步預(yù)測，從而形成幀級閉環(huán)。

Uranus：動作和相機(jī)軌跡約束的多視角可交互視頻模型。

模型提供1.3B 和 14B兩個參數(shù)規(guī)模，分別適用于快速實(shí)驗(yàn)和高保真閉環(huán)生成場景。

讓逐幀生成真正跑起來

幀級閉環(huán)對工程效率提出了嚴(yán)苛的要求。每生成一幀，都需要完成一次完整的去噪擴(kuò)散過程，如果每一步都從頭計(jì)算注意力，計(jì)算開銷會隨著序列長度快速增長。

為降低推理成本，Uranus 引入了KV-Cache 和滑動窗口機(jī)制：

• 預(yù)填充階段：參考幀和歷史幀的 Key/Value 被計(jì)算并緩存
• 去噪階段：當(dāng)前幀只計(jì)算自己的 Key/Value，與緩存中的歷史拼接即可完成注意力——無需重復(fù)計(jì)算
• 滑動窗口淘汰：當(dāng)歷史幀超過窗口大小時，自動淘汰最舊的幀，保證每步開銷恒定

訓(xùn)練側(cè)，Uranus 采用HSDP、序列并行 和 VAE Tile 并行的混合策略，支持 64 GPU 規(guī)模訓(xùn)練。通過參數(shù)分片、數(shù)據(jù)并行、序列并行等方式，系統(tǒng)可以處理高分辨率、多視角、長序列視頻訓(xùn)練帶來的顯存和通信壓力。

推理階段，Uranus則通過KV-Cache、+ 滑動窗口淘汰和+ 序列并行機(jī)制，減少重復(fù)計(jì)算，讓每一步的延遲和顯存占用保持相對穩(wěn)定——無論生成多少幀，開銷不變，以支持多環(huán)境并行實(shí)時 Rrollout。

從生成視頻，到交互式仿真

Uranus 重新定義了“用生成模型做仿真”這件事。

幀級閉環(huán)是 Uranus 區(qū)別于一般視頻生成模型的核心特性。正是因?yàn)樗芤粠粠亟邮談幼鳌⒁粠粠禺a(chǎn)出畫面、再將畫面反饋給下一步，它才能成為一個真正可用的交互式仿真器，而不是一個只能“播放”的視頻生成器。

圍繞 Uranus同時，地瓜機(jī)器人正在探索一種新的機(jī)器人仿真構(gòu)建方式：我們

• 不再需要手工搭建 3D 場景
• 不再為每種機(jī)械臂單獨(dú)訓(xùn)練模型
• 不再受限于秒級的生成長度
• 用數(shù)據(jù)驅(qū)動的方式，讓機(jī)器人在“想象”中學(xué)會與世界交互

真實(shí)世界測試仍然是機(jī)器人開發(fā)中不可替代的一環(huán)。Uranus 的價值，在于為真機(jī)測試之外的訓(xùn)練、評測和策略迭代提供新的工具，讓機(jī)器人能夠在更可控的環(huán)境中完成更多輪試錯。

地瓜機(jī)器人將持續(xù)推進(jìn) Uranus 的技術(shù)迭代，并在后續(xù)公布完整技術(shù)報告、訓(xùn)練細(xì)節(jié)和定量實(shí)驗(yàn)結(jié)果。