世界模型的新用途：不做選手，去當裁判

林方舟 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

眼下具身賽道都在卷世界模型，都在搶著做機器人的“大腦”。

然而，最近有一個叫「Uranus」的世界模型發(fā)布，不當具身大腦，卻做機器人開發(fā)的基礎設施，在市面上鮮有同類。

它瞄準的是具身智能行業(yè)的兩個痛點。

一個是benchmark。如今許多評測基準的公信力不夠強，它想更客觀地評測VLA和世界模型，做公正的“裁判”。

另一個是sim-to-real的gap。傳統(tǒng)仿真器里跑出來的分數(shù)很漂亮，搬到真實場景卻對不上，它想做機器人訓練的“場地”。

開發(fā)Uranus的團隊來自地平線分拆而來的機器人公司地瓜機器人。這家公司做的是“賣鏟”生意，定位是機器人軟硬件通用底座提供商。

雖然同行都在盯著機器人的大腦，但地瓜機器人的判斷是：腦子要變聰明，先得有一個能讓它反復試錯、穩(wěn)定考試、還能復盤成績的平臺。

用途一：當具身模型的裁判

先來看Uranus的第一個用途：benchmark。

現(xiàn)在機器人常用的benchmark有兩種。第一種是真機評測，把訓好的模型搬上真實機械臂，在固定的場景和任務里反復跑幾十上百次，最后統(tǒng)計成功率。

它的缺點很明顯：一是效率低，驗證一個模型，得有人守在機器旁邊，反復重置環(huán)境，又慢又貴。

另一個是難以復現(xiàn)。哪怕環(huán)境看起來一樣，每次物體怎么擺、光照怎么變，都很難控制。一篇論文發(fā)表后，其他實驗室很難復現(xiàn)其中的評測結果。

第二種benchmark是仿真評測，在虛擬環(huán)境里跑任務。

它的優(yōu)點是快、便宜、能復現(xiàn)；但麻煩是sim-to-real gap，仿真里的評測分數(shù)很高，一搬到真機就要打折，分數(shù)和真實能力無法匹配。

而Uranus走的是第三條路。用戶訓練好模型后，Uranus能根據(jù)模型輸出的動作一步步生成環(huán)境反饋，再得到成功率、軌跡偏差等指標。

這樣做的好處是：迭代效率比真機評測高很多，能控制變量，還能穩(wěn)定復現(xiàn)；評測分數(shù)和模型在真實場景中的實際能力呈正相關，sim-to-real的gap很小。

地瓜機器人想把Uranus做成業(yè)內最有公信力的benchmark之一。

地瓜機器人算法副總裁隋偉說，現(xiàn)在benchmark的“刷榜”行為總引起爭議，是因為部分榜單依賴的學術指標與真實應用之間仍存在一定距離，相關數(shù)據(jù)也未必能充分反映真實場景中的復雜性。

而Uranus并不會刻意避免刷榜，關鍵是要保證刷出來的分數(shù)有意義，得分真的能匹配模型的實際能力。

用途二：支持機器人訓練的仿真器

除了當裁判，Uranus還有一個身份：機器人仿真器，主要用在manipulation（操作）領域。

傳統(tǒng)的物理仿真器，缺點是：貴、慢、效率低。手工構建仿真場景是一項浩大的工程，3D建模、材質設定、物理參數(shù)調校……每一個新環(huán)境都需要數(shù)天甚至數(shù)周的搭建。

就算費了這么大勁，渲染出來的畫面也總是不夠真實。這就引出了傳統(tǒng)仿真器的另一個缺點：sim-to-real gap。一些仿真器為了省事，會粗暴簡化物理規(guī)則，有時甚至連最基本的能量守恒都不滿足。

而Uranus并不是先手工還原一個3D世界，而是直接從數(shù)據(jù)里學習：機器人執(zhí)行這個動作后，下一幀畫面會變成什么。

在Uranus里搭場景很簡單，給定幾幀參考圖像、機器人關節(jié)狀態(tài)、相機參數(shù)和一句文本描述，模型就能把對應的場景生成出來。

畫面越逼真，仿真器和真實場景之間的鴻溝就越小。團隊說，Uranus生成的視頻，肉眼基本分不出是實拍還是生成的。

所以Uranus是怎么做到的？

其中最關鍵的技術能力是：幀級閉環(huán)。它一幀一幀生成視頻，而不是一口氣生成一整段。

普通視頻生成模型一次性生成整段視頻，中間不能打斷，也不能根據(jù)新的動作改寫后續(xù)內容。

但機器人不能這樣工作。

模型看到當前畫面，輸出一個動作。動作執(zhí)行后，環(huán)境發(fā)生變化，機器人再根據(jù)新的畫面輸出下一步動作。這個循環(huán)必須一步一步發(fā)生。只要中間斷開，強化學習和評測就都完不成。

所以Uranus每次只生成下一幀。新生成的幀會立刻進入歷史窗口，和下一步動作一起成為模型輸入。人也可以在任意時刻接管，改變動作指令，讓后續(xù)畫面沿著新的軌跡繼續(xù)生成。

打個比方，Seedance等視頻生成模型生成的，像是按劇本拍攝的電影；Uranus生成的，則更像是一個能實時交互的游戲。

但幀級閉環(huán)帶來的核心挑戰(zhàn)是誤差累積，每一步的微小預測誤差都會作為歷史條件喂入下一步，幾十步之后畫面就可能糊掉，甚至變成像素塊。

而Uranus突破了閉環(huán)長序列的瓶頸，雖然它訓練時只見過2秒短片段，但在推理時可以穩(wěn)定運行60秒，并且全程保持畫質穩(wěn)定。

很厲害是不是？不過還沒完，Uranus另一個核心能力是跨具身零樣本泛化。

用戶訓練模型時未必使用同一種具身硬件。如果評測平臺只支持一種本體，大家又得回到找真機、搭環(huán)境、重新測的老路上。泛化性也無從談起。

目前，Uranus支持G1人形機器人、Franka協(xié)作臂，之后會增加更多本體。

不過，需要注意的是，Uranus目前僅支持manipulation（操作）訓練，還不支持locomotion（運動控制）訓練。

原因在于，Uranus現(xiàn)在的模態(tài)只有action、圖像和語言，還沒加進觸覺、摩擦力、電機信號等，所以撐不起locomotion的仿真訓練。

隋偉說，要補上這些模態(tài)，關鍵還是數(shù)據(jù)，而這類數(shù)據(jù)目前普遍還不成熟。

做地基，比做大腦更難

為什么地瓜機器人選擇把Uranus做成基礎設施，而不是具身大腦？

地瓜機器人大模型負責人秦文康說，現(xiàn)在很多世界模型把視頻生成作為一個輔助loss，但學術界通常不評價訓練過程中生成視頻本身質量的好壞。團隊看過許多世界模型生成的視頻，質量普遍還有提升空間。

Uranus團隊的觀點是，先把視頻生成質量做扎實，對下游動作生成訓練可能會有更大幫助。

還有一個反直覺的理由：具身大腦和基礎設施的底層原理是同一套，但做基礎設施比做大腦更難。

做具身大腦，有相對明確的學術成果；而做仿真器，還沒有特別成功的論文或范式能參考。

具體到技術上，做基礎設施要啃下三塊硬骨頭：

• 像素級生成：評測和強化學習需要真實圖像作為輸入，只在latent空間里預測不夠。
• 跨視角一致性：機器人常常有多路相機，手眼相機、環(huán)境相機、第三視角相機必須在同一時刻對得上。
• 幀級閉環(huán)：每一步都要接動作、出反饋，還要把自己的輸出繼續(xù)喂回去。

許多機器人公司不愿意開發(fā)基礎設施，因為大家普遍缺算力，而視頻訓練又是出了名的吃資源、不確定性強，很多人不愿拿有限的資源去賭一個不確定的結果。

而地瓜機器人將自身定位為機器人界的“英偉達”，他們一直建的是“地基”，提供機器人所需的芯片方案、開發(fā)工具、訓練和部署平臺。

Uranus正好能順勢嵌入地瓜機器人的生態(tài)，一頭接評測，一頭接強化學習訓練，恰好是開發(fā)流程里最重要的兩環(huán)。

三分之二的力氣，花在了“臟活”上

最后，再來聊聊Uranus是怎么誕生的。

地瓜機器人開發(fā)團隊給出的答案有些出人意料：搭infra、處理數(shù)據(jù)這種看起來沒什么技術含量的“臟活累活”，反而耗費了整個項目三分之二的精力和資源。

先說infra，團隊一半以上的精力都砸在了這上面。

比如，存儲不是買夠硬盤就可以，Uranus面對的是PB量級的數(shù)據(jù)，團隊為此設計了分層存儲方案。到了訓練階段，還得解決數(shù)據(jù)怎么加速訪問的問題。

算力也讓人頭疼。今年上半年，市場上突然到處都找不到卡，單一云服務商無法滿足算力需求，團隊不得不花大量時間設計跨云的算力協(xié)調方案。

要訓練高分辨率、長時間的視頻，單卡顯存裝不下，需要把同一段視頻切開，在不同卡上并行計算，再把結果聚合回來。

總之，從存儲怎么選、算力節(jié)點放在哪個機房、網(wǎng)絡怎么連，到上層訓練數(shù)據(jù)的熱存儲加速，團隊全都重新優(yōu)化了一遍。

團隊做完這些工作后的感受是：語言模型領域已經(jīng)形成共識，沒有infra就不要談大模型。但具身行業(yè)對infra的重視程度還不夠。

除了infra，數(shù)據(jù)同樣讓人心累。

Uranus主要使用開源數(shù)據(jù)訓練，量級在幾百小時。但這些數(shù)據(jù)存在不少問題。

例如，有數(shù)據(jù)丟幀，需要做切片處理；有數(shù)據(jù)記錄的動作和視頻里實際執(zhí)行的動作不匹配，需要用算法識別并修正；還有不少數(shù)據(jù)集連相機標定都沒有做好。

目前幾百小時數(shù)據(jù)還遠沒把Uranus喂飽，只要數(shù)據(jù)增加，模型能力就能提升，這條能力增長曲線還看不到收斂的跡象。

Uranus的計劃是，今年下半年把數(shù)據(jù)擴到幾千小時量級，明年做到數(shù)萬到十幾萬小時級別。

今年，很多具身公司喊出“百萬小時數(shù)據(jù)”的目標，但隋偉有不同看法。

他認為，一方面，現(xiàn)有算力很難支撐這么大的數(shù)據(jù)量。

另一方面，單純堆時長意義不大，同質化的數(shù)據(jù)對模型訓練的作用有限。哪怕真采了百萬小時，真正能起作用的數(shù)據(jù)可能還不到1%。

比起數(shù)量，數(shù)據(jù)的質量和多樣性更重要。

隋偉舉例，自動駕駛行業(yè)里談的不是時長，而是「clip數(shù)量」，也就是不同時間、空間、場景下采到的片段。

他說，當前的具身行業(yè)，模型決定下限，而數(shù)據(jù)決定上限。

Uranus的例子很能說明這一點：僅靠把相機標定做準、把動作畫面關系對齊、篩出臟數(shù)據(jù)，就能換來幾十個百分點的成功率提升，而算法卻達不到同樣的效果。

眼下很多關鍵工作歸根到底仍是數(shù)據(jù)工程，還沒到拼模型的時候。