60000小時煉出新開源VLA！20多種機器人都能用

金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

整整60000小時的預訓練數(shù)據(jù)。

一個新VLA（視覺-語言-動作），就這么水靈靈地被“喂”了出來，而且還是開源的那種。

這就是螞蟻靈波剛剛發(fā)布的LingBot-VLA 2.0，一個面向復雜物理世界任務的通用VLA模型。

先來聊聊這60000小時真實物理數(shù)據(jù)是怎么來的。

其實它包含兩個部分，其中50000小時來自機器人軌跡數(shù)據(jù)，覆蓋20種機器人構型；另外10000小時來自第一視角人類操作視頻。

而距螞蟻靈波1月發(fā)布LingBot-VLA 1.0僅半年時間來，數(shù)據(jù)規(guī)模從20000小時直接乘了個3。

那么效果又如何呢？

來，直接上結果：

視頻地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

我們從視頻中可以看到，機器人先從操作臺上拿起飲料、水果放進籃子里，再拎起籃子移動到冰箱前，打開冰箱門、把東西一件件放進去，最后關上冰箱門。

一整套長序列的移動操作，一氣呵成，相當絲滑。

不過有一說一，數(shù)據(jù)規(guī)模還僅僅是LingBot-VLA 2.0亮點的一隅，在細扒相關技術報告后我們發(fā)現(xiàn)：

• 支持20多種機器人構型；
• 從雙臂擴展到頭部、腰部、移動底盤、靈巧手等更完整的動作空間；
• 融合LingBot-Depth，讓機器人獲得更強空間理解能力；
• 在英偉達RTX 4090上推理延遲低于130ms。

而不少網(wǎng)友們看到LingBot-VLA 2.0的發(fā)布后，更是直呼：

開源的具身模型正在加速機器人技術在現(xiàn)實世界中的應用。

機器人干活，更利索了

接下來，我們先繼續(xù)來直觀感受一下在LingBot-VLA 2.0加持之下，機器人干真實世界家務活兒的表現(xiàn)如何。

第一個任務是清理灶臺。

它比剛才的冰箱收納來說，更加接近真實生活中的廚房場景：

視頻地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

機器人面對爐灶、鍋架、海綿等一桌子物品，需要先將障礙物挪開、取放妥當，然后精準地拿起海綿擦拭灶臺，最后還得把相關物體物歸原位。

從機器人的表現(xiàn)來看，LingBot-VLA 2.0是經(jīng)受住了真實環(huán)境里的連續(xù)決策和精細交互的考驗。

再來看一個任務，調料收納。

這類任務更考驗雙臂協(xié)同和空間關系處理能力，機器人要清楚每個物體分別放在哪、彼此間距多遠、桌面結構長什么樣，光靠看畫面是不夠的，還得有空間感。

視頻地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

再來感受一下帶LingBot-Depth 2.0深度熱力圖、物體邊界Token掩碼、余弦相似度熱圖的效果：

視頻地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

而這正是LingBot-VLA 2.0默認融合LingBot-Depth之后帶來的能力升級，精準拿捏住了機器人自身和空間之間的關系。

若是我們把這三個案例放到一起，LingBot-VLA 2.0要做的事兒就比較清晰了：

它是希望通過同一套具身大腦，能夠做到遷移到不同身體、不同場景、不同任務里。

換言之，為某個機器人專門訓的專用模型不是目的，關鍵是一套能復用的通用具身操作基座。

（完整能力視頻如下）

視頻地址：
https://mp.weixin.qq.com/s/GBkj3L9z1_ihq6vrUDrbJw

還學會了預測未來

在看完效果之后，接下來的問題就是LingBot-VLA 2.0是如何做到的。

我們先從數(shù)據(jù)說起。

在第一代LingBot-VLA開源時，外界就已經(jīng)關注到一個點，真實世界機器人數(shù)據(jù)越多，VLA模型能力越強，而且這種提升還沒有明顯到頭。

到了LingBot-VLA 2.0，這條路線還在繼續(xù)被往前推。正如我們剛才提到的，它的數(shù)據(jù)管線從9萬小時數(shù)據(jù)中清洗出5萬小時高質量真機數(shù)據(jù)，又從2萬小時第一視角人類操作數(shù)據(jù)中提煉出1萬小時有效數(shù)據(jù)，總預訓練數(shù)據(jù)達到6萬小時。

但數(shù)據(jù)量增加還只是表象。更關鍵的是這些數(shù)據(jù)覆蓋了更多機器人形態(tài)、多視角、多任務、多動作模式。

團隊在技術報告中列出的機器人構型便包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等，總計20種embodiment。

我們知道語言模型吃的是文本，但到了VLA這里，吃的是“視覺、語言、動作”的組合。

它不光要知道“把水果放進冰箱”這句話是什么意思，還要知道機械臂該怎么接近物體，夾爪什么時候閉合，底盤什么時候移動，冰箱門打開后空間關系如何變化。

所以數(shù)據(jù)越豐富，模型越有機會學到更通用的操作規(guī)律。

除了數(shù)據(jù)夠“厚”之外，LingBot-VLA 2.0的另一個關鍵，在于它把動作空間打通了。

不同機器人有不同關節(jié)、不同夾爪、不同底盤。雙臂機器人、人形機器人、移動機械臂，在身體結構上差異很大。要讓同一個VLA模型遷移到不同身體上，就需要把這些差異映射到一個統(tǒng)一的動作空間里。

LingBot-VLA 2.0這次把動作空間從雙臂進一步擴展到頭部、腰部、移動底盤、靈巧手等自由度。

真實世界復雜任務往往需要多個身體自由度協(xié)同完成，LingBot-VLA 2.0的目標就是提升機器人在開放場景、長序列任務和多自由度協(xié)同任務中的表現(xiàn)。

更有意思的是，LingBot-VLA 2.0還學會了預測未來。

過去很多VLA模型更像是反饋式執(zhí)行，看到當前畫面，生成一個動作；執(zhí)行完之后，再根據(jù)下一幀觀察結果繼續(xù)修正。但這種方式能形成閉環(huán)，但在長序列任務里容易出現(xiàn)問題。

因此，LingBot-VLA 2.0引入了未來深度預測和語義特征預測，讓模型在生成動作時同時理解當前狀態(tài)和預測未來狀態(tài)。

具體來講，團隊給視覺和文本token額外掛上兩組可學習的query token，一組對應當前時刻，一組對應未來時刻；再分別用負責幾何信息的深度模型LingBot-Depth，和負責語義、時序信息的自研視頻表征模型DINO-Video做蒸餾監(jiān)督，讓模型不僅理解眼前的場景，還能提前預判物體位置、空間關系和任務狀態(tài)接下來會怎么變化。

由此，我們便可以把LingBot-VLA 2.0在技術上的升級歸結為：

數(shù)據(jù)更厚，身體覆蓋更廣，動作空間更完整，模型還具備一定前瞻式時序理解能力。

GM-100上見真章

模型好不好，評測結果也是很好的證明。

這次LingBot-VLA 2.0在GM-100多任務Generalist Benchmark上選取9個任務，與GR00T N1.7、π0.5、LingBot-VLA 1.0進行對比；同時也在兩個長程移動操作任務上與π0.5進行對比。

值得一提的是，Generalist Benchmark考察的是同一個模型在多個任務上的綜合表現(xiàn)，而非為單個任務分別訓練、分別調優(yōu)，再把各自最好的結果拼成一張榜單。因此，這類評測更接近真實落地場景，也更能反映一個VLA基座模型的通用能力。

先看GM-100雙臂操作。

在AgileX Cobot Magic平臺上，LingBot-VLA 2.0整體平均成績?yōu)?6.2/34.4，高于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2，以及LingBot-VLA 1.0的58.2/30.0。

在Galaxea R1 Pro平臺上，LingBot-VLA 2.0整體平均為34.6/15.6，進度分高于GR00T N1.7、π0.5和LingBot-VLA 1.0；成功率與LingBot-VLA 1.0持平，但高于GR00T N1.7和π0.5。

除此之外，團隊還做了兩個較有代表性的測試：Astribot S1執(zhí)行物體放入冰箱任務，Cobot Magic-ARX X5執(zhí)行清理灶臺任務。

每個任務都有ID和OOD兩種設置，每組15次獨立實驗。OOD設置下，機器人初始位置會被擾動；在冰箱收納任務中，還會替換為沒見過的物體類別，用來測試泛化能力。

結果上，冰箱收納任務中，LingBot-VLA 2.0在ID設置下為77.1/60.0，π0.5為65.3/46.7；OOD設置下，LingBot-VLA 2.0為37.0/13.3，π0.5為30.3/6.7。

清理灶臺任務中，LingBot-VLA 2.0在ID設置下為84.3/66.7，π0.5為79.9/60.0；OOD設置下，LingBot-VLA 2.0為67.5/40.0，π0.5為62.5/33.3。

具身通用大腦，越發(fā)關鍵了

放到整個行業(yè)來看，LingBot-VLA 2.0的意義不止是又一個更強的模型。

過去一年，機器人硬件本體的變化很快。樂聚、智元、星動紀元等公司都在推進不同形態(tài)的身體，人形機器人、雙臂機器人、移動機械臂都在快速迭代。

身體越來越多，問題也隨之出現(xiàn)。

每種機器人都有自己的關節(jié)構型、傳感器配置、控制方式；每個場景又有不同物體、空間、任務要求。如果每一種本體、每一個任務都要重新適配一套算法，成本會很高，規(guī)模化也很難。

LingBot-VLA 2.0想做的，就是大腦層的通用化。

它用更大規(guī)模的真實數(shù)據(jù)，讓模型見過更多物理世界里的動作；用統(tǒng)一動作表示，嘗試抹平不同本體之間的差異；再加上LingBot-Depth和未來預測，讓機器人對空間和時間有更強的理解。

從更長遠看，具身智能可能會出現(xiàn)一個趨勢：

機器人的身體繼續(xù)百花齊放，但通用大腦的趨勢會愈加收斂。

One More Thing：

昨天螞蟻靈波發(fā)布了LingBot-Depth 2.0，今天是LingBot-VLA 2.0，但估計它的新動作不會僅止于此。

因為在一月份的時候，螞蟻靈波就針對具身智能來了一波四連彈。

所以，對具身智能感興趣的小伙伴，可以繼續(xù)保持下關注哦~

技術報告：
From Foundation to Application: Improving VLA Models in Practice

報告地址：
https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf

項目頁面：
https://technology.robbyant.com/lingbot-vla-v2

代碼庫：
https://github.com/robbyant/lingbot-vla-v2

Hugging Face：
https://huggingface.co/collections/robbyant/lingbot-vla-v2

ModelScope：
https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2