剛剛，全球首個(gè)具身專屬的MoE視頻模型，開(kāi)源了！

金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

終于，專屬具身智能的視頻模型來(lái)了！

話不多說(shuō)，直接來(lái)看生成的效果：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

這就是螞蟻靈波剛剛正式開(kāi)源的LingBot-Video——

全球首個(gè)面向具身智能的大規(guī)模MoE視頻基礎(chǔ)模型、視頻物理引擎。

或許有小伙伴要問(wèn)了，像剛才視頻里的機(jī)器人切西紅柿、吸床單和收納口紅，目前很多視頻生成的AI不也能搞出來(lái)嗎？

確實(shí)。

但既然說(shuō)了LingBot-Video是具身版的專屬視頻模型，那說(shuō)明它從架構(gòu)、數(shù)據(jù)到訓(xùn)練目標(biāo)全鏈路都是為機(jī)器人、人形智能體量身打造的。

而且其它視頻生成AI的關(guān)注點(diǎn)，更多的是時(shí)長(zhǎng)、美學(xué)、畫質(zhì)、運(yùn)鏡等等。

但到了LingBot-Video這里，重中之重，變成了是否符合物理規(guī)律。

除此之外 ，LingBot-Video的亮點(diǎn)還包括：

• 架構(gòu)上采用MoE，讓模型容量和推理成本更好平衡；
• 30B參數(shù)，推理時(shí)僅激活3B；
• 數(shù)據(jù)上引入超70000小時(shí)具身相關(guān)視頻，讓模型學(xué)習(xí)機(jī)器人操作、導(dǎo)航、第一視角等場(chǎng)景；
• 訓(xùn)練上加入多維獎(jiǎng)勵(lì)系統(tǒng)，把物理合理性、任務(wù)完成度納入優(yōu)化目標(biāo)。
• 已在RBench上超越業(yè)內(nèi)通用視頻生成標(biāo)桿模型。

LingBot-Video一經(jīng)開(kāi)源，同樣也是引發(fā)了網(wǎng)友們不小的熱議，他們直呼：

它的功能遠(yuǎn)不止于生成視頻，如此大規(guī)模的訓(xùn)練，讓模型對(duì)現(xiàn)實(shí)世界中的互動(dòng)有了更深刻的理解。

為什么機(jī)器人需要自己的視頻模型？

對(duì)于這個(gè)問(wèn)題，答案其實(shí)蠻現(xiàn)實(shí)且剛需的。

通用視頻模型的訓(xùn)練目標(biāo)，主要圍繞視覺(jué)質(zhì)量、語(yǔ)義對(duì)齊、運(yùn)動(dòng)連貫展開(kāi)。人看視頻時(shí)，也更容易被畫質(zhì)、光影、構(gòu)圖、風(fēng)格打動(dòng)。

但機(jī)器人看世界的方式卻截然不同。

它不只是看見(jiàn)一個(gè)杯子，還要判斷自己伸手過(guò)去以后，杯子會(huì)怎么動(dòng)；看見(jiàn)一條路，還要判斷從這里走過(guò)去，會(huì)不會(huì)撞到障礙……

所以，我們可以認(rèn)為內(nèi)容視頻和具身視頻其實(shí)是兩套評(píng)價(jià)體系。

△圖片由AI生成

通用模型里偶爾出現(xiàn)的穿模、物體憑空消失、動(dòng)作違背慣性，對(duì)短視頻創(chuàng)作來(lái)說(shuō)可能只是瑕疵。觀眾看一眼，最多吐槽一句“AI味有點(diǎn)重”。

但如果把這些錯(cuò)誤視頻拿去訓(xùn)練機(jī)器人，那問(wèn)題可就大了。

因?yàn)檫@就相當(dāng)于在教機(jī)器人一套錯(cuò)誤的世界規(guī)律，它們會(huì)誤認(rèn)為手可以穿過(guò)物體、杯子可以無(wú)緣無(wú)故復(fù)原、液體可以懸在空中……

所以LingBot-Video生成的視頻，就是要讓機(jī)器人的大腦學(xué)會(huì)真真實(shí)實(shí)的物理規(guī)律。

例如下面這三組生成的工業(yè)場(chǎng)景的視頻：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

視頻中，機(jī)械臂在產(chǎn)線上對(duì)零件進(jìn)行抓取、放置、定位，有的還涉及焊接、加工這樣的動(dòng)作。但重點(diǎn)在于末端執(zhí)行器、工件、工作臺(tái)之間的相對(duì)關(guān)系能不能在連續(xù)幀里保持穩(wěn)定。

這對(duì)應(yīng)的正是機(jī)器人真正需要學(xué)習(xí)的能力，包括看懂物體，靠近物體，作用于物體，然后預(yù)測(cè)物體狀態(tài)的變化。

再如更復(fù)雜的動(dòng)態(tài)場(chǎng)景：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

一個(gè)是第一視角滑雪鏡頭，從雪坡向前沖下，雪霧、坡面、身體姿態(tài)都在快速變化；另一個(gè)畫面里，人形機(jī)器人則在雪道上和滑雪者并行繞旗門前進(jìn)。

這類場(chǎng)景考驗(yàn)的，便是機(jī)器人對(duì)于空間的理解、運(yùn)動(dòng)的預(yù)測(cè)和動(dòng)態(tài)環(huán)境的建模等能力。

還有機(jī)器人打排球、踢足球：

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

排球場(chǎng)上，機(jī)器人起跳、揮臂、擊球，球沿著空中軌跡飛出；足球場(chǎng)上，機(jī)器人完成擺腿、觸球、射門，球和身體動(dòng)作之間有明確對(duì)應(yīng)關(guān)系。

這就有點(diǎn)接近我們?nèi)祟惼诖木呱碇悄芩鶕碛械撵`活的運(yùn)動(dòng)能力。

（LingBot-Video完整能力視頻如下）

視頻地址：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q

在看完效果之后，那么接下來(lái)的問(wèn)題就是：

LingBot-Video是怎么做到的？

30B的大腦，僅3B出手

要讓視頻模型更懂機(jī)器人，第一步是架構(gòu)。

從此次團(tuán)隊(duì)發(fā)布的技術(shù)報(bào)告來(lái)看，較為吸睛一點(diǎn)便是引入了MoE架構(gòu)。

為啥要這么做？打個(gè)比方。

傳統(tǒng)Dense模型更像一個(gè)大辦公室，每來(lái)一個(gè)任務(wù)，所有人都要一起上場(chǎng)。好處是穩(wěn)，壞處是貴。模型越大，每次調(diào)用成本越高。

而MoE則像一個(gè)大型專家?guī)欤蝿?wù)來(lái)了，不用所有專家都出手，只叫最相關(guān)的一組專家來(lái)處理。

LingBot-Video的體量共計(jì)30B參數(shù)，但正因引入了MoE，單次生成大約激活3B參數(shù)參與計(jì)算。

由此，不僅計(jì)算成本變得更低，擴(kuò)展方式也從直接堆參數(shù)變成了按需激活。

畢竟機(jī)器人訓(xùn)練、策略評(píng)估、動(dòng)作規(guī)劃，天然需要大量模擬和試錯(cuò)，若每次生成視頻都要激活全部參數(shù)，那成本自然貴得離譜，那這個(gè)視頻物理引擎也就很難真正被用起來(lái)。

更具體來(lái)說(shuō)，視頻要模擬連續(xù)物理世界，需要處理復(fù)雜運(yùn)動(dòng)軌跡、三維空間一致性、材質(zhì)紋理等復(fù)雜分布；稀疏MoE可以在固定計(jì)算預(yù)算下擴(kuò)大參數(shù)容量，把總參數(shù)規(guī)模和每個(gè)Token實(shí)際激活的計(jì)算量解耦。

從實(shí)驗(yàn)結(jié)果來(lái)看，MoE30B-A3B在1M Token長(zhǎng)度下，對(duì)比Dense6B、Dense 14B、Dense 30B的速度比分別達(dá)到1.50×、2.59×和3.18×；同時(shí)，稀疏框架還能保持接近3B規(guī)模模型的推理效率。

除了架構(gòu)之外，LingBot-Video另一大技術(shù)亮點(diǎn)，便在于它的數(shù)據(jù)。

大語(yǔ)言模型為什么能起來(lái)？一個(gè)很重要的原因是，互聯(lián)網(wǎng)天然積累了海量文本。

但機(jī)器人并沒(méi)有屬于自己的互聯(lián)網(wǎng)，網(wǎng)上不存在幾十億小時(shí)的機(jī)器人動(dòng)作數(shù)據(jù)。

真實(shí)機(jī)器人數(shù)據(jù)要靠遙操作、真實(shí)設(shè)備、真實(shí)場(chǎng)地一點(diǎn)點(diǎn)采集，不僅成本高、速度還慢；當(dāng)然，仿真數(shù)據(jù)也是一條路，不過(guò)仿真器里學(xué)會(huì)的東西，到了真實(shí)世界常常會(huì)遇到sim-to-real gap。

而LingBot-Video選擇的是第三條路，即把通用互聯(lián)網(wǎng)視頻和具身數(shù)據(jù)結(jié)合起來(lái)。

從發(fā)布的技術(shù)報(bào)告來(lái)看，模型引入了超過(guò)70000小時(shí)的embodiment-oriented footage，覆蓋機(jī)器人操作VLA、導(dǎo)航、第一視角視頻，還包括真實(shí)機(jī)器人、仿真、開(kāi)源、第三人稱視角，以及人形機(jī)器人、四足機(jī)器人等平臺(tái)。

這些數(shù)據(jù)不是簡(jiǎn)單拼接進(jìn)去的，而是在訓(xùn)練流程的專門階段里，針對(duì)稀缺但高價(jià)值的具身數(shù)據(jù)做了刻意的“少篩選、多保留”，防止被海量的普通互聯(lián)網(wǎng)視頻稀釋掉。

所有素材都會(huì)經(jīng)過(guò)五維結(jié)構(gòu)化標(biāo)注，精準(zhǔn)標(biāo)記物體、材質(zhì)、動(dòng)作時(shí)間戳、受力交互關(guān)系；同時(shí)采用課程式五階段漸進(jìn)訓(xùn)練，從低清靜態(tài)圖像打底，逐步過(guò)渡到高清長(zhǎng)時(shí)序視頻，循序漸進(jìn)讓模型掌握復(fù)雜物理交互邏輯。

針對(duì)機(jī)械操作、精密抓取這類長(zhǎng)尾場(chǎng)景，團(tuán)隊(duì)還通過(guò)分布感知采樣做加權(quán)強(qiáng)化，補(bǔ)齊小眾工業(yè)、家用機(jī)器人場(chǎng)景生成能力。

最后，還要一個(gè)強(qiáng)化學(xué)習(xí)環(huán)節(jié)。

傳統(tǒng)視頻模型僅用畫面美觀度、文本匹配度做優(yōu)化目標(biāo)，不太不約束物理邏輯。而LingBot-Video搭建一套分層強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)體系，從感知、物理、執(zhí)行三個(gè)維度同步約束生成結(jié)果：

1. 感知維度：保障畫面清晰度、文字描述匹配度、動(dòng)態(tài)流暢度；
2. 物理維度：模型核心優(yōu)化指標(biāo)，校驗(yàn)物體不穿透、無(wú)憑空消失、運(yùn)動(dòng)符合重力慣性、材質(zhì)受力形變合理；
3. 執(zhí)行維度：校驗(yàn)機(jī)器人肢體結(jié)構(gòu)完整、動(dòng)作流程可落地、任務(wù)目標(biāo)完整完成。

訓(xùn)練采用GRPO組相對(duì)策略優(yōu)化方案，搭配負(fù)感知微調(diào)規(guī)避獎(jiǎng)勵(lì)黑客問(wèn)題。同時(shí)原生支持Action-to-Video動(dòng)作條件生成，輸入機(jī)器人動(dòng)作指令，就能直接輸出后續(xù)完整視覺(jué)變化，可直接對(duì)接機(jī)器人運(yùn)動(dòng)規(guī)劃模塊。

另外模型還配套級(jí)聯(lián)精煉方案，先生成480p基礎(chǔ)時(shí)序畫面保證運(yùn)動(dòng)邏輯，再精煉至1080p高清畫質(zhì)，如此一來(lái)，便可平衡推理速度與畫面細(xì)節(jié)。

在評(píng)測(cè)過(guò)程中，LingBot-Video被拿來(lái)和NVIDIACosmos3、LongCat-Video、LTX-2.3等開(kāi)源模型比較。

結(jié)果顯示，在TI2V任務(wù)上，LingBot-Video在開(kāi)源競(jìng)品中達(dá)到SOTA水平，并在general quality和embodied domain兩項(xiàng)得分中位居第一；在T2V任務(wù)上，雖然general quality排名第二，但embodied domain得分仍超過(guò)Cosmos等競(jìng)爭(zhēng)基線。

除此之外，LingBot-Video已在RBench上超越業(yè)內(nèi)通用視頻生成標(biāo)桿模型。

視頻模型的終點(diǎn)，是機(jī)器人大腦的起點(diǎn)

在看完效果和評(píng)測(cè)結(jié)果之后，其實(shí)我們可以清晰看到一個(gè)新的信號(hào)：

LingBot-Video開(kāi)源這件事，更像是在視頻生成賽道里，把另一條路線擺到了臺(tái)面上。

因?yàn)槿羰俏覀儼岩曨l模型看作世界模型，它的價(jià)值就會(huì)變成給機(jī)器人提供一個(gè)低成本、可反復(fù)試錯(cuò)的物理世界模擬器。

再細(xì)分其價(jià)值，我們大致可以劃分為三層。

第一層，是Data Engine。

機(jī)器人真實(shí)數(shù)據(jù)太貴，采集太慢。如果視頻物理引擎能生成足夠可信的動(dòng)作過(guò)程和場(chǎng)景變化，就有機(jī)會(huì)為機(jī)器人訓(xùn)練提供更多低成本數(shù)據(jù)。

第二層，是Policy Evaluator。

真實(shí)世界試錯(cuò)很危險(xiǎn)，尤其是工業(yè)機(jī)械臂、人形機(jī)器人、四足機(jī)器人這些系統(tǒng)。視頻模型可以在虛擬視覺(jué)環(huán)境里先跑一遍策略，提前觀察可能結(jié)果，降低真實(shí)測(cè)試風(fēng)險(xiǎn)。

第三層，是Action Planner。

機(jī)器人面對(duì)真實(shí)場(chǎng)景時(shí)，可以借助模型預(yù)測(cè)“執(zhí)行這個(gè)動(dòng)作后會(huì)發(fā)生什么”，再輔助決策規(guī)劃與異常預(yù)判。技術(shù)報(bào)告也明確把LingBot-Video定位為面向機(jī)器人社區(qū)的Data Engine、Policy Evaluator和Action Planner。

由此，LingBot-Video和其它普通視頻生成模型的區(qū)別便一目了然了。

這也是為什么視頻模型正在從內(nèi)容創(chuàng)作賽道，外溢到世界模型和具身智能賽道。

李飛飛創(chuàng)辦的World Labs押注空間智能，試圖讓AI理解、生成并交互3D世界；LeCun團(tuán)隊(duì)的V-JEPA 2則直接從視頻自監(jiān)督學(xué)習(xí)切入，探索讓模型理解、預(yù)測(cè)并規(guī)劃物理世界……已然是具身智能下一階段的兵家必爭(zhēng)。

不過(guò)在具身智能專屬視頻生成模型這件事上，長(zhǎng)時(shí)序一致性、柔性物體和液體等復(fù)雜物理交互、視頻預(yù)測(cè)能力向真實(shí)機(jī)器人閉環(huán)的轉(zhuǎn)化，以及具身視頻模型評(píng)測(cè)標(biāo)準(zhǔn)建設(shè)，都還在演進(jìn)中。

但LingBot-Video至少證明了一件事，那就是視頻模型正在從內(nèi)容生產(chǎn)工具，往物理世界模擬器推進(jìn)。

也許再往后看，視頻生成的盡頭，還真不一定是電影。

它也可能是下一代機(jī)器人大腦的起點(diǎn)。

GitHub:
https://github.com/robbyant/lingbot-video

Tech Report:
https://arxiv.org/pdf/2607.07675

Project Page:
https://technology.robbyant.com/lingbot-video

HuggingFace：
https://huggingface.co/collections/robbyant/lingbot-video

Model Scope：
https://www.modelscope.cn/collections/Robbyant/LingBot-Video