視頻生成不能用在具身智能？誰(shuí)在定義？誰(shuí)在誤讀？

作者：呂鑫燚

出品：具身研習(xí)社

今天的視頻生成，正站在當(dāng)年LLM的位置上。

這是一個(gè)有點(diǎn)冷的知識(shí)，具身智能剛走俏的階段，有人會(huì)把LLM當(dāng)成具身智能的“大腦”，原因很簡(jiǎn)單，那時(shí)具身智能看起來(lái)就是一個(gè)只會(huì)對(duì)話的機(jī)器人，一問一答的過(guò)程和虛擬世界中基于LLM做的對(duì)話體沒什么區(qū)別。

之所以是冷知識(shí)，是因?yàn)檫@個(gè)判斷只存在于產(chǎn)業(yè)非常早期時(shí)小部分群體中。隨著具身智能基于多模態(tài)感知在物理世界完成一次次交互后，也不再有人記起，當(dāng)年還曾有過(guò)這樣的誤讀。

歷史總是驚人的相似，今天的視頻生成也被誤讀，甚至范圍比LLM更廣。

“視頻生成不能用于具身智能。”

這個(gè)判斷，幾乎快成為近段時(shí)間具身智能產(chǎn)業(yè)內(nèi)新長(zhǎng)出的共識(shí)。和當(dāng)年一樣，這是一個(gè)相對(duì)武斷，也有點(diǎn)早熟的判斷。它把“視頻生成”當(dāng)作一個(gè)同質(zhì)化的整體，卻忽略了這條賽道正在發(fā)生的深層分化。

真正的問題從來(lái)不是視頻生成能不能用于具身智能，而是我們今天所見的大部分通用視頻生成模型只是“視頻生成”中的一個(gè)分支。

過(guò)去兩年，視頻生成的主戰(zhàn)場(chǎng)是內(nèi)容創(chuàng)作。

Sora、Seedance 們?cè)诋嬞|(zhì)、時(shí)長(zhǎng)、美學(xué)、可控性上競(jìng)速，目標(biāo)是讓畫面更好看、更電影感、更聽話。這條路線有其商業(yè)價(jià)值，但它的核心邏輯是視覺愉悅，而非物理真實(shí)。而對(duì)具身智能來(lái)說(shuō)，真正有物理價(jià)值的視頻生成，必須回答一組完全不同的問題：物體不會(huì)憑空出現(xiàn)或消失，液體會(huì)流動(dòng)而不會(huì)懸停，推一下東西它會(huì)按慣性運(yùn)動(dòng)，抓取動(dòng)作和物體狀態(tài)變化嚴(yán)格對(duì)應(yīng)。

簡(jiǎn)單來(lái)說(shuō)物理必須正確。

由此可見，今天我們?cè)賮?lái)談?wù)撘曨l生成時(shí)，必須正視這是兩條分道揚(yáng)鑣的路：一條通向影院，一條通向機(jī)器人。而通往機(jī)器人的這條路，正是世界模型中最具代表性的技術(shù)體系。

視頻來(lái)源：LingBot-Video

行業(yè)評(píng)測(cè)體系也在印證這個(gè)分野。主流視頻評(píng)測(cè)基準(zhǔn) VBench 衡量的是畫質(zhì)、美學(xué)和一致性，而近兩年學(xué)界開始出現(xiàn)的 Physics-IQ Verified 、RBench 則專門衡量物理合理性和機(jī)器人操作能力。結(jié)果普遍顯示，畫面最好看的模型，物理理解未必最強(qiáng)。當(dāng)產(chǎn)業(yè)還在用內(nèi)容創(chuàng)作的標(biāo)尺評(píng)判所有視頻生成模型時(shí)，“視頻生成不能用于具身智能”這個(gè)判斷，本質(zhì)上是在用前者的標(biāo)準(zhǔn)否定后者的可能性。

因此，我們今天該下的判斷，或者說(shuō)業(yè)內(nèi)長(zhǎng)出的共識(shí)，不該是“視頻生成不能用于具身智能”，而是當(dāng)視頻生成不再是“內(nèi)容工具”，而是以“世界模型”的姿態(tài)，加速具身智能走進(jìn)物理世界，基座模型本身，需要被重新設(shè)計(jì)。

如果說(shuō) LLM 是產(chǎn)業(yè)早期鬧出的基礎(chǔ)性錯(cuò)誤，那被誤解的視頻生成則是繁榮期的產(chǎn)物。

不過(guò)視頻生成被誤解的這條路更為隱蔽，當(dāng)世界模型成為新共識(shí)，視頻生成卻被悄悄排除在外，而排除它的理由，恰恰來(lái)自那些最不應(yīng)該定義它的人。

過(guò)去一年，具身智能產(chǎn)業(yè)的主線議題完成了一次快速遷移。從“怎么控制機(jī)器人”（VLA）到“怎么讓機(jī)器人理解世界”，世界模型幾乎成了所有人嘴里的終局答案。Google DeepMind 在談，國(guó)內(nèi)頭部具身團(tuán)隊(duì)也在談。大家堅(jiān)定相信，世界模型是未來(lái)。可就在這個(gè)共識(shí)里，有一道裂縫幾乎沒人去追問，

世界模型的核心是在虛擬世界中預(yù)測(cè)下一個(gè)物理狀態(tài)，而視頻生成，恰恰是最接近這個(gè)定義的載體。為什么它會(huì)被排除？

深層原因在于，繁榮期里出現(xiàn)了一種典型的渾水摸魚，有些團(tuán)隊(duì)本來(lái)做的是內(nèi)容美學(xué)，畫面好看、轉(zhuǎn)場(chǎng)絲滑、Prompt 遵循度高，世界模型這個(gè)概念火了之后，PPT 里的定位立刻換了一套話術(shù)。他們生成的視頻依然杯子穿過(guò)了桌面，但他們聲稱自己在做“世界模擬”。這不是技術(shù)路線的分歧，這是概念套利的把戲。

這種現(xiàn)象在任何一輪技術(shù)熱潮里都不少見。當(dāng)一個(gè)概念成為融資的通行證，就一定會(huì)有人把舊能力裝進(jìn)新瓶子里重新叫賣。但真正危險(xiǎn)的不是這些企業(yè)本身，而是它們混淆了產(chǎn)業(yè)對(duì)視頻生成真實(shí)能力的判斷。當(dāng)投資人、研究者、甚至機(jī)器人本體廠商都開始覺得“視頻生成 = 畫面好看但物理稀爛”，這條賽道就被整體污名化了。視頻生成被排除在世界模型之外，不是因?yàn)榧夹g(shù)天花板，而是因?yàn)樘嗳嗽谟盟霾辉撍龅氖隆?/p>

從實(shí)際來(lái)看，物理正確的視頻生成是可以做出來(lái)的，關(guān)鍵是從一開始就得為物理正確而設(shè)計(jì)。

數(shù)據(jù)層面，通用視頻模型學(xué)的是“畫面怎么變”，具身視頻模型要學(xué)的是“動(dòng)作如何改變世界”，拿起杯子不只是語(yǔ)義上的“拿起”，還包括杯子拿起后里面的液體怎么晃動(dòng)、放下時(shí)桌面怎么受力。這需要引入 VLA（視覺-語(yǔ)言-動(dòng)作）、VLN（視覺-語(yǔ)言導(dǎo)航）、Ego-vision（第一視角）等具身專屬數(shù)據(jù)，讓模型理解真實(shí)交互中的動(dòng)作、空間和物理變化，而不是互聯(lián)網(wǎng)視頻里那些經(jīng)過(guò)剪輯、調(diào)色、美化的視覺模式。

視頻來(lái)源：LingBot-Video

通用視頻生成模型在訓(xùn)練層面，更關(guān)注視覺真實(shí)感、語(yǔ)義對(duì)齊、動(dòng)作連貫性。但對(duì)機(jī)器人來(lái)說(shuō)，這遠(yuǎn)遠(yuǎn)不夠。需要同時(shí)從三個(gè)維度發(fā)力：感知確保畫面自然真實(shí)；物理確保防穿透、運(yùn)動(dòng)慣性、時(shí)空連續(xù)性；執(zhí)行確保復(fù)雜指令對(duì)齊、動(dòng)作過(guò)程完整、任務(wù)真正完成。三者結(jié)合，視頻生成才能從“看起來(lái)真實(shí)”走向“物理上真實(shí)、任務(wù)上完整”。

LingBot-Video走的就是這條路。它核心關(guān)注點(diǎn)不是“畫面怎么變”，而是“動(dòng)作如何改變世界”，讓模型學(xué)習(xí)動(dòng)作、事件和環(huán)境變化，預(yù)測(cè)真實(shí)物理世界如何演化，最終服務(wù)于機(jī)器人的世界預(yù)測(cè)、動(dòng)作理解和自主訓(xùn)練。超 7 萬(wàn)小時(shí)的具身多模態(tài)數(shù)據(jù)覆蓋 VLA、VLN、Ego-vision 等場(chǎng)景，再用感知、物理、執(zhí)行三維獎(jiǎng)勵(lì)模型并行優(yōu)化。這不是在通用視頻模型上打補(bǔ)丁，而是從架構(gòu)、數(shù)據(jù)到訓(xùn)練目標(biāo)的系統(tǒng)性重構(gòu)。

由此可見，物理正確的視頻生成，符合世界模型的內(nèi)核，更是具身智能正在等的“大腦”。

實(shí)際上，大家吵的從來(lái)不是視頻生成行不行，而是能不能用起來(lái)。

“能生成”和“能用”之間隔著一座山。生成一段看起來(lái)物理正確的視頻是一回事，讓它在具身智能的產(chǎn)業(yè)鏈里承擔(dān)實(shí)際角色是另一回事。能跑起來(lái)，就值得被認(rèn)真對(duì)待；跑不起來(lái)，標(biāo)簽換得再漂亮也沒用。

就算明確了符合物理正確的視頻生成能在具身智能上應(yīng)用，也有很多人會(huì)低估它的重要性。

不就是在腦子里先過(guò)幾遍物理世界的模樣，然后呢？

視頻來(lái)源：LingBot-Video

這個(gè)答案要從具身智能當(dāng)下最致命的兩個(gè)桎梏來(lái)找，視頻生成之所以重要，恰恰因?yàn)樗赡苁峭瑫r(shí)解開這兩個(gè)死結(jié)的那把鑰匙。

第一個(gè)桎梏，是數(shù)據(jù)。

這是具身智能產(chǎn)業(yè)最底層的焦慮。大語(yǔ)言模型吃掉了整個(gè)互聯(lián)網(wǎng)的文本，但機(jī)器人沒有屬于自己的互聯(lián)網(wǎng)，世界上不存在數(shù)十億小時(shí)的"機(jī)器人動(dòng)作數(shù)據(jù)"。我們常說(shuō)的數(shù)據(jù)金字塔，每一層都有自己的課題要解決。以高質(zhì)量的真實(shí)數(shù)據(jù)為例，該數(shù)據(jù)依賴遙操作采集，成本極高、速度極慢。行業(yè)最大規(guī)模之一的開放數(shù)據(jù)集 Open X-Embodiment，聚合了幾十家頂尖機(jī)構(gòu)的數(shù)據(jù)，量級(jí)仍遠(yuǎn)不及互聯(lián)網(wǎng)文本和視頻數(shù)據(jù)的零頭。

GPT 可以靠“暴力美學(xué)”崛起，參數(shù)堆上去，數(shù)據(jù)灌進(jìn)去，能力自然涌現(xiàn)。

但這條路徑在機(jī)器人這里走不通，因?yàn)閿?shù)據(jù)根本不夠“暴力”的資格。仿真數(shù)據(jù)是行業(yè)找到的另一條路。在虛擬環(huán)境里，機(jī)器人可以無(wú)限次試錯(cuò)、摔打、重來(lái)。不過(guò)仿真器里的物理參數(shù)是簡(jiǎn)化的、材質(zhì)是預(yù)設(shè)的、光照是理想的，一個(gè)在仿真器里練得滾瓜爛熟的“開抽屜”動(dòng)作，到了真實(shí)世界可能因?yàn)槟Σ料禂?shù)和阻尼力度的細(xì)微偏差而徹底走樣。

所以行業(yè)一直在等第三條路：一條既有互聯(lián)網(wǎng)視頻的規(guī)模，又能逼近真實(shí)交互正確性的路。

LingBot-Video 想做的就是這個(gè)"第三條路"。

它不全依賴遙操作，也不困在仿真器里，而是選擇站在互聯(lián)網(wǎng)視頻的數(shù)據(jù)規(guī)模之上，通過(guò)超 7 萬(wàn)小時(shí)具身多模態(tài)數(shù)據(jù)和三維物理獎(jiǎng)勵(lì)模型，讓模型學(xué)會(huì)“動(dòng)作如何改變世界”。這背后的邏輯很清晰。互聯(lián)網(wǎng)視頻里沒有機(jī)器人的第一視角操作數(shù)據(jù)，但它包含了海量的物理世界影像，物體怎么掉落、液體怎么流動(dòng)、門怎么開關(guān)、人怎么抓取。這些畫面里藏著基本的物理規(guī)律。LingBot-Video 在通用數(shù)據(jù)基礎(chǔ)上引入 VLA、VLN、Ego-vision 等具身專屬場(chǎng)景，補(bǔ)齊第一視角下的物理環(huán)境變化數(shù)據(jù)缺口。再通過(guò)本質(zhì)上是在試圖用具身數(shù)據(jù)的“質(zhì)”補(bǔ)齊互聯(lián)網(wǎng)視頻的缺口，再用物理獎(jiǎng)勵(lì)模型把“質(zhì)”轉(zhuǎn)化為“對(duì)”。

這也正是LingBot-Video 的第一個(gè)身份 Data Engine，數(shù)據(jù)引擎。緩解數(shù)據(jù)稀缺的根本痛點(diǎn)，這是它最底層也最重要的產(chǎn)業(yè)價(jià)值。

第二個(gè)桎梏，是預(yù)判。

這一點(diǎn)從真實(shí)生產(chǎn)生活里很容易理解。一個(gè)熟練的工人拿起錘子之前，腦子里已經(jīng)預(yù)演了一遍釘子怎么進(jìn)去、木頭會(huì)不會(huì)裂、反作用力會(huì)不會(huì)讓錘子偏移。一個(gè)老司機(jī)變道之前，已經(jīng)預(yù)判了后車距離、側(cè)方盲區(qū)、變道后需要多長(zhǎng)時(shí)間回到正常速度。這種“在腦子里先過(guò)一遍”的能力，是人類能在復(fù)雜物理世界里高效行動(dòng)的核心。

機(jī)器人目前缺乏的，正是這種預(yù)判能力。現(xiàn)有的控制范式是“感知-決策-執(zhí)行”的串行鏈條，看到什么，算一下，然后動(dòng)。但真實(shí)世界的交互速度遠(yuǎn)超這個(gè)鏈條的響應(yīng)極限。等你算完，杯子已經(jīng)掉了。

如果視頻生成模型能夠物理正確地預(yù)測(cè)“下一步世界會(huì)變成什么樣”，機(jī)器人就可以在執(zhí)行動(dòng)作前，在“腦子里”模擬一遍不同動(dòng)作的后果。這正是 LingBot-Video 給自己的第二個(gè)身份：Policy Evaluator——策略評(píng)估。

作為真實(shí)環(huán)境的“視覺代理”，在策略部署真機(jī)前進(jìn)行安全與可行性預(yù)演。讓機(jī)器人在動(dòng)手之前先“看”到結(jié)果，用世界預(yù)測(cè)能力評(píng)估不同策略的優(yōu)劣，而不是在真實(shí)世界里一次次試錯(cuò)。

更進(jìn)一步，基于對(duì)物理規(guī)律的理解，視頻生成模型還可以輔助機(jī)器人規(guī)劃下一步動(dòng)作，在多個(gè)可能的動(dòng)作序列中，選出物理上可行、任務(wù)上最優(yōu)的那一條。這是 LingBot-Video 的第三個(gè)身份：Action Planner——?jiǎng)幼饕?guī)劃。

Data Engine、Policy Evaluator、Action Planner。三重身份指向同一個(gè)產(chǎn)業(yè)判斷：視頻生成對(duì)具身智能的重要性，遠(yuǎn)不止“生成點(diǎn)訓(xùn)練數(shù)據(jù)”那么簡(jiǎn)單。它有可能成為機(jī)器人的“物理直覺”讓機(jī)器人在行動(dòng)前就能預(yù)判世界的反應(yīng)，而不是事后補(bǔ)救。

當(dāng)人們還在爭(zhēng)論視頻生成能不能做世界模型的時(shí)候，真正該問的問題或許是：如果一個(gè)機(jī)器人能在動(dòng)手之前就“看”到后果，它還需要我們?cè)谂赃呉慌_(tái)一臺(tái)地教嗎？

最后再來(lái)看看視頻生成最后一個(gè)誤解：先有一個(gè)視頻生成模型，這個(gè)模型能用在具身智能。

這是過(guò)去一年多時(shí)間里，行業(yè)里最常見的路數(shù)。但這不是具身智能想要的。這個(gè)邏輯的本質(zhì)，是把具身智能當(dāng)成了視頻生成的又一個(gè)商業(yè)化場(chǎng)景，就像游戲、影視、短視頻一樣，只是一個(gè)待滲透的垂直領(lǐng)域。

你只需要把通用模型微調(diào)一下，加點(diǎn)機(jī)器人數(shù)據(jù)，就能交差了。

但站在具身智能的角度看，真正的邏輯應(yīng)該反過(guò)來(lái)：不是視頻生成多了一個(gè)“具身場(chǎng)景”，而是視頻生成需要為具身智能重新設(shè)計(jì)。

這中間的差別，是從架構(gòu)、數(shù)據(jù)到訓(xùn)練目標(biāo)的全盤重構(gòu)。架構(gòu)是最先需要?jiǎng)拥兜牡胤健Ｒ曨l生成的計(jì)算成本高到嚇人。目前主流視頻模型普遍采用的結(jié)構(gòu)，有一個(gè)致命特點(diǎn)，生成每個(gè) Token 時(shí)都要激活全部參數(shù)。30B 參數(shù)的模型，每次推理就要把 30B 參數(shù)全部拉起來(lái)算一遍。這對(duì)于內(nèi)容創(chuàng)作來(lái)說(shuō)尚可接受，畢竟你生成一段視頻可以慢慢等；但對(duì)于具身智能來(lái)說(shuō)，這是致命的，機(jī)器人訓(xùn)練和策略迭代需要大量模擬、預(yù)測(cè)和試錯(cuò)，如果每次“想一遍”都要付出這么高的計(jì)算成本，根本跑不起來(lái)。

LingBot-Video 選擇用 MoE（Mixture-of-Experts）架構(gòu)從頭解決這個(gè)問題。30B 總參數(shù)容量，但單次生成僅激活約 3B 參數(shù)，不是砍能力，而是按需調(diào)用。每個(gè) Token 進(jìn)來(lái)，只挑最相關(guān)的幾個(gè)專家出來(lái)干活，其余的先歇著。這就像一家大醫(yī)院，30 個(gè)專家在崗，但看一個(gè)病人只需要最相關(guān)的 3 個(gè)會(huì)診，而不是把全院專家都叫進(jìn)診室。

這種設(shè)計(jì)帶來(lái)的效率優(yōu)勢(shì)是實(shí)打?qū)嵉摹Ｍ葏?shù)規(guī)模下，MoE 架構(gòu)的推理效率約為 Dense 的 3 倍。對(duì)具身智能而言，這意味著大容量模型真正具備了產(chǎn)業(yè)級(jí)部署和高頻迭代的可能，不是實(shí)驗(yàn)室里的 demo，而是能跑在真實(shí)機(jī)器人訓(xùn)練里的基礎(chǔ)設(shè)施。

但架構(gòu)只是起點(diǎn)。

LingBot-Video 選擇將模型開源。具身智能的困境不是某一家公司能解決的，這個(gè)領(lǐng)域需要集體工程。開源一個(gè)從零開始訓(xùn)練、具備完整 MoE 架構(gòu)和具身訓(xùn)練范式的視頻基礎(chǔ)模型，相當(dāng)于給社區(qū)提供了一個(gè)可復(fù)現(xiàn)、可評(píng)測(cè)、可迭代的基準(zhǔn)，而不是讓大家在各家閉源 API 上做黑盒適配。

當(dāng)然，它也有局限。長(zhǎng)時(shí)序一致性、柔性物體和液體等復(fù)雜物理交互、從視頻預(yù)測(cè)到真實(shí)機(jī)器人閉環(huán)控制的轉(zhuǎn)化，都還在路上。

但至少，它提出了一個(gè)正確的工程方向：不是先做一個(gè)漂亮的視頻模型再試圖塞進(jìn)機(jī)器人，而是從一開始就問，如果視頻生成要為具身智能設(shè)計(jì)，它應(yīng)該長(zhǎng)什么樣？