最適合機器人的視頻基座模型，被中國團隊開源了

如果你經常刷 AI 生成的視頻，大概率會遇到很多不符合物理規律的畫面。

比如水從杯口倒出來，卻像透明果凍一樣懸在半空；手還沒有真正碰到抽屜，抽屜已經自己滑開…… 對普通觀眾來說，這些問題最多算是穿幫。

但對機器人來說，事情就沒這么簡單了。

假如我們把「隔空打開抽屜」的視頻喂給一個正在學習動作的大模型，性質就完全變了。它會把一次生成失誤，誤讀成動作和結果之間的規律：沒有接觸，抽屜也能自己滑開。

這就是視頻生成行業現在有點尷尬的地方。

過去兩年，從 Sora 到 Veo，幾乎所有頭部玩家爭的都是同一件事：畫質更清晰、時長更長、鏡頭更有美感、prompt 跟得更準。但用這些模型作為機器人大腦時，缺點就會暴露，一段 4K 高清、光影考究的視頻，可能連東西不會憑空消失這種最基本的常識都守不住。

因而視頻生成的下一階段，可能不再只有一條主線：一邊繼續服務內容創作，追求更強的視覺表達；另一邊開始進入機器人訓練，變成理解和預測物理世界的工具。

螞蟻靈波選擇了后一條路：開源 LingBot-Video。這是一個面向具身智能的視頻生成基座模型，也是一套專為機器人場景設計的 DiT 視頻預訓練范式。

通用視頻模型更多學習畫面變化、鏡頭運動和視覺風格；LingBot-Video 則把重點放在動作、任務、交互和物理環境變化上，面向世界預測、動作理解和機器人訓練構建視頻生成基座。

圍繞這一目標，螞蟻靈波在架構、數據和訓練三個層面做了系統性設計。

• 首先，引入 MoE 視頻框架，支持動態稀疏激活計算，在擴展模型容量、建模復雜時空動態的同時，提升推理效率。
• 其次，構建了一個機器人增強的預訓練語料庫，將互聯網規模的視頻與機器人操作、導航和第一人稱視角數據集整合在一起，從而向模型注入明確的具身先驗和交互先驗。
• 第三，開發出一套多維度獎勵系統，在審美目標之外，進一步納入物理合理性和面向任務的成功信號，鼓勵模型學習與具身環境一致的動態過程和交互規律。

這三個部分共同作用，使得模型在物理層面更扎實，同時在計算上也更高效，從而形成一個更適合具身智能的視頻基礎模型。

• 項目鏈接：technology.robbyant.com/lingbot-video
• GitHub：github.com/robbyant/lingbot-video
• Hugging Face：huggingface.co/robbyant/lingbot-video
• ModelScope：https://www.modelscope.cn/collections/Robbyant/LingBot-Video

我們先看幾個 demo：

如下是一段典型的第一人稱高動態視頻，從場景交互的角度看，包含了動作、空間、物理和因果關系，比如槳的動作會影響皮劃艇方向，水流會推動艇身變化，巖石和河道會限制運動路線。

視頻詳見：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

接下來這個示例更接近真實的具身交互場景。手指掰開曲奇這個過程同時包含接觸、受力、斷裂、重力和遮擋關系。對機器人來說，這類數據正是理解真實物理交互的重要基礎。

視頻詳見：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

這項研究在 Reddit 上引發了很高討論度。相比電影感畫質，社區更關注的是另一個問題：LingBot-Video 生成的視頻，物理規律到底站不站得住。

有網友直言，在畫面美感上，它距離閉源模型仍有差距，但這并不是最值得關注的地方。真正關鍵的是，模型能否處理更難的物理現象，比如流體運動、顆粒狀沙子的變化，以及反射關系是否穩定。

來源：
https://www.reddit.com/r/StableDiffusion/s/6gIxTHB0Mq

對于面向具身智能的視頻模型來說，這個評價標準顯然更接近它真正要解決的問題。

為什么機器人需要面向具身智能的視頻基模

機器人訓練長期面臨一個現實難題：數據不夠。

大模型能一路做大，一個重要前提是互聯網上已經積累了足夠多文本。機器人沒有這樣的先天條件。真實動作數據必須在物理環境里一點點采，機械臂要伸出去，物體要真的被抓起，場景也要發生變化。即便是行業里規模最大的開源數據集之一 Open X-Embodiment，聯合了幾十家機構的力量，體量距離互聯網文本或視頻語料的零頭都還有很大差距。

仿真環境理論上可以無限生成數據，但它始終繞不開 sim-to-real gap，機器人在虛擬世界里練出的技能，搬到真實世界里經常會失靈，因為仿真器再精細，也很難窮盡真實物理世界的所有細節和意外。

具身智能真正缺的，是介于真實采集和仿真之間的一層能力：它要有視頻模型的生成規模，又不能完全脫離真實物理世界的約束。它生成的內容不能只是像視頻，還要盡可能像一次真實動作之后的結果。

這就是面向具身智能的視頻基模的價值。

它不像傳統仿真器那樣先寫好一套碰撞、摩擦、約束規則，再讓物體在規則里運動。LingBot-Video 是在大量視頻和具身數據中學習「動作之后會發生什么」：門被推開后空間如何變化，物體被抓起后狀態如何變化，機器人移動后第一視角如何變化。

視頻詳見：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

一旦這種能力足夠可靠，它就可以進入機器人訓練流程，承擔數據生成、策略評估和動作規劃等角色。機器人在真實行動之前，可以先通過視頻模型推演可能發生的世界變化。

也就是說，視頻模型開始從內容生成工具，進入機器人大腦的基礎能力層。LingBot-Video 的意義，正在于把這種能力系統化地做出來。

從「生成好看」到「生成有用」：LingBot-Video 的三重設計

在架構層面，LingBot-Video 的核心思路是用一套統一、高效、可擴展的視頻預訓練框架，承接不同類型的生成任務。它采用級聯式設計，整體由基礎生成器和精修器（refiner）兩部分組成。基礎生成器負責在較低分辨率下建模視頻的整體運動、空間布局和場景動態；精修器則在第二階段提升分辨率，把視頻從 480p 進一步上采樣到 1080p。

基礎生成器采用 Single-Stream Diffusion Transformer。與將不同模態分開處理的 dual-stream 架構相比，single-stream 會把視覺 token 和條件 token 放進同一個序列中，由同一組 Transformer blocks 統一處理。這樣做的好處是參數復用更充分，跨模態交互也更直接。

在這一基礎上，LingBot-Video 的關鍵設計，是將稀疏 MoE 引入視頻擴散模型。

LingBot-Video 用 MoE 重做視頻生成架構

視頻生成要模擬連續變化的物理世界，里面有空間紋理、時間運動、流體變化、三維一致性、材質細節等復雜因素。如果用傳統 dense 模型，所有 token 都走同一套 FFN 參數路徑，容易出現不同任務之間互相干擾：比如圖像細節重建、視頻運動建模、T2I/T2V/TI2V 多任務條件都會擠在同一組參數里學習。

LingBot-Video 的做法是引入稀疏 MoE。它不是讓每個 token 都激活全部參數，而是通過路由機制，讓 token 選擇部分專家參與計算。這樣可以做到兩件事：一方面擴大模型總參數容量，讓模型能容納更多物理世界先驗；另一方面控制每個 token 實際激活的計算量，避免推理成本隨參數規模線性暴漲。

這對長視頻和高分辨率視頻尤其重要，因為視頻很容易變成百萬級 token 的時空序列。如果繼續用 dense 擴展，計算成本會非常高；而稀疏 MoE 可以在保留大容量的同時，把每一步去噪中的實際前饋計算控制下來。

具體架構上，LingBot-Video 沒有推翻原來的 single-stream DiT，而是在每個 Transformer block 里保留 FFN 殘差分支，只把 dense FFN 換成 token-choice sparse MoE 層。同時，它借鑒了 DeepSeekMoE 的思路，引入細粒度專家劃分和共享專家隔離：共享專家負責通用先驗，路由專家負責更專門化的模式，從而減少任務干擾，讓專家更容易形成分工。

稀疏 MoE 架構。

LingBot-Video 的 MoE 架構不是只把參數做大，而是真的能在模型容量和推理效率之間取得更好的平衡。

實驗結果也驗證了這一點。

團隊先比較了 MoE 13B-A1.4B 和 Dense 1.3B。前者總參數是 13B，但每個 token 實際激活約 1.4B 參數；后者是標準 1.3B dense 模型。在整個訓練過程中，稀疏模型在訓練損失和驗證損失上都表現出顯著優勢。

這一點在視頻預訓練中非常關鍵，因為建模復雜的時空特征和連續物理交互，需要較高的表征容量。在等價計算約束下，稀疏 MoE 模型的總參數容量提升了 10 倍，為物理世界先驗提供了明顯更大的模型容量。這與稀疏專家路由實現的容量 - 計算解耦是一致的。它有效緩解了 dense 基線的特征容量瓶頸，使稀疏模型能夠在不增加計算預算的情況下取得更好表現。

此外，稀疏架構相較 dense 基線展現出顯著的跨計算規模優勢。如圖 5a 所示，MoE 13B-A1.4B 和 MoE 30B-A3B 都能持續優于激活參數規模約為其兩倍的 dense 模型。具體來看，MoE 30B-A3B 的表現已經接近 Dense 14B。這證明，容量 - 計算解耦從根本上提升了視頻擴散模型的 scaling 效率，釋放出更強的表征能力。

團隊繼續將 MoE 架構擴大，發現模型能力還能穩定提升。他們把模型總參數從 13B 一路擴到 120B，對應幾種規模：MoE 13B-A1.4B、MoE 30B-A3B、MoE 60B-A6B、MoE 120B-A11B。模型總容量越來越大，每個 token 實際激活的參數量也按比例增加。

實驗結果（圖 5b）顯示，在訓練步數相同的情況下，模型越大，訓練 loss 越低。也就是說，LingBot-Video 的稀疏 MoE 架構具備比較穩定的 scaling 趨勢，繼續擴大模型規模，性能仍然有提升空間。

最后團隊還驗證了另一個關鍵問題：LingBot-Video 雖然用 MoE 把總參數容量做大了，但因為每個 token 只激活一部分專家，推理成本是否仍然可控。團隊做法是，把 dense DiT 和 MoE DiT 放在不同序列長度下測試，從 16K token 一直到 1M token。

結果顯示，MoE 30B-A3B 先和激活參數量相近的 Dense 3B 對比。在 1M token 長序列下，MoE 延遲幾乎和 Dense 3B 持平。這說明 MoE 路由本身沒有帶來很重的額外開銷。接著，團隊把 MoE 30B-A3B 和更大的 dense 模型比較，優勢就明顯出來了。在 1M token 下：相比 Dense 6B，速度比達到 1.50×；相比 Dense 14B，速度比達到 2.59×；相比 Dense 30B，速度比達到 3.18×。

最后，針對高分辨率視頻生成的計算壓力，LingBot-Video 采用了級聯式精修設計。直接生成 1080p 視頻會帶來巨量時空 token，計算成本很高。因此，模型先由基礎生成器在 480p 下生成整體運動和場景布局，再由第二階段 refiner 提升到 1080p。

對于長視頻和高分辨率視頻生成來說，這種先在低分辨率建模整體動態、再在高分辨率補足視覺細節的級聯架構，進一步降低了計算壓力，也讓生成質量更加穩定。

從互聯網視頻到具身數據：LingBot-Video 的數據工程

在數據層面，LingBot-Video 的思路并非單純繼續擴大視頻語料規模。

視頻生成模型的能力與訓練數據的規模、質量和多樣性高度相關，但如果只是粗放式收集更多數據，很容易遇到邊際收益遞減，同時受到采集成本和計算開銷的限制。

為了解決這個問題，螞蟻靈波構建了一套集成化、可擴展的數據基礎設施，由多個相互協同的模塊構成。

首先是 Data Profiling Engine，它把原始圖像、視頻、多模態樣本轉成統一的結構化記錄。這一步的意義是，數據不再是一堆不可控的視頻文件，而是變成了可以檢索、篩選、重采樣的結構化資產。

Data Profiling Engine 概覽

在此基礎上，World-Knowledge Topological Graph 會將視覺概念和動作概念組織成層級化語義結構，從而支持分布感知采樣，并提升長尾內容覆蓋能力。

簡單說，它會把樣本按出現了什么和發生了什么組織起來：圖像和視頻共享語義樹，視頻額外接入動作樹。語義樹覆蓋物體、場景、風格、世界知識實體等；動作樹覆蓋操作、人類動作、運動、日常活動等。

World knowledge graph

Dense Structured Captioning 模塊會生成層級化文本描述，為模型提供細粒度語義監督；它會描述畫面整體內容、鏡頭屬性、主體元素、相對位置、動作時間戳等。對于 VLA 機器人視頻，還會把機械臂、夾爪、物體和動作階段明確寫出來；對于第一人稱視頻，則會標注頭部 / 身體運動、手部與物體的交互過程。

與之配套的 Caption Rewriter 則會在推理階段，將用戶輸入的簡短 prompt 映射到同樣的結構化格式中，從而彌合訓練與部署之間的 prompt 分布差異。

最后，所有篩選后的數據會被組織成五階段 Data Curriculum。

• 第一階段，只用 192p 圖像，先學習基礎視覺先驗。
• 第二階段，在 192p 下引入視頻，同時加入超過 7 萬小時具身導向視頻，包括機器人操作、導航、第一人稱視角等。其中機器人操作數據覆蓋真實機器人、仿真、開源數據、第三人稱視角，并涉及人形和四足平臺。
• 第三階段，把圖像和視頻提升到 480p，并重新篩選，保留更多高運動量視頻，增強動態內容覆蓋。
• 第四階段，繼續在 480p 下做 source-aware rebalancing。普通視頻嚴格過濾，具身數據因為稀缺且價值高，只做較小程度過濾，以最大化覆蓋操作、導航、第一視角和 benchmark 數據。
• 第五階段，使用一個很小但質量很高的 1080p 精修子集，用于訓練 refiner，提升高分辨率細節。

這套數據策略的核心價值在于：團隊有意識地把機器人操作、物理交互、第一視角和長尾動作注入訓練過程，讓視頻模型從一開始就獲得更強的具身先驗和世界動態理解能力。

獎勵機制：把模型拉回物理世界

模型預訓練之后，團隊并沒有只用常規的人類偏好分數去做對齊，而是設計了一套更適合視頻和具身場景的多維獎勵 + GRPO 強化學習方案。

傳統視覺生成模型做 RL 后訓練時，常常用一個整體獎勵模型給視頻打一個總分，比如好不好看、是否符合 prompt。但這種單一分數對視頻生成不夠用。

因此，LingBot-Video 把獎勵拆成了六類：視覺質量、文本 - 視頻對齊、動態程度、運動連貫性、人體運動一致性和物理合理性。

• 視覺質量：主要保證視頻看起來清晰、自然、有較高保真度，懲罰模糊、偽影和低分辨率輸出，同時也關注 caption 級別的對齊。
• 文本 - 視頻對齊：不是簡單判斷視頻和 prompt 是否整體相似，而是把 caption 拆成結構化實體、動作和時間窗口，再用時間維度 VQA 檢查動作是否在正確時間發生。這樣可以懲罰動作缺失和時間幻覺，也能鼓勵模型正確生成多階段動作。
• 動態程度用來避免模型生成像圖片一樣幾乎不動的視頻。它會讓 VLM 評估視頻中的運動強度，并把 1 到 5 的離散運動分數映射成獎勵。
• 運動連貫性關注運動節奏是否自然。很多文生視頻模型雖然按 24 fps 播放，但動作看起來像慢動作。這個獎勵就是為了讓生成視頻在標準播放幀率下呈現更接近真實世界的運動速度。
• 人體運動一致性專門處理人類相關視頻中的常見問題，比如面部畸變、手部變形、肢體數量錯誤、身體半透明、不可能的拓撲結構等。它不僅給分，還通過結構化理由和離散分數幫助模型學習人體動作的空間正確性和時間一致性。
• 物理合理性是最貼近具身智能的一類獎勵。它會評估生成視頻是否保持一個連貫的物理世界，包括運動因果、物體恒常性、非穿透關系，以及材料和剛體運動是否合理。例如，物體不能無故出現或消失，不能發生不合理重疊，機器人關節和物體運動也要符合基本物理規律。

有了六類獎勵之后，團隊使用 GRPO（Group Relative Policy Optimization） 來最大化這些多維獎勵。

因此，LingBot-Video 的后訓練不是簡單讓模型生成得更好看，而是把視頻質量、動作對齊、動態強度、運動節奏、人體結構和物理合理性拆成多種獎勵，再用 GRPO 進行強化學習對齊。它的目標是讓視頻模型在視覺上更穩定，在動作上更完整，在物理上更可信，從而更適合作為具身智能的世界模型。

從視頻生成基座到機器人大腦能力

當視頻模型具備一定物理預測能力，它在機器人系統中的位置也會發生變化。

過去，視頻生成模型更多出現在內容生產鏈路里，承擔的是生成結果的角色；而在機器人系統中，它可以進一步前置到訓練、評估和規劃環節，成為機器人行動前的一層世界預測工具。

也就是說，LingBot-Video 生成的并不只是視頻片段，而是機器人可以用來學習、比較和決策的未來情境。

具體來看，它可以承擔三類角色：

第一種是補數據（Data Engine），它可以幫助機器人生成更多訓練樣本。真實機器人數據采集成本高、速度慢、覆蓋有限，而視頻生成模型可以擴展任務、場景和動作組合，為訓練提供補充數據。

第二種是做預演（Policy Evaluator），它可以作為真實物理環境的代理，用于策略在真機部署前的可行性預演與安全評估。比如機械臂準備拉開抽屜，評估器會提前模擬不同動作軌跡的運動后果。通過在視覺代理中提前識別并過濾失敗策略，降低真機驗證的試錯成本，保證了所部署策略的有效性。

第三種是輔助規劃（Action Planner），它可以用于參與并生成具體的動作軌跡。面對復雜任務，它不單單是預測后果，而是像 “GPS 導航” 一樣，根據目標自動計算出機械臂應該以什么軌跡移動、分幾步走、每一步的姿態如何，從而直接輸出一套最優的連續動作序列。

這正是 LingBot-Video 對機器人控制的價值：它讓機器人在真實行動之前，先擁有一層可生成、可評估、可迭代的世界預測能力。

視頻模型也由此從內容生產工具，走向機器人大腦理解物理世界的基礎能力。

從 TI2V 到 A2V，LingBot-Video 的物理世界模擬能力接受檢驗

為了驗證 LingBot-Video 作為物理世界模型的能力，團隊人員在內部 benchmark 上進行了全面評估，評估維度分為兩類：一是通用質量（General Quality），用于衡量模型的基礎生成能力；二是具身領域（Embodied Domain），用于考察與具身 AI 和真實世界交互相關的專業、高難度場景。為了更全面地評估生成能力，該內部 benchmark 覆蓋了兩種核心生成設置：文生視頻（Text-to-Video，T2V）和圖文生視頻（Text-and-Image-to-Video，TI2V）。

實驗中，團隊將 LingBot-Video 與五個開源模型進行了比較，包括 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5 和 LTX-2.3。

如圖 15c 和圖 15d 所示，在 TI2V 任務上，LingBot-Video 在所有開源競品中取得了最先進的表現，并在通用質量和具身領域得分上均排名第一。這表明 LingBot-Video 在模擬精確物理軌跡方面具備更強能力，例如機械臂操作和避障等場景。

在 T2V 任務上，如圖 15a 和圖 15b 所示，雖然 LingBot-Video 在通用質量上排名第二，但在具身領域得分上仍然持續優于 Cosmos 等有競爭力的基線模型。即便沒有初始圖像作為條件輸入，LingBot-Video 依然展現出這一優勢，說明它具備穩健且內生的物理先驗，而這對具身 AI 應用至關重要。

圖 16 給出了 LingBot-Video-A2V（是在 LingBot-Video 之上做 Action-to-Video 后訓練得到的動作條件版本） 在 EgoDex Eval 和 DreamDojo-HV Eval 上的結果，用于檢驗經過后訓練的模型是否能夠泛化到訓練所用 GR-1 軌跡之外。

這兩個評估數據集都包含 GR-1 后訓練數據集中沒有出現過的新物體和新動作，因此適合用于測試模型的分布外動作跟隨能力，而不是測試它是否記住了訓練中的 rollout 軌跡。

結語

螞蟻靈波這次選擇開源 LingBot-Video，這在當前競爭激烈的視頻生成賽道里并不是一個輕松的決定。開源意味著把 MoE 架構和面向具身智能的訓練范式全部交給社區去檢驗、復現和迭代，也意味著要接受更公開的審視。

但從行業角度看，這正是眼下最需要的東西，一個可復現、能夠持續演進的視頻生成基座模型，能夠實實在在地降低具身智能視頻模型的研究門檻。

LingBot-Video 的 MoE 架構、具身多模態數據訓練方式、多維獎勵強化學習機制，為行業提供了可參考的技術樣本，也展示了螞蟻靈波在大規模視頻生成基座模型訓練上的系統能力。

同時也需要坦誠承認，這條路還遠沒有走到終點。長時序場景下的一致性維持、柔性物體和液體這類復雜物理交互的建模、視頻預測能力如何真正閉環到真實機器人的控制策略上，以及具身視頻模型本身評測標準的建立，這些問題目前都還處在演進階段，沒有一個是靠一次模型發布就能徹底解決的。

視頻生成模型的價值正在外溢，它過去主要回答內容生產問題，接下來也會越來越多地進入真實世界任務：預測、評估、規劃，乃至參與機器人的訓練閉環。LingBot-Video 選擇了后一條路，也選擇把這條路上的答案攤開來交給整個研究社區一起走。