生數科技創始人朱軍：通用世界模型，推動數字世界與物理世界統一的新范式

?潮涌AI編輯部

世界模型，無疑是當前最熱的一個詞。

如何搭建可打通數字與物理空間、兼具感知、推演與實操能力的通用世界模型，是行業亟待突破的核心命題。

7月3日，生數科技創始人、清華大學人工智能研究院副院長朱軍在“2026全球數字經濟大會人工智能融合應用發展論壇”上發表了《通用世界模型，推動數字世界與物理世界統一的新范式》主題演講，其從第一性原理出發，分享通用世界模型的構建邏輯、核心技術與落地實踐，為我們闡釋數字與物理世界融合的全新技術范式。

以下是朱軍演講實錄，經潮涌AI整理發布：

機器世界模型的三個核心：理解、想象、行動

世界模型的重要性，其實不用重復了。

我想從第一性原理的角度，給大家分享一下怎么去構建通用世界模型，什么樣的路徑是真的可行。

首先，我們還是參考一下人的世界模型。

大家都有這個體驗，比如說開車或者騎自行車，在我們學這些技能之前，很多動作是沒有準備的。但是一旦學會之后，我們大腦就會去預測每一個可能的動作它的后果，可能發生的狀態，最后輸出到行動上，讓動作變得安全、可靠、平滑。

現在的問題是怎么去構建機器的世界模型？從第一性原理的角度來說，機器的世界模型至少具有三個方面：

第一個，能夠看懂這個世界，能夠感知周圍的狀態。

第二個，能夠預測和想象未來的狀態，基于預測做規劃。

第三個，通常被大家忽視的，能夠在這個環境里面學習動作，最終指導我們的行動。

所以，“理解-想象-行動”，構成了世界模型最主要的核心要素。

六層數據金字塔：從通用視頻到機器人實采數據

過去幾年最大的變革是Scaling Law。

Scaling Law讓我們的語言模型從特定領域的小模型走向了通用模型。

現代強化學習之父Sutton在《苦澀的教訓》里面總結說到，當前這種范式下，用通用算力、通用架構、大量的數據去做，可能是最有效的，也能帶來最快的發展速度和走得更遠。

今天回過頭來說，我們怎么去構建通用的世界模型？需要的數據是什么？架構是什么？

我們的目標是要做世界的理解、想象、行動。和這個目標相關的所有數據，我們梳理成六層的“數據金字塔”，從底到上：

第一層，網絡視頻數據。

第二層，第一視角人類動作視頻。

第三層，合成數據。

第四層往上，機器人實采的軌跡數據。

這幾種數據的一個顯著區別在于規模。

互聯網中有海量的視頻數據，這個規模可能是百億小時。現在具身行業在努力采集機器的軌跡數據，目前為止量級大概是幾十萬小時，與視頻數據有多個量級的差距。

視頻數據：從廢料變寶，記錄真實世界的最佳選擇

現在要做通用的基模，第一個考慮是我們要用全量的、最大量的數據。其中，最主要的是要把視頻數據用好。

為什么視頻是很好的選擇？因為視頻數據本身就是在記錄真實世界，不管是拍攝演員表演的影視劇，還是監控攝像頭實拍的視頻流，都是真實世界的一種體現。

所以，視頻里蘊含了豐富的信息，包括人物對象、環境、因果關系、時空、動作等，這些在視頻里面都有了。

視頻在過去為什么用不起來？是因為過去大家主要用的是VLA的路線，它是一種端到端從理解到動作的預測方式，更多的情況下視頻數據因為缺少動作標注，往往被看做是一堆廢料，用不起來。

但是今天，基于視頻模型的快速進展，海量的視頻數據就可以變廢為寶，真正把里面有價值的信息挖掘出來，作為底層的一個基座。

通用架構：MoT實現“理解-預測-行動”的大統一

第二個最主要的問題是架構。

要做通用模型，肯定要用通用的架構。現在行業里面大部分場景下，大家的方案都是分離的、碎片化的。

比如VLA主要關注從狀態到動作的映射；視頻生成主要關注模擬和想象。但這些模型在體量上通常是小模型，另外功能是單一的，所以不具備做通用的模型。

從第一性的角度來說，通用的基模一定要有通用架構，要有統一的架構能實現理解、生成和行動的大統一。

我們給出的第一個Solution是用MoT統一的架構去實現“理解-預測-行動”的大統一，其中理解專家能夠看懂這個世界，生成專家能做高質量的預測，還有行動專家可以端到端生成動作。

四個關鍵技術

這個架構里面有四個主要關鍵技術：

第一個，統一的架構MoT用聯合注意力機制實現了閉環。

第二個，從學習目標來說，我們認為從大模型應該用最樸素的學習目標。對于視頻數據，最樸素的目標是預測像素、將視頻重建出來。這個任務大家認為會比較難，所以經常會被繞開。我們的認知是大模型用更難的學習目標，往往會牽引著學會更深刻的理解。目前視頻生成的質量能夠達到專業內容的需求，就是一個很好的例子。

第三個，我們是全局優化，不再假設有一個預訓練好的編碼器把數據映射到隱空間里做隱狀態的預測，可以穩定的大規模訓練。

第四個點，實現端到端的統一之后，模型可以自由切換——可以在像素空間解碼，也可以直接解碼動作，或者聯合解碼，根據需求自由切換。

Vidu S1發布：推動視頻模型走向實時交互時代

在這個路徑里面，實際上是統一的底層基座，上面有兩種輸出：一個是在像素空間解碼出來的視頻內容，是給人看的；另外一個是直接在動作空間解碼，指導機器人完成復雜任務。這分別對應我們做的Vidu系列模型和Motubrain世界行動模型。

首先說視頻生成。現在大家可能都很熟知了，Vidu等視頻模型已經可以做到專業級視頻的生產，比如做短劇、影視劇等。

但我想跟大家分享的核心認知是：通過互聯網級的視頻預訓練，我們在視頻大模型上展示的Scaling Law，它給我們帶來了對這個世界精準的理解，以及高動態、高一致性的生成和想象。兩年前是不可想象的，但今天已經實現了。

在此基礎上，下一步有很多發展，比如我們可以走向實時交互。因為在物理世界里面我們希望它是實時的。這也是今天正式要發布的一個模型——Vidu S1，S1讓我們的視頻模型正式走向了實時交互的時代。

比如這里面展示的場景，你可以和數字人打電話、視頻聊天，它會實時理解你的語音、視頻等，去說話以及做自然的動作。這個在之前可能是很難實現的。比如上一代數字人通常面臨很多問題，對口型或者驅動表情很僵硬、很受限。大家在實時生成上也面臨著很多問題：缺少實時用戶的干預，缺少語音實時直接的控制，另外長時長的一致性、穩定性不足，還有推理和部署能力不足。

所以圍繞這幾個點，S1做了重點技術突破：

第一個，語音指令實時跟隨。不再需要用其他方式作為輸入，直接語音對話，它可以實時理解。比如這里面的人物形象，它可以理解你語音里面所有的動作，能夠完成相應的操作。

第二個，無限時長的生成。它可以生成一小時、幾小時，甚至不停地去做生成。這背后用到的在基模上是自回歸的生成技術，可以讓視頻無限地去延展。

第三個，540P+25 FPS，最高可以支持42 FPS，高清高質量實時互動的生成。

第四個，允許自定義角色，比如真人、動漫或者萌寵，加上音色的定制，去定制你自己的數字形象。

Motubrain：從數字世界邁向物理世界

前面講的都是在數字空間里面，高精度的理解加高質量的想象。很自然的，我們會邁向物理世界，在物理空間做實時交互，就是做到行動。

在通用世界基座模型上，我們從去年7月份發布第一個版本Vidar，到去年12月份發布Motus，到今年4月份發布的Motubrain，都展示了視頻模型可以很好的支持動作生成，實現“理解-預測-行動”的閉環。

這是最新的Motubrain的一些效果。

我們可以在一個基座上去跨本體、跨任務完成復雜的長程任務。用戶只需要一句話，比如“你幫我完成插花、澆水”，這個模型就可以去理解，做長程任務規劃，且在這個過程中邊執行預測邊想象。左框是機器在想象預測的狀態，和真實發生的狀態是非常非常吻合的。在此之下，實現了“理解-預測-行動”的大統一。

Motubrain展現出了強大的泛化性。比如和VLA的路線，像π0.5這種先進模型來比，有顯著的提升。在多任務泛化上，Motubrain也是在RoboTwin2.0榜單上唯一一個在隨機環境下面對50個復雜任務平均分超過95的模型。

今天的分享最后簡單總結一下：

通用世界模型是一個新范式，推動小的、特定場景的世界模型走向大規模預訓練的基座。要構建這種通用模型，要解決數據問題和架構問題。今天我們已經看到這個曙光：在數據上，視頻數據可以極大地支持大規模預訓練；在架構上，可以不斷擴展參數規模，像GPT的演進路線一樣。

強大的基模預訓練，加上有效的后訓練，包括未來Online RL這種范式的發展，會成為未來主流的范式，會極快加速具身場景智能的發展。

“2026全球數字經濟大會人工智能融合應用發展論壇”由全球數字經濟大會組委會主辦，北京市經濟和信息化局、朝陽區人民政府承辦，中關村科技園區朝陽園管理委員會（北京市朝陽區科學技術和信息化局）、北京數智云科信息科技有限公司、北京信息化協會、北京人工智能產業聯盟、北京數智聚聯企業管理有限責任公司協辦。

商務、媒體合作、文章轉載請加

yiyuguancha6