李飛飛最新論文:渲染、模擬、規劃，怎樣才算是世界模型？

“世界是一切事實的總和。”

——Ludwig Wittgenstein《Tractatus Logico-Philosophicus》1921

世界并非由語言構成。

在此前的一篇文章中，我們曾論證，空間智能（Spatial Intelligence）是 AI 的下一個前沿，而世界模型（World Models）則是通向這一目標的路徑。

在這里，我和 World Labs 團隊希望再深入一層：面對如今被不斷構建、并統稱為“世界模型”的各種系統，究竟有哪些功能模塊真正構成了這種能力？每個模塊又是為了什么而存在？

語言模型賦予了機器對于概念、詞匯和推理能力的驚人掌控力，但無論是虛擬世界還是真實世界，其運行依賴的是另一種底層基礎。

語言模型學習的是文本的統計結構，而世界模型學習的是空間與時間的統計結構：光線如何落在一個表面上，一個花園從某個從未被相機拍攝過的角度會是什么樣子，物體如何響應外力并遵循物理規律。

這使得“世界模型”成為當今 AI 領域最重要、同時也最被濫用的術語之一。計算機視覺、機器人、強化學習以及生成式 AI 都聲稱自己在構建世界模型，但它們所指代的內容卻完全不同。

一個能夠生成華麗卻違反物理規律火焰的視頻模型，一個能夠即興創造可玩游戲的語言模型，以及一個能夠精確模擬燃燒過程的物理引擎，都被冠以同樣的名字。

古希臘人從未能就世界究竟由什么構成達成一致：是火、水，還是不可分割的原子。原因在于，“世界”從來都不是一個單一事物，它始終只是一個代稱，用來指代某位思想家在進行推理時所需要面對的整體。

AI 如今繼承了同樣的問題，而且恰恰發生在這個領域最需要精確定義概念的時候。

分類學背后的循環

要穿透這種混亂，需要回到一個比這里討論的任何技術都更古老的圖示。幾十年來，強化學習教材——包括 Sutton 與 Barto 的經典著作——一直使用同一種結構來描述智能體如何與世界互動。

這張圖的正式名稱是“部分可觀測馬爾可夫決策過程”（Partially Observable Markov Decision Process，POMDP），而“世界模型”一詞最初的技術定義正源于這一傳統。

一個智能體（Agent）——無論是人類、機器人還是軟件系統——會采取行動（Action）。這些行動會影響世界的狀態（State）。智能體永遠無法直接看到狀態本身。

能夠到達智能體的只有觀測（Observation）：落在視網膜上的光子、傳感器讀數、視頻幀中的像素。新的觀測又會影響新的行動，如此循環往復。

這里的“狀態（State）”需要特別解釋，因為不同學科對此的理解不同。

這里說的不是化學中的狀態——固體、液體和氣體之間的區別，而是物理學家和機器人學家所說的狀態：對某一時刻世界中正在發生的一切的完整描述，包括每一個物體、每一個位置、每一個速度以及每一個屬性。

狀態是世界底層真實存在的現實；原則上它是完整的，但身處其中的任何智能體都無法直接看到它。觀測只是智能體對于這種現實的局部視角，而行動則是智能體對此作出的回應。

正是這個循環——智能體、行動、狀態、觀測，再回到智能體——賦予了現代“世界模型”這一術語其技術含義。

事實上，“世界模型”這個概念本身比這還要古老，它可以追溯到 Kenneth Craik 在 1943 年提出的觀點：心智通過運行現實世界的“小型模型（small-scale models）”來進行推理。

后來這一思想被帶入 20 世紀 80 年代末和 90 年代初的神經網絡研究。

而這個循環同樣解釋了今天人們所說的世界模型究竟是什么。如今被稱為世界模型的不同系統，本質上都是這個循環的不同投影，它們各自輸出其中的不同部分。

世界模型的三種功能

第一種世界模型是渲染器（Renderer）。

渲染器輸出的是觀測（Observation），也就是供人類眼睛觀看的像素，而最重要的評價標準是視覺保真度（Visual Fidelity）。

一個能夠將文本提示詞轉化為電影級無人機鏡頭的視頻模型就是渲染器。Google 的 Genie 3，或者 World Labs 自己的 RTFM 這樣的交互式系統也是如此，它們能夠根據用戶輸入實時生成畫面。

這類模型并不具備對于三維結構的顯式理解。它生成的是“觀看者會看到什么”，而不是“世界實際是什么”。

無人機鏡頭中的建筑物從空中看起來可能毫無瑕疵，但如果你試圖駕駛汽車穿過下方的城市，它們就會迅速崩塌。

第二種是模擬器（Simulator）。

模擬器輸出的是狀態（State）：一種在幾何、物理和動力學層面都忠實于現實世界的表示形式，人類和計算機程序都能夠基于它進行計算和交互。

渲染器的職責僅僅是視覺呈現，而模擬器的職責則是結構真實性，它要求幾何結構經得起檢驗、物理過程遵守牛頓定律、動力學行為符合現實世界應有的運行方式。

模擬器同時服務于兩類用戶。對于建筑師、設計師、電影制作人和游戲開發者等專業人士來說，他們需要遠超視覺合理性的精確度。

對于強化學習智能體、機器人控制器和自動駕駛系統等計算機程序來說，模擬器則是訓練場，它們能夠在其中大規模與世界交互，測試那些在現實中危險、昂貴甚至根本無法執行的場景。

第三種是規劃器（Planner）。

規劃器輸出的是行動（Action）。給定一個觀測和一個目標，規劃器回答的問題是：智能體下一步應該做什么？從很多意義上講，它正好是渲染器的反面。渲染器以行動作為輸入，并輸出觀測；而規劃器以觀測作為輸入，并輸出行動，從而閉合了感知—行動循環。

Vision-Language-Action 模型、Model-Based 系統以及新一代 World Action Models，本質上都是對于規劃器的探索：它們試圖構建能夠在非結構化世界中決定機器人下一步行動的系統。

這三種分類涵蓋了當今絕大多數已經落地的系統，而在實踐中，對它們進行區分也是有意義的。

但從根本上說，它們并非彼此獨立。關于世界如何運作的同一套底層知識——幾何、物理和動力學——支撐著所有這些能力。

一個能夠從任何角度渲染杯子的模型，原則上也應該能夠模擬這個杯子被推動之后會發生什么，并規劃出一只手如何將它拿起。越來越多最有意思的研究，正在有意模糊這三種能力之間的邊界。

為什么模擬是關鍵樞紐

在這三類系統中，模擬器獲得的公眾關注最少，卻是三者中影響最深遠的一類。這篇文章正是希望討論這種不對稱性。

渲染器無疑是商業化最成熟的方向。大量圖像生成和文生視頻產品正在迅速擴張至消費市場和企業市場。Google 的 Nano Banana 模型已經將高質量圖像生成能力帶給了數以億計的用戶。這項技術是真實存在的，市場也是真實存在的。

然而，渲染器優化的是視覺合理性，而非物理準確性，而這一上限至關重要。它們生成的結果非常美麗，但無法被信任用于設計建筑或訓練機器人。

規劃器則是最令人興奮、同時也最處于早期階段的方向，它與快速發展的機器人學習領域緊密相關。

過去兩年，這一領域誕生了大量令人印象深刻的機器人演示視頻，但我們必須坦誠面對這些演示究竟說明了什么。

幾乎所有演示都局限于高度受控的實驗室環境，使用有限的物體集合，并在很短的任務時間范圍內運行。它們尚未在現實部署所要求的復雜性、多樣性和持續時間尺度上得到驗證。

從令人驚艷的演示視頻，到真正能夠穩定工作于廚房、倉庫或手術室中的機器人，中間仍然存在巨大的鴻溝。

盡管如此，資本已經投入重注。一批資金充足的新進入者正在競相推出通用規劃系統，而最大的基礎設施公司也在將規劃能力構建于更廣泛的模擬平臺之上。

能夠規劃的機器人，才是真正能夠工作的機器人，而整個行業都在爭奪率先實現這一目標的位置。

模擬則是連接這兩者的橋梁。如果說語言是世界的抽象表示，而像素是世界的投影，那么幾何、物理和動力學就是世界本身。

模擬器必須工作在這一層級之上——它是支撐視覺外觀（供渲染器使用）和行動后果（供規劃器使用）的結構性骨架。

一個真正掌握模擬能力的模型，既可以將自己的理解投射為供人類觀看的像素，也可以投射為供具身智能體使用的行動預測。

而一個只掌握渲染能力或者只掌握規劃能力的模型，則無法做到這兩點。其商業價值空間極其龐大。僅 NVIDIA 的 Omniverse，就瞄準了公司估計超過一萬億美元的可服務市場，涵蓋工廠、倉庫、供應鏈以及數字孿生。機器人訓練、自動駕駛測試、建筑可視化、工程設計以及藥物發現等領域，也都依賴于類似模擬器的能力。

與此同時，這個方向也匯聚了整個領域最困難的開放性問題。帶有顯式幾何結構、材料屬性和物理標注的三維數據，比渲染器所使用的互聯網視頻稀缺幾個數量級。

Sim-to-Real Gap——即模擬環境與現實世界行為之間的差距——依然存在。

在此基礎上，生成式模擬器還引入了新的風險：AI 生成的幾何結構可能看起來正確，卻包含自相交或尺度錯誤的問題，從而導致毫無意義的物理行為。

大規模多物理場模擬仍然極其昂貴，在這種模擬中，剛體、柔性物體、流體和布料需要同時發生交互，其成本遠高于單一領域的模擬。

在 World Labs，Marble 是我們進入這一領域邁出的第一步。它能夠接收多模態提示輸入（文本、圖像、視頻或空間草圖），并生成可探索的三維環境，同時輸出用于視覺瀏覽的 Gaussian Splats，以及供物理引擎運行的 Collision Meshes。

但 Marble 只是一個更漫長發展歷程中的開篇章節。隨著渲染、模擬和規劃之間的界限不斷消融，整個領域都正在書寫這一更長遠的故事。

邊界如何消失，以及接下來會發生什么

但未來還有更多事情將會發生。當前最重要的趨勢是，這三種類別正在開始相互融合。

其背后的共同洞見在于：渲染一個世界、模擬一個世界以及在其中行動所需要的知識，本質上是相同的。

繼續以此前的杯子為例，一個真正理解杯子如何放置在桌面上的模型——理解它的幾何結構、材料屬性以及受力響應——理應能夠從任意角度渲染這個杯子，模擬它被推動后的行為，并規劃出一只手如何將它拿起。這三種能力不過是同一種底層理解的三個投影。

例如，來自多個機器人實驗室的一些最新研究已經證明，至少在概念層面上，一個預訓練的視頻渲染模型可以作為聯合世界預測與動作預測系統的基礎，從而在渲染器與規劃器之間建立橋梁，讓同一個模型既能夠想象未來會發生什么，也能夠決定應該采取什么行動。

與此同時，World Labs 的 Marble 已經能夠通過同一個模型同時輸出 Gaussian Splats 和 Collision Meshes，從而消除了渲染器與模擬器之間的邊界。

每一個層級都正在從被動輸出轉向交互式系統：渲染器變得能夠接受行動條件輸入，模擬器開始生成更可控、更可編輯的世界，而規劃器則開始進行推理，而不僅僅是簡單反應。

這一趨勢的邏輯終點，是一個統一的世界模型（Unified World Model）：一個基礎模型同時具備照片級渲染能力、物理級結構理解能力以及行動規劃能力，并能夠根據下游用戶的需求，在不同輸出形式之間自由切換。

當然，我們仍然面臨許多艱巨挑戰。數據分布極不均衡：渲染器擁有海量互聯網視頻，而模擬器和規劃器則嚴重缺乏三維資產和機器人演示數據。追求視覺美感往往會犧牲機器人或高保真模擬所需的精確度。

如何在統一架構中調和這些矛盾，正是當今世界模型研究最核心的開放問題，而這也正是 World Labs 在持續推進 Marble 過程中希望解決的方向。

然而，大方向已經十分明確。自 20 世紀 80 年代末以來，整個領域一直在押注同一個假設：只要擁有足夠豐富的世界模型，任何智能體都能夠看見世界、構建世界，并在其中行動。而如今，正是這一假設在推動整整一代研究的發展。

真正賦予這一“宏大賭注”分量的，是眼下已經發生的融合：三條原本彼此獨立、如今各自驅動著數十億美元產業的研究路線，正在開始表現得像同一個系統。

當它們共同發展、彼此邊界逐漸消失時，它們最終重塑的將不僅僅是 AI 技術本身，而是機器智能與其所棲居的物理世界之間的關系——也就是空間智能漫長演化歷程中的下一階段。

語言賦予機器談論這個世界的能力。

而世界模型，則將讓機器最終真正理解這個世界、想象這個世界、推理這個世界，并與這個世界互動。