李飛飛：世界模型的功能分類

來源：The AI Frontier

這是斯坦福大學教授李飛飛（Fei-Fei Li）以及 World Labs 團隊最新撰寫的重磅文章。文章針對當前 AI 領域最火熱、但概念也最模糊的詞匯之一——“世界模型”（World Model），提供了一個清晰的、基于功能分類的“分類學”（Taxonomy）。

以下是該文章的全文中文翻譯：

“世界是一切發生的事情。”

—— 路德維希·維特根斯坦，《邏輯哲學論》，1921年

世界并非由文字組成。

在之前的一篇文章中，我們曾提出：空間智能（Spatial Intelligence）是 AI 的下一個前沿，而世界模型則是通往這一前沿的必由之路。在這里，我和 World Labs 團隊希望更進一步地探討：在當前各種被構建并被稱為“世界模型”的事物中，究竟是哪些“功能模塊”真正組成了這種能力？而每一個模塊又是用來做什么的？

語言模型賦予了機器對概念、詞匯和推理的非凡掌控力，但物理世界（無論是虛擬的還是現實的）運行在完全不同的底層（substrate）上。語言模型學習的是文本的統計結構，而世界模型學習的則是空間和時間的統計結構：光線如何落在表面上、一個花園從從未被相機捕捉過的角度看過去是怎樣的、物體如何對力做出反應并遵循物理定律。

這使得“世界模型”成為當今 AI 領域最重要、但也最被濫用的術語之一。計算機視覺、機器人技術、強化學習和生成式 AI 都在聲稱自己正在構建世界模型，但各自所指的含義卻大相徑庭。一個能生成絢麗但物理上不可能存在的火焰的視頻模型、一個能即興創作可玩游戲的語言模型、以及一個能忠實模擬燃燒的物理引擎，都在使用這同一個名字。

古希臘人永遠無法在世界是由什么組成的問題上達成一致——究竟是火、水，還是不可分割的原子？因為“世界”從來都不是一個單一的東西，它總是某個思想家需要用來進行推理的“總體（totality）”的代名詞。如今，AI 領域也繼承了同樣的困境，而這恰恰發生在整個行業急需“精準定義”的時刻。

分類學底層的閉環

要理清這些混亂，需要從一個比文中所涉及的任何技術都要古老的圖表開始。幾十年來，包括 Sutton 和 Barto 的經典教材在內的強化學習教科書，一直使用同一個圖表來描述智能體（agent）如何與世界進行交互。這個圖表的正式名稱是部分可觀測馬爾可夫決策過程（POMDP），而“世界模型”這個詞最初的定義正是源于這一傳統。

一個智能體（可以是一個人、一個機器人或一個軟件系統）采取行動（Actions）。這些行動會影響世界的狀態（State）。智能體永遠無法直接看到狀態。到達智能體的是觀測（Observations）：落在視網膜上的光子、傳感器的讀數、視頻幀中的像素。新的觀測指導新的行動，如此循環往復。

“狀態”這個詞需要詳細拆解，因為它的含義因領域而異。這不是化學家所說的“狀態”（固體、液體和氣體之間的區別），而是物理學家和機器人學家所說的“狀態”：在給定時刻對世界上所發生事情的完整描述，包括每一個物體、每一個位置、每一個速度和每一個屬性。狀態是世界的底層現實；在原理上它是完整的，但對于身處其中的任何智能體來說，它都是不可直接完全可見的。觀測是智能體對該現實的局部視圖，而行動則是智能體做出的響應。

這個閉環——從智能體到行動，到狀態，到觀測，再返回——構成了現代術語“世界模型”的技術含義。這個詞本身歷史更悠久，可以追溯到肯尼斯·克雷克（Kenneth Craik）在1943年提出的理論，即大腦通過運行現實的“小規模模型”來做出推理，并在1980年代末和1990年代初被引入到神經網絡中。這個閉環也解釋了今天人們使用這個詞的真正含義：目前所有被稱為世界模型的東西，實際上都是這個相同閉環的不同投射（projections）。每一種模型都輸出這個閉環中的不同部分。

世界模型的三大功能
1. 渲染器（Renderer）

第一種世界模型是渲染器。渲染器輸出供人類眼睛觀看的像素形式的觀測（Observations），其最核心的指標是視覺保真度（visual fidelity）。一個將文本提示詞轉化為電影級無人機航拍鏡頭的視頻模型就是渲染器。像谷歌的 Genie 3，或者 World Labs 自研的 RTFM 這樣的交互式系統也是渲染器，這些模型能夠根據用戶的輸入實時生成幀。

然而，這種模型并不包含對三維結構的顯式理解。它產生的是觀眾“會看到什么”，而不是“存在什么”。航拍鏡頭中的建筑從上方看可能天衣無縫，但如果你試圖駕車穿過下方的城市，它們就會分崩離析。

2. 模擬器（Simulator）

第二種是模擬器。模擬器輸出的是狀態（State）：一個在幾何、物理或動力學上忠實的世界表征，人類和計算機程序都可以對其進行計算和交互。渲染器的契約純粹是視覺上的，而模擬器的契約則是結構性的——它要求幾何圖形經得起推敲、物理學遵循牛頓定律、動力學行為符合物理定律下的應有表現。

模擬器同時為兩類“消費者”服務：

人類專業人士（如建筑師、設計師、電影制作人和游戲開發者）需要超越單純“視覺合理性”的準確性。

計算機程序（如強化學習智能體、機器人控制器和自動駕駛汽車）將模擬器作為訓練場，使其能夠大規模地與世界交互，測試在現實中執行起來過于危險、昂貴或不可能實現的場景。

3. 規劃器（Planner）

第三種是規劃器。規劃器輸出的是行動（Actions）。給定一個觀測和一個目標，規劃器要回答的是智能體下一步應該做什么。這在許多方面是渲染器的逆過程。渲染器輸入行動并產生觀測，而規劃器則是輸入觀測并產生行動，從而閉合了“感知-行動”的循環。

視覺-語言-行動模型（VLA）、基于模型的系統（model-based systems）以及新一波的“世界行動模型”（World Action Models），都是構建規劃器的嘗試：這些系統旨在決定機器人在非結構化世界中應該做什么。

這三個類別涵蓋了目前市面上正在交付的大部分產品，且這種區分在實踐中非常實用。然而，這些類別在根本上并不是割裂的。支撐所有這些模型底層的，是關于世界如何運行（幾何、物理、動力學）的同一種底層知識。理論上，一個能夠從任何角度渲染杯子的模型，也應該能夠模擬杯子被推時會發生什么，并規劃一只手去把它撿起來。越來越多最前沿的研究正在有意模糊這三者之間的界限。

為什么模擬仿真器是核心支柱

在這三個類別中，模擬器（Simulator）獲得的大眾關注最少，但它的重要性卻最為深遠。本文正是為了解決這種不對稱性。

渲染器是目前商業上最成熟的。許多圖像或文本轉視頻的產品正在消費級和企業級市場快速擴張。谷歌的 Nano Banana 模型已經讓可能數以億計的用戶體驗到了渲染器級別的圖像生成。技術是真實的，市場也是真實的。然而，渲染器優化的是“視覺合理性”而非“物理準確性”，這一天花板至關重要。它們的輸出很美，但你無法信任它們去設計一棟建筑或訓練一個機器人。

規劃器是最具吸引力也是最年輕的，它與快速發展的機器人學習領域緊密相連。該領域在過去兩年中展示了許多在視頻里看起來令人驚嘆的機器人 Demo，但我們需要對這些 Demo 究竟展示了什么保持坦誠。幾乎所有 Demo 都局限在受到嚴格限制的實驗室環境中，物體種類單一，任務周期很短。沒有一個模型在現實世界部署所需的復雜性、可變性或持續時間上得到過驗證。一個酷炫的展示短片與一個能在廚房、倉庫或手術室里可靠工作的機器人之間，依然存在著巨大的鴻溝。盡管如此，商業賭注是巨大的。一波資金雄厚的新玩家正競相交付通用規劃系統，而最大的基礎設施巨頭則在將規劃能力置于更廣泛的模擬堆棧之上。一個能規劃的機器人就是一個能工作的機器人，整個行業都在競相成為第一個到達終點的人。

而模擬器（Simulation）則是連接這兩者的橋梁。如果說語言是世界的抽象，像素是世界的投射，那么幾何、物理和動力學就是世界本身。模擬器必須在這個層面上工作：它是結構性的骨骼，視覺外觀（用于渲染器）和行動后果（用于規劃器）都可以從中衍生出來。

一個精通模擬的模型，可以將其理解轉化為供人類消費的像素，以及供實體智能體使用的行動預測。而一個僅僅精通渲染或僅僅精通規劃的模型，則無法做到這一點。其商業版圖是巨大的。僅 NVIDIA 的 Omniverse 針對的就是該公司估計在工廠、倉庫、供應鏈和數字孿生中超過一萬億美元的潛在市場。機器人訓練、自動駕駛汽車測試、建筑可視化、工程設計和藥物研發，都依賴于某種“模擬形態”的東西。

該領域最困難的開放性問題也存在于此。

帶有顯式幾何、材料屬性和物理標注的三維數據，其數量比渲染器訓練所依賴的互聯網視頻要少幾個數量級。

“Sim-to-Real”（模擬到現實）的差距（即物體在模擬中的行為與在現實中行為的差異）依然存在。

生成式模擬器引入了新的風險：AI 生成的幾何體可能看起來正確，但包含自交或錯誤的比例，從而產生荒謬的物理現象。

在大規模下進行多物理場模擬（剛體、可變形物體、流體和布料相互作用）的成本，仍然比單領域模擬高出幾個數量級。

在 World Labs，Marble是我們進軍這一領域的首次嘗試。它接收多模態提示詞（文本、圖像、視頻或空間草圖）并生成可交互探索的三維環境，同時輸出用于視覺探索的高斯潑濺（Gaussian splats）以及物理引擎可以運行的碰撞網格（collision meshes）。但隨著渲染、模擬和規劃之間的界限開始瓦解，Marble 僅僅是整個領域正在譜寫的宏大敘事的第一章。

邊界正在瓦解，未來走向何方

更多變革即將到來。目前該領域最重要的趨勢是這三個類別正開始融合。核心的共識在于：渲染世界、模擬世界和在世界中行動所需要的知識，在很大程度上是相同的。延續前文的例子，一個真正理解杯子如何放在桌子上（其幾何形狀、材料屬性、對力的反應等）的模型，應該能夠從任何角度渲染該杯子，模擬杯子被推時發生的事情，并規劃出一只手去撿起杯子。這三個類別是一個相同底層理解的三種不同投射。

例如：來自不同機器人實驗室的少量但涉及面漸廣的近期工作表明——至少在概念上——一個預訓練的視頻渲染器可以被用作“世界與行動聯合預測”的骨骼。這通過讓模型去“想象”將要發生什么以及該做什么，在渲染器和規劃器之間架起了一座橋梁。World Labs 的 Marble 已經能夠從單個模型中同時輸出高斯潑濺和碰撞網格，消解了渲染器和模擬器之間的邊界。每一個層級都在從“被動輸出”轉變為“交互式系統”：渲染器變得受行動條件制約（action-conditioned），模擬器生成的世界上具有更強的可控性和可編輯性，規劃器也正在從單純的“做出反應”轉變為“進行深思熟慮（deliberating）”。

其邏輯終點是一個統一的世界模型（unified world model）：一個既能渲染照片級真實視圖、又能產生物理精確結構、還能規劃行動序列的基礎模型（foundation model），并根據下游消費者的需求在不同的輸出模態之間進行切換。

我們仍將面臨許多嚴峻的挑戰。數據情況依然不均衡：渲染器沉浸在海量的互聯網視頻中，而模擬器和規劃器則面臨著三維資產和機器人演示數據的極度短缺；追求視覺美感有時會犧牲機器人或高保真模擬所需的精確度。在單一架構中調和這些沖突，是當今世界模型研究中最核心的開放性問題，而這正是 World Labs 在繼續演進 Marble 過程中致力于解決的問題。

然而，方向已經非常明確。整個領域自1980年代末以來一直在下同一個注——即一個足夠豐富的世界模型，就是一個智能體去觀察世界、建造世界和在世界中行動所需要的一切——這個賭注正驅動著整整一代的研究。讓這個“大賭注”充滿分量的是目前正在發生的融合：這三個在各自領域都已經驅動和塑造了數個百億美元規模產業、最初作為獨立研究項目起步的線索，現在正開始像一個整體一樣運轉。

當它們之間的邊界徹底瓦解，它們將共同重塑一件更宏大的事情：機器智能與其所處的物理世界之間的關系——這就是空間智能的漫長史詩。

語言賦予了機器談論這個世界的方法。而世界模型，則是機器最終得以理解、想象、推理并與這個世界進行交互的方式。

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）