世界模型的潛力與局限：它真的能模擬一切嗎？

過去幾年，我們許多人在不知不覺中修完了一門關于人工智能的速成課——但說到底，那不過是一門大語言模型的速成課。不過，大語言模型已不再是唯一備受期待、獲得巨額融資并吸引大量研究與產品開發投入的AI方向。

過去一年，一類被稱為"世界模型"的技術涌現出大量新進展，未來幾個月乃至幾年內，這一領域還將持續演進。

世界模型的目標，是在語言之外（或之上）為AI系統奠定基礎，使其具備模擬物理世界的能力，或至少能夠生成對現實世界的有效近似。

為深入了解這一概念的獨特價值與重要意義，Ars與三位從事世界模型及相關技術研究的專家進行了對話：麻省理工學院的Vincent Sitzmann、Runway的Anastasis Germanidis，以及World Labs的Ben Mildenhall。

從這些對話中可以看出，大語言模型作為產品，是先有了界面（對話框），然后再去尋找應用場景；而當前世界模型領域的主要玩家，走的恰恰是相反的路——他們先錨定機器人、科研和資產生成等具體應用場景，至于最終的界面形態、系統架構和工具生態將如何落地，目前尚無定論。

在架構設計和演進預期方面，大語言模型與世界模型之間存在諸多相似之處。但在一些研究者看來，世界模型有望成為突破大語言模型局限性的一條出路——盡管相關研究早在這一敘事出現之前便已展開。

"指望通過不斷擴展大語言模型的能力來實現人類水平的智能，是無稽之談。"前Meta首席AI科學家楊·樂村（Yann LeCun）今年早些時候在接受Wired采訪時如是說。樂村的這一觀點在AI和大語言模型領域引發不小爭議，有人視之為逆流而動，但實際上，持相近立場的業內人士不在少數。

計算機視覺先驅、World Labs聯合創始人李飛飛也表達了類似的看法。她在去年底發布的一篇Substack文章中寫道：

"如今，以大語言模型為代表的前沿AI技術已開始改變我們獲取和處理抽象知識的方式。然而，它們本質上仍是在黑暗中摸索的文字工匠——能言善道，卻缺乏實際經驗；博學多識，卻與現實世界脫節。空間智能將徹底改變我們創造真實世界與虛擬世界、并與之互動的方式，為敘事創作、創意表達、機器人技術、科學探索等領域帶來革命性變革。這是AI的下一個前沿。"

樂村和李飛飛的創業方向都建立在上述理念之上，因此他們持有這樣的觀點并不令人意外。但類似的聲音，也出現在一些目前仍主要深耕大語言模型領域的知名人士當中。

"我認為大語言模型存在泡沫，而且這個泡沫可能明年就會破裂。"大語言模型托管平臺Hugging Face的CEO Clem Delangue在一場會議上表示。

"但'大語言模型'只是AI應用版圖中的一個子集，AI在生物學、化學、圖像、音頻、視頻等領域的應用空間廣闊，"他補充道，"我認為我們才剛剛起步，未來幾年將涌現出更多可能。"

就在過去幾個月里，世界模型已從一個純粹的研究課題，逐步演變為商業項目落地和巨額融資的新引擎。以下是幾個具有代表性的案例：

今年8月，谷歌DeepMind發布了Genie 3，這是一款在視頻生成模型基礎上構建實時交互能力的模型。

11月，World Labs推出了Marble，這是一套支持生成沉浸式環境的模型與工具集，用戶可以通過輸入文字、圖像、視頻或其他素材來生成可導出的3D資產。

僅一個月后，視頻生成與AI影視創作公司Runway宣布入局，發布了GWM-1——一套由三個專用世界模型組成的系統，構建在Runway此前視頻模型研究成果的基礎之上。

更近的消息是，楊·樂村創立了Advanced Machine Intelligence（AMI）公司，以全力押注的姿態宣示：AI系統的真正未來，在于能夠與物理世界交互（或對其進行模擬）的模型，而非局限于語言。

Q&A

Q1：世界模型和大語言模型有什么本質區別？

A：大語言模型的核心是處理語言文本，通過對海量文本數據的學習來理解和生成語言。而世界模型的目標更進一步，旨在模擬物理世界的運作方式，能夠理解空間關系、物理規律等超越語言范疇的信息。大語言模型被批評為"在黑暗中摸索的文字工匠"，缺乏對現實世界的真實理解；世界模型則試圖彌補這一缺陷，在機器人控制、3D資產生成、科學研究等需要理解物理規律的場景中發揮更大作用。

Q2：目前有哪些公司在做世界模型，進展如何？

A：目前主要玩家包括：谷歌DeepMind發布了能夠實現實時交互的Genie 3；李飛飛聯合創辦的World Labs推出了可生成沉浸式3D環境的Marble工具集；AI影視公司Runway發布了由三個專用模型組成的GWM-1系統；楊·樂村則創立了Advanced Machine Intelligence公司，專注于能與物理世界交互的AI模型研究。這一領域正從純研究階段快速走向商業化落地。

Q3：世界模型目前主要應用在哪些場景？

A：根據目前的研究和產品方向，世界模型的主要應用場景集中在三個方向：一是機器人領域，幫助機器人更好地理解和操作物理環境；二是科學研究，利用物理世界模擬能力加速科學發現；三是3D內容與資產生成，用于游戲、影視等創意行業的沉浸式環境制作。與大語言模型"先有界面再找場景"的路徑不同，世界模型目前是從具體應用需求出發進行研發的。