世界模型應如何評估？南京大學團隊發布「世界模型」評估立場論文

來源：機器之心

近期，圍繞「世界模型」的討論持續升溫。機器人、自動駕駛、視頻生成、具身智能等多個方向都在頻繁使用這一概念，相關系統不斷出現，演示形式日益豐富，評價指標也越來越多。伴隨這一趨勢，一個基礎問題變得格外重要：當一個模型被稱為「世界模型」時，人們究竟在評價什么？

南京大學人工智能學院團隊近日發布的綜述性立場論文，圍繞這一問題給出系統回答。論文指出，面向具身智能和機器人決策的世界模型，評價重點應落在其對行動后果的預測能力、對策略優劣的判斷能力，以及對規劃和優化的實際支持能力上。視頻是否逼真、畫面是否流暢、語義是否貼合指令，這些維度依然重要，但它們更適合作為基礎診斷和輔助評估的指標。

• 論文標題：How Should World Models Be Evaluated for Embodied Decision-Making? A Decision-Making-Centric Position
  

• 論文地址：https://arxiv.org/abs/2606.15032

「世界模型」覆蓋對象逐漸多樣化

僅在兩年前，人工智能研究的語境中，世界模型還主要指面向控制與規劃的環境模型。系統需要在行動前進行內部推演，估計「如果執行這組動作，接下來會發生什么」，進而服務于策略評估、路徑規劃和決策優化。

近期，隨著生成模型、視頻模型和具身大模型的發展，「世界模型」的覆蓋范圍快速擴大。今天，這一名稱可以指向多種不同的技術對象：

有的側重以動作為條件的環境動力學建模，有的強調未來視頻生成，有的將模型作為可交互神經模擬器使用，有的專注于隱空間中的表征預測，還有一些工作則把世界模型作為數據合成引擎或可執行規劃器。

這些方向彼此相關，也各自承擔不同任務。概念的擴展帶來了研究活力，也讓「世界模型」逐漸成為一個高度寬泛的標簽。同一個詞開始覆蓋多類模型，不同論文中的「世界模型」承擔的角色和功能差異顯著，評價方式也隨之分化。對「世界模型」定義的邊界亟需澄清。

核心問題：「世界模型」的評估證據如何支撐其能力主張

這篇論文最重要的工作之一，在于把當前文獻中常見的幾類「世界模型」能力主張拆開來看。團隊指出，當前相關研究通常會提出 6 類能力主張：

• 預測未來觀測結果；

• 評估不同策略的表現；

• 支持策略優化；

• 幫助生成可執行規劃；

• 生成有價值的訓練數據；

• 提供足以支持決策的隱式表征。

這些主張之間存在聯系，也有明顯差異。能夠生成可信視頻，與能夠支持策略評估，屬于不同層面的能力。能夠完成語義對齊，與能夠承受優化器反復搜索帶來的分布偏移，也不是同一個問題。論文強調，評價的關鍵在于讓評估證據和能力主張保持一致。模型聲稱服務具身決策，就需要給出更貼近決策過程的評估證據。

當前評估實踐中，感知指標占據了很大比重

論文系統梳理了近期大量代表性工作后發現，當前世界模型研究中最常見的評估內容，集中在以下幾個方向：

• 生成視頻的真實感與美觀度；

• 與真實未來軌跡的像素級或感知級相似度；

• 對語言指令的理解和語義一致性；

• 對物理規律的表面遵循程度；

• 最終任務成功率。

這些指標覆蓋了模型輸出的多個層面，能夠幫助研究者了解模型的生成質量、條件控制能力和基本任務表現。論文同時指出，若研究目標落在具身決策，僅憑這些指標仍不足以完整支撐結論。

決策系統需要回答的問題更加具體：同一段歷史下，動作一旦改變，任務相關結果會如何變化；模型對成功、失敗、獎勵和進度的判斷是否可靠；當模型被用于比較策略、規劃行動甚至參與優化時，它給出的結論與真實環境之間有多大偏差。

換句話說，具身決策關心的是行動帶來的后果，關心的是閉環系統中的有效性，關心的是長期回報和策略排序。與這些問題最接近的評估方式，并不集中在視覺層面。

提出 7 級評估階梯，梳理世界模型證據強度

為了讓不同評估目標更清晰地放在同一張圖譜中，論文提出了一個從 L0 到 L7 的「世界模型評估階梯」。這一框架覆蓋了從表面生成質量到真實決策價值的不同層次：

• L0：視覺合理性。關注生成結果是否看起來真實；

• L1：已記錄未來預測。關注模型對日志軌跡未來片段的預測能力；

• L2：語義對齊。關注是否符合指令、任務和場景語義；

• L3：物理合理性。關注是否滿足基本物理和幾何一致性；

• L4：動作可控性與干預保真。關注動作變化能否引起正確的任務相關變化；

• L5：獎勵、價值與結果保真。關注是否能準確預測成功率、獎勵和進度；

• L6：策略評估與排序。關注模型對候選策略優劣的判斷是否與真實環境一致；

• L7：規劃與優化效用。關注模型進入規劃器或強化學習閉環后，能否真正提升決策質量。

這套階梯的意義在于，它把世界模型相關評估證據放到了可區分、可對照的位置上。低層級指標為研究提供了重要診斷，高層級指標更直接對應具身決策價值。對于機器人、自動駕駛、智能體規劃等任務，L4 到 L7 提供的評估證據強度更高，也更接近模型在真實系統中的作用方式。

生成未來畫面與支持行動決策，屬于兩類能力

論文反復強調的一點是，生成質量和決策價值之間并不存在天然等價關系。一個模型可以生成非常逼真的未來視頻，也可能在動作干預時表現遲鈍，無法準確反映動作變化帶來的后果；另一個模型即便畫面并不華麗，只要它能較穩定地預測任務相關變量、成功信號和策略優劣，依然可能在規劃中發揮更高價值。

這一判斷延續了有模型強化學習中的經典認識。早期研究已經指出，單步預測精度往往不能穩定代表控制性能。當前生成式世界模型研究在很多場合重新遇到了同樣的問題：能夠貼近觀測分布、生成觀感良好的未來，不等于能夠支撐可靠決策。

論文將這一現象概括為一種「能力主張與評估證據之間的落差」，并認為這是今天世界模型討論中最值得正視的部分。

更重要的是模型在閉環中的分量

這項研究的意義并不限于學術討論。對于產業界、技術管理者和投資人而言，它提供了一套更貼近真實價值的觀察框架。

在很多應用場景里，世界模型承載的任務十分明確：為機器人提供行動前的內部推演，為自動駕駛系統提供風險預估，為具身智能體提供規劃和策略篩選能力。此類系統進入真實環境后，性能取決于幾個關鍵問題：

模型是否真正理解動作與后果之間的關系，是否能夠在長時程任務中保持穩定，是否能在分布變化和策略變化下繼續有效，是否能避免被優化過程「帶偏」。

從這個角度看，世界模型的技術壁壘更多體現在以下能力上：

• 對干預動作的敏感性與準確響應；

• 對任務結果和回報信號的長期保真；

• 對不同候選策略的可靠排序；

• 在優化閉環中的穩定性與抗「漏洞利用」能力；

• 在分布外場景中的不確定性表達和風險控制能力。

這類能力往往決定模型進入產品與系統后的真實表現，也決定其在工程部署中的可依賴程度。

論文提出一套更貼近具身決策的評測協議

在梳理問題的同時，論文進一步提出了一套「以決策為中心」的評估框架和基準協議。其核心思想包括：

首先，研究者需要明確聲明模型的「決策契約」，即模型面向什么任務家族、什么策略類型、什么動作接口、什么時間跨度，以及具體服務于預測、評估、規劃還是優化。

在這一前提下，再開展更具針對性的評估。具體而言，論文建議評測中重點納入以下內容：

• 干預式動作保真測試：固定歷史條件，改變動作分支，觀察模型是否給出正確的任務相關變化；

• 閉環策略 rollout 評估：讓策略直接在模型內運行，檢查閉環行為與真實環境的一致性；

• 獎勵與成功率校準：衡量模型對獎勵、進度和成功概率的預測是否可信；

• 策略排序一致性：比較模型內評估的策略排序與真實環境中的策略排序；

• 優化增益評估：固定優化預算后，檢驗模型是否帶來真實可復現的性能提升；

• 可利用性與不確定性評測：衡量模型是否容易被優化器找到虛高方案，以及模型的不確定性表達是否有助于風險控制。

論文特別提到一個經常被忽視、卻對工程應用非常關鍵的問題：優化器會主動搜索模型中的「高估區域」。一旦世界模型在這些區域給出錯誤樂觀判斷，系統就可能在模型內顯得表現優異，落到真實環境中卻出現明顯落差。對于具身智能，這類偏差直接影響決策可靠性。

作者并沒有回避現實約束。真實機器人實驗昂貴、復現困難、環境重置成本高，大規模干預測試并不容易完成。為此，論文給出了一套「最小可行」報告方案，建議真實機器人工作至少補充 3 類證據：

• 少量重置匹配的動作分支實驗，用于檢驗動作改變后的結果變化；

• 幾組強弱差異明顯的固定策略，用于測試成功率校準和策略排序；

• 對模型內高分軌跡進行執行驗證，觀察其真實落地表現。

這組要求保持了現實可行性，也把評估從「生成得像」推進到「決策上是否可信」的層面。

為世界模型建立了一套更清晰的觀察坐標

從論文整體來看，這項研究完成了三件事情：

第一，它系統梳理了當前「世界模型」文獻中實際在測什么。

第二，它指出了不同證據所能支撐的主張邊界。

第三，它給出了一套可執行的評估框架，把具身決策場景中真正重要的問題變成可報告、可比較的指標。

在「世界模型」持續成為熱點詞匯的當下，這篇論文提供了一種更穩健的技術視角。它將關注點重新拉回行動、后果、策略和閉環性能本身，提醒研究和產業界在評價相關系統時，看到生成質量之外更深一層的決策能力。

結語

對于面向具身決策的世界模型，真正有分量的證據來自模型對行動后果的把握，來自它對策略優劣的判斷，來自它在規劃與優化中的實際表現。

視覺質量、語義一致性和物理合理性構成了重要基礎，也構成了系統可解釋性和可視化能力的一部分。進一步走向真實世界應用，評估重心自然會落在干預、閉環、長時程和策略優化這些環節上。

南京大學團隊的這篇立場論文，為當前世界模型研究提供了一套更清晰的尺度。對于學術界，它有助于校正研究問題和評估目標；對于產業界和投資人，它提供了識別技術成熟度與長期價值的更可靠參照。世界模型的意義，最終體現在它能否幫助智能系統形成對環境演化的有效把握，并在復雜任務中持續產出高質量決策。

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）