AI到底是「想錯了」還是「判錯了」？OpenDriveLab 陳立的組合式世界模型讓策略自我糾偏 | RSS 2026

在具身智能通往 AGI 的征途中，我們正面臨一個幽靈般的威脅：“黑盒幻覺”。

當(dāng)一個機器人或自動駕駛策略出錯時，開發(fā)者往往很難精準(zhǔn)定位原因。因為“預(yù)測未來”和“評估好壞”這兩個功能在龐大的聯(lián)合網(wǎng)絡(luò)中被緊緊綁在一起。一旦出了事故，你根本分不清它到底是“想錯了”（對物理世界的預(yù)測不對），還是“判錯了”（對結(jié)果好壞的評估有誤）。

這種“想”與“判”的纏繞，正成為阻礙具身策略走向更高安全級和可檢查性的最大絆腳石。

這種探索期的迷茫與爭論，在2026年7月17日 RSS 2026Workshop現(xiàn)場，OpenDriveLab 核心成員陳立給出了他的答案。

陳立發(fā)表了題為“Improving Embodied Policies with Compositional World Models”的演講，直擊這一行業(yè)盲區(qū)，提出了“組合性”（Compositionality）原則。

這一原則的核心思想很簡單：把世界模型的“預(yù)測”組件和“價值評估”組件徹底拆開，讓它們各自獨立、專業(yè)運作。預(yù)測組件只負(fù)責(zé)像沙盤一樣推演“做動作后會發(fā)生什么”，而評估組件則只負(fù)責(zé)判斷“推演出來的后果是好是壞”。這種功能上的解耦，讓AI的決策過程變得像拼圖一樣，既清晰又可追溯。

在這場演講中，陳立展示了四項層層遞進的系統(tǒng)性工作：從自動駕駛的安全仿真 ReSim、操控任務(wù)的“先生成后修正” Generation-then-Revise、到自動駕駛后訓(xùn)練基礎(chǔ)設(shè)施 World Engine、再到機器人策略自我改進的 RISE。這些工作不僅讓機器人和無人車學(xué)會了“在想象中犯錯、在安全中變聰明”，更將這一套組合式法則，一步步從“選擇”推向“修正”，乃至風(fēng)險等級最高的“后訓(xùn)練”。

雖然風(fēng)險等級層層遞進，但每一步都保留了可檢查性，讓錯誤可以被追溯，而不是被掩蓋在黑盒之中。

以下是陳立在 RSS 2026大會上發(fā)表的演講精編稿，雷峰網(wǎng)AI科技評論基于原英文演講內(nèi)容進行了不改原意的翻譯編輯：

演講實錄：Improving Embodied Policies with Compositional World Models

主講人：陳立（Li Chen） | OpenDriveLab

大家好！今天我想和大家探討一個貫穿我們近期工作的核心思想，這個思想其實非常簡單：預(yù)測能告訴我們某個動作可能帶來什么后果，但僅憑預(yù)測本身，并不能告訴我們這個后果是否有用。我將這種“預(yù)測與評估保持足夠獨立、各自實現(xiàn)專業(yè)化”的特征，稱為世界模型的組合性（compositionality）。

在當(dāng)前的具身智能領(lǐng)域，正如大家所見，具身策略在將觀測和指令映射為動作方面已經(jīng)變得非常強大。不過，這里需要澄清一點，屏幕右側(cè)展示的部分并非世界模型，它本質(zhì)上是一個策略。

事實上，很多策略的失敗并不是因為它們誤解了指令，而是由于策略沒有預(yù)判其動作可能帶來的后果。比如在駕駛場景中，一個策略可能在局部看起來很安全，但僅僅一秒后就會陷入危險的交互；在機器人操控中，機器人可能一動起手就遭遇失敗，導(dǎo)致下一階段的任務(wù)根本無法完成。

雖然物理試錯（例如真實世界的強化學(xué)習(xí)）可以暴露這些問題，但它的過程極其緩慢、伴隨著風(fēng)險，且很難進行并行化。相比之下，世界模型提供了一個極具吸引力的方案，讓策略在最終做出決策之前，有一個能夠?qū)徱暱赡芎蠊奶摂M空間。

隨著研究的深入，“世界模型”這個術(shù)語已經(jīng)被廣泛使用，其涵蓋的系統(tǒng)也因為與動作的關(guān)系不同而呈現(xiàn)出多樣化的圖譜。在這張圖上，我放置了一些非常具有代表性的工作。我們可以看到，從左到右，動作接口變得更加可控；從下到上，系統(tǒng)對策略的感知程度逐漸增強。比如常見的視頻生成模型，它們雖然能從廣泛的視覺和物理先驗中學(xué)習(xí)，但并不提供具身動作接口。另外一些系統(tǒng)則支持可控仿真，比如CARLA以及我們團隊的其他工作，但在決策時的在線推理或策略改進方面，它們還沒有過多涉足。

而在我們當(dāng)前及未來的工作（如World Engine和RISE）中，我們探索的重點正是如何利用這些世界模型來改進策略。

為了實現(xiàn)這個目標(biāo)，我們構(gòu)建了一個典型的模型流程。

我們首先輸入歷史觀測和一個具體動作（比如在這個例子中的右轉(zhuǎn)），然后為未來的時間步想象出未來的狀態(tài)。在駕駛場景中，動作可以是軌跡航點等高層級信號；在操控任務(wù)中，它則可能是一段連續(xù)動作或控制信號。盡管狀態(tài)的表示形式可以多樣化（如視頻、潛狀態(tài)或結(jié)構(gòu)化幾何），但核心要求始終是因果可控性，也就是說，改變動作必須能以正確的方式改變想象中的未來。

緊接著是價值評估部分。價值模型接收想象出的未來狀態(tài)，并結(jié)合當(dāng)前任務(wù)或目標(biāo)，去估算獎勵或價值（如進度或優(yōu)勢值）。這個輸出可以將預(yù)測轉(zhuǎn)化為策略接口。如此一來，策略不僅可以在候選軌跡中進行選擇，還可以在動作生成過程中提供梯度，甚至可以在這些生成的經(jīng)驗上進行強化訓(xùn)練。

需要強調(diào)的是，我們這里的“組合式”是在功能意義上使用的。即便預(yù)測和評估存在于同一個更大的系統(tǒng)中，它們也保持著獨立性。

這種讓想象與評估分離的機制至關(guān)重要，它賦予了系統(tǒng)一種診斷能力，讓我們能夠追問：一個決策錯誤究竟是因為模型預(yù)測了錯誤的后果，還是因為價值模型做出了錯誤的判斷？

這種獨立性之所以必不可少，是因為兩者的目標(biāo)截然不同。預(yù)測部分需要輸出高維的未來觀測，而評估部分則需要輸出獎勵、進度或優(yōu)勢值。在建模方法上，動力學(xué)預(yù)測側(cè)重于高維生成，而價值評估則側(cè)重于任務(wù)條件下的評估與失敗檢測。雖然理論上一個單一的聯(lián)合網(wǎng)絡(luò)可以同時服務(wù)于這兩者，但它會極大地耦合標(biāo)簽、模型容量和更新調(diào)度。

因此，我們采用組合式框架，確保這些選擇在保持可能性的同時，更加獨立和可靠。

基于這一思想，我們開展了四項具體的實踐工作，它們在利用世界模型的方式上各有側(cè)重，下面我將為大家逐一展開。

01

ReSim：自動駕駛的可靠世界模擬

首先是關(guān)于自動駕駛可靠世界模擬的ReSim項目，我們以此來解決預(yù)測可靠性的問題。

真實世界的數(shù)據(jù)集（如nuScenes）雖然提供了極大的視覺多樣性，但其中的大多數(shù)動作都來自于極其謹(jǐn)慎的人類駕駛員。這意味著其動作分布非常狹窄且偏向安全，諸如偏離道路等非正常行為的數(shù)據(jù)極為稀少。在這些數(shù)據(jù)上訓(xùn)練出來的世界模型，很容易忽略異常的動作輸入，從而生成看似正常的畫面。比如，當(dāng)我們給模型輸入一個不安全的控制信號時，它卻無法生成相應(yīng)的危險后果。這對于策略評估是致命的——如果想象中的未來永遠是一片祥和，獎勵信號就無法區(qū)分動作的優(yōu)劣。

為了擴展動作覆蓋，我們將來自CARLA模擬器的非專家動作與來自YouTube及nuScenes的真實數(shù)據(jù)相結(jié)合。真實世界數(shù)據(jù)提供了豐富的場景和交通標(biāo)注，而仿真數(shù)據(jù)則補充了不安全行為的后果。通過這種組合訓(xùn)練，并結(jié)合一個能零樣本遷移到真實世界的Video2Reward模型，ReSim成功具備了預(yù)測危險后果的能力。在NAVSIM測試中，利用ReSim提供的獎勵信號，規(guī)劃得分達到了74.1分。

02

Generation-then-Revise：操控任務(wù)的價值引導(dǎo)生成

這促使我們思考下一個問題：價值能否在決策完成之前就直接影響動作的生成？為此，我們提出了針對操控任務(wù)的 Generation-then-Revise 流程。

在以往的工作中，價值推斷通常只考慮單條想象軌跡，并且無論初始提議是否正確都會執(zhí)行串行修正，效率較低。我們的新方法引入了期望優(yōu)勢評論器與多束搜索。策

略首先提出一個動作序列，隨后由一個輕量級的兩層觸發(fā)器快速決定是直接執(zhí)行還是進行修正。如果觸發(fā)修正，擴散模型會展開多個候選路徑，并通過快速評論器估算每條路徑的優(yōu)勢值來擇優(yōu)選擇。這種“早退出”機制大幅減少了不必要的推理時間，同時確保了修正的質(zhì)量。

到這一步，世界模型的想象力已經(jīng)可以改進單個策略。

03

World Engine：自動駕駛后訓(xùn)練的基礎(chǔ)設(shè)施

為了讓生成的經(jīng)驗?zāi)軌蛑苯幼鳛椴呗愿倪M的環(huán)境，我們開發(fā)了自動駕駛后訓(xùn)練基礎(chǔ)設(shè)施World Engine。

在這個項目中，我們針對長尾事件，利用3D高斯?jié)姙R（3DGS）將真實場景重建為逼真的交互式環(huán)境。這里的行為世界模型是一個基于多智能體軌跡的擴散模型。我們可以設(shè)定特定的目標(biāo)點，并根據(jù)地圖拓?fù)渖芍車囕v多樣化的未來軌跡。行為模型預(yù)測運動，3DGS渲染器則生成對應(yīng)的傳感器觀測。兩者結(jié)合，成功將一次真實的記錄轉(zhuǎn)化為多次閉環(huán)的交互強化訓(xùn)練。

實驗表明，這種閉環(huán)后訓(xùn)練大幅提升了策略在處理真實長尾事件時的成功率。

04

RISE：用組合式世界模型實現(xiàn)機器人策略自我改進

將這種重建場景與策略改進相結(jié)合的思路，我們也延伸到了機器人領(lǐng)域，這便是我們的第四項工作：RISE（基于想象自我改進的機器人強化學(xué)習(xí)）。

RISE相關(guān)鏈接：https://github.com/OpenDriveLab/RISE

真實世界的機器人強化學(xué)習(xí)面臨著物理成本高、安全監(jiān)控難、硬件易損等多重困境。在RISE中，我們以少量的真實演示和物理推演作為錨點，而將大部分的交互訓(xùn)練轉(zhuǎn)移到了世界模型的想象空間中。

RISE的世界模型同樣由兩個專業(yè)化的組件構(gòu)成：動力學(xué)模型負(fù)責(zé)接收近期觀測和未來動作，并預(yù)測出多視角的未來畫面；價值模型則接收這些想象畫面并估算任務(wù)進度，將價值差異轉(zhuǎn)化為獎勵。這兩個組件具有不同的歸納偏置——視頻生成需要保持視覺連貫，而價值模型需要敏銳地檢測出細微的失敗。

在實現(xiàn)細節(jié)上，動力學(xué)模型基于通用視頻生成基座進行了輕量化定制，能在兩秒內(nèi)快速生成25幀畫面。同時，我們通過任務(wù)中心批處理技術(shù)，讓模型更專注于學(xué)習(xí)動作控制引起的視覺差異。價值模型則基于預(yù)訓(xùn)練的機器人大模型進行微調(diào)，結(jié)合了進度回歸和時序差分（TD）雙重目標(biāo)，既能提供平滑的進度信號，又對失敗動作極其敏感。

這種雙組件的專業(yè)化帶來了巨大的優(yōu)勢。由于動力學(xué)模型和價值模型僅在訓(xùn)練期間發(fā)揮作用，訓(xùn)練完成后，部署在機器人上的策略完全不承擔(dān)世界模型的推理開銷。此外，由于接口是完全可檢查的，當(dāng)系統(tǒng)表現(xiàn)不佳時，我們可以清晰地診斷出是動力學(xué)模型的預(yù)測出了偏差，還是價值模型的信用分配出現(xiàn)了失誤。

在實際的改進循環(huán)中，策略從真實觀測錨點出發(fā)提出動作，動力學(xué)模型預(yù)測結(jié)果，價值模型進行評估，并將這些想象經(jīng)驗與真實數(shù)據(jù)混合放入緩沖區(qū)用于策略更新。為了防止世界模型產(chǎn)生幻覺，我們限制了推演的步數(shù)，并始終以真實數(shù)據(jù)作為支撐。實驗表明，在動態(tài)分揀和物體操控等任務(wù)上，RISE均取得了顯著的性能提升，且最終部署的策略依然保持著極高的執(zhí)行效率。

總結(jié)我們這一系列的工作，其核心在于：使預(yù)測和評估專業(yè)化，用不同數(shù)據(jù)進行監(jiān)督，獨立擴展各個組件，并在信任生成經(jīng)驗之前對其進行審視。

展望未來，我認(rèn)為有三個關(guān)鍵的方向值得重點突破：

第一是基礎(chǔ)設(shè)施的建設(shè)，世界模型的訓(xùn)練、推理和具身環(huán)境必須變得更加高效；

第二是泛化能力，尤其是開發(fā)通用的價值模型；

第三是世界模型的探索，例如Cosmos Token等新技術(shù)在未來的應(yīng)用。

在這個過程中，我們的挑戰(zhàn)在于如何在實現(xiàn)系統(tǒng)整合的同時，不失去組件的專業(yè)化與可檢查性——而這正是組合式方法的價值所在。

以上就是我今天的分享，謝謝大家！

05

Q&A 問答環(huán)節(jié)

Q：第一個問題是：特定的進度價值模型如何在不重新訓(xùn)練的情況下泛化到未見過的任務(wù)中？

陳立：目前來看，價值模型本質(zhì)上依然是任務(wù)特定的。我們的做法是利用一些域內(nèi)數(shù)據(jù)，在預(yù)訓(xùn)練基座（如 π0.5）上進行微調(diào)，從目前的反饋來看，這種方式是有效的。

Q：第二個問題也比較類似：價值模型在未見過的數(shù)據(jù)點上有多可靠？其偏差大概有多大？

陳立：對于全新的任務(wù)，價值模型確實無法直接泛化。但是對于域內(nèi)的泛化（例如光照、位置的改變等常見的泛化測試），價值模型的泛化能力可以與策略模型本身的表現(xiàn)相媲美。因為它們共享了相同的預(yù)訓(xùn)練基座，在論文中，我們也使用了相同的數(shù)據(jù)并結(jié)合了TD損失來進行訓(xùn)練。

一個人讀論文太孤單，一群人刷頂會才好玩。

RSS 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實時論文跟蹤與硬核技術(shù)探討，拒絕灌水。

? 進群傳送門：掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學(xué)術(shù)新星訪談