小米5篇自動駕駛論文沖上頂會！世界模型與VLA雙突破，下一代智駕要更強了

車東西（公眾號：chedongxi）
作者 ｜ Janson
編輯 ｜ 志豪

小米在國際計算機視覺頂會ECCV 2026上，一次性拿下了12篇論文！

車東西7月3日消息，據小米技術披露，在國際計算機視覺頂會ECCV 2026上，小米AI團隊和小米自動駕駛團隊多篇論文被錄取。

▲小米12篇論文入選ECCV 2026

錄用的這12篇論文中，有5篇都與自動駕駛直接相關，它們分別是CausalDrive、MindDrive、DriveVA、BeyondDrive和DriveFine。

五篇論文看似方向不同：有的研究世界模型，有的研究VLA決策，有的研究在線強化學習，有的研究安全負樣本，有的研究軌跡自修正。

但放在一起看，它們其實都在回答同一個問題：自動駕駛如何從“看見道路”，走向“理解世界”？

畢竟，真實駕駛從來不只是識別車道線、車輛和行人。車需要理解前車剎車會帶來什么連鎖反應，旁車是否會讓行，行人是否可能繼續橫穿。同時，系統也需要知道一個看似接近專家軌跡的動作，為什么可能在兩秒后變成危險決策。

上述難題，也正是小米這五篇 ECCV 自動駕駛相關論文試圖共同回答的問題。它們讓模型不僅能感知環境，還能預測未來、理解交互、優化決策，并在風險出現前完成糾錯。

值得一提的是，ECCV與CVPR、ICCV并稱計算機視覺三大頂會，據小米技術披露，ECCV 2026共收到10473篇有效投稿，錄取2883篇論文，錄取率約27.5%，小米的12篇論文含金量可見一斑。

一、世界模型更新 不只要看見路還要“想象未來”

自動駕駛要真正走向復雜開放道路，不能只依賴當前幀里的車道線、車輛、行人和紅綠燈。

真實駕駛更像是一場連續博弈：自車向左并線，旁車會不會減速？前車急剎，后車會如何反應？一個看似可行的軌跡，幾秒后是否會把車輛帶入沖突區域？

這就需要自動駕駛模型具備一種更高層的能力：世界模型。

所謂世界模型，簡單來說，就是讓模型在腦海中“預演未來”——不僅預測接下來畫面會變成什么樣，還要理解當前動作會怎樣影響環境，周圍交通參與者又會怎樣反過來影響自車決策。

小米這次ECCV 2026自動駕駛相關論文中，CausalDrive和DriveVA正好代表了世界模型方向的兩個關鍵問題。

1、CausalDrive：從“生成未來視頻”到“模擬交通因果”

很多自動駕駛世界模型，過去更像是一個視頻生成器，給它當前畫面和一些條件，它生成未來幾秒道路場景。

但問題是，真實交通不是一段被動播放的視頻，而是一個會對自車動作作出反應的動態系統。

比如，自車準備并線，旁邊車輛可能讓行，也可能加速通過；前車突然剎車，后車會不會跟著減速，取決于距離、速度、駕駛意圖等因素。

理解這些交通參與者之間的因果互動也是關鍵。

▲CausalDrive架構

CausalDrive的核心價值就在這里，論文指出，現有不少基于布局條件的駕駛世界模型依賴背景車輛未來軌跡，相當于提前知道了其他交通參與者未來會怎么走，因此并不是真正的交互式模擬。

而純動作條件預測器又缺少對復雜交互的語義控制，并且推理延遲較高。

為了解決這個問題，CausalDrive只使用初始前視圖像、自車軌跡和宏觀文本提示，不輸入未來NPC布局，從而迫使模型自己預測周圍交通參與者的反應。

論文提出Context-Forced DMD（上下文強制DMD）架構，結合連續流匹配和自校正蒸餾，實現了12 FPS的交互式生成速度。

▲CausalDrive跑分

這意味著，CausalDrive把被動的視頻生成器推進成一個可交互的神經仿真器，模型不僅要知道“未來畫面長什么樣”，還要理解“為什么會這樣發生”。

這對自動駕駛的意義很直接。真實道路上的長尾情況很難全部靠采集數據覆蓋，如果模型能構建可控、實時、可反事實推演的交通世界，就可以用來做閉環評測、強化學習訓練，甚至人機交互式仿真。

論文也展示了其在生成式閉環評測、大規模強化學習后訓練以及人在回路仿真中的應用潛力。

2、DriveVA：讓“想象的未來”和“規劃的軌跡”保持一致

如果說CausalDrive關注的是“交通世界如何因果互動”，那么DriveVA關注的是另一個關鍵問題：模型想象出來的未來，和它規劃出來的軌跡，能不能一致？

現有不少世界模型規劃方法，往往把未來視覺預測和軌跡規劃分開處理，但這樣做的問題是，模型可能“想象出一個未來”，卻規劃出一條并不匹配這個未來的路線。

也就是說，視頻和動作是松耦合的。

DriveVA的方法是，把未來視覺預測和車輛動作序列放進同一個shared latent generative process（共享潛在生成過程）中聯合生成。

論文基于大規模預訓練視頻生成模型，繼承其對時空動態、物理合理性和因果交互的建模先驗，并使用DiT-based decoder（基于 DiT 的解碼器）同時預測未來視頻和車輛動作序列。

這個設計解決了自動駕駛中的一致性問題。對人類司機來說，駕駛決策通常不是割裂的：我們會一邊觀察周圍車輛運動，一邊預測幾秒后的交通狀態，同時調整自己的路徑。

而DriveVA讓自動駕駛模型也具備這種能力，讓未來視覺和動作在同一套生成邏輯中完成。

▲DriveVA跑分

實驗結果也比較有話題度，從跑分結果看，DriveVA在NAVSIM challenge上達到90.9 PDM score，并在零樣本設置下展現出跨數據集、跨域泛化能力。

在nuScenes上，相比現有世界模型規劃器，DriveVA將平均L2 error和collision rate分別降低78.9%和83.3%，在Bench2Drive/CARLA v2上則分別降低52.5%和52.4%。

二、VLA繼續升級 生成軌跡并學會“為什么這樣開”

如果說世界模型解決的是“未來會怎樣變化”，那么自動駕駛還必須回答下一個問題：面對這個未來，車應該怎么做？

過去的端到端自動駕駛，更像是在學習專家軌跡，這種方式能覆蓋大量常見場景，卻很難解決兩個問題：一是遇到訓練數據之外的長尾情況，模型缺少主動試錯和自我改進能力；二是軌跡一旦生成出錯，后續很容易誤差累積，難以及時回頭修正。

這正是MindDrive和DriveFine兩篇論文切入的地方，它們都屬于VLA模型，讓自動駕駛模型不只是“看圖輸出軌跡”，而是先理解場景、形成駕駛意圖，再轉化為具體行動。

1、MindDrive模型怎樣在真實交互中學會更好的決策

自動駕駛當然可以通過強化學習“邊試邊學”，但難點在于，車輛動作是連續軌跡空間，速度、方向、加速度、位置點組合極其復雜，直接在軌跡里試錯效率很低。

MindDrive的做法，是把試錯從連續軌跡空間上移到語言決策空間。

模型先判斷“減速讓行”“保持車道”“緩慢左轉避讓行人”等駕駛意圖，再由動作專家把這些意圖映射成具體軌跡。

論文中，MindDrive采用共享視覺-語言模型基座，并通過兩套LoRA（一種大模型參數高效微調技術）適配模塊形成兩個專家。

▲MindDrive架構

一個負責場景推理和駕駛決策，另一個負責把語言決策轉成可執行軌跡；車輛執行后的軌跡獎勵，則反饋到語言推理層，用來優化下一次決策。

這一步的意義在于，模型不再只是模仿“專家當時怎么開”，而是開始學習“這個場景下為什么應該這樣開”。

強化學習也不再是在海量連續軌跡里盲目搜索，而是在更離散、更可解釋的語言決策中試錯。

▲MindDrive跑分

論文結果顯示，MindDrive使用輕量級Qwen-0.5B大語言模型，在Bench2Drive上取得Driving Score 78.04和Success Rate 55.09%。

2、DriveFine：規避路徑駕駛風險

如果說MindDrive解決的是“模型如何學會更好地判斷”，那么DriveFine解決的則是“模型判斷之后，能不能先改一遍再執行”。

生成式自動駕駛規劃有一個很現實的風險，很多模型像寫句子一樣一步步生成軌跡，如果前面某個判斷偏了，后續軌跡就可能一路偏下去。

針對這一問題，DriveFine的答案是“先生成、再修正”。

▲DriveFine路徑決策對比

它提出一種掩碼擴散式視覺-語言-動作模型，并設計了即插即用的塊級混合專家結構：生成專家先給出初始軌跡，修正專家再對軌跡進行二次優化。

通過推理時顯式選擇專家、訓練時隔離梯度，DriveFine將“生成”和“修正”解耦，既保留預訓練模型已有能力，又給模型注入自我優化能力。

論文還設計了混合強化學習策略，在鼓勵修正專家探索的同時保持訓練穩定，并在 NAVSIM v1、NAVSIM v2 和 Navhard 等基準上驗證了魯棒性。

▲DriveFine跑分

DriveFine讓模型內部具備“反思”能力，先給出一個駕駛方案，再檢查它是否安全、平順、合理，最后在真正執行前完成修正，這樣進一步提升了自動駕駛的穩定性。

三、讓模型不只學會“怎么開” 也知道“什么不能做”

世界模型解決“未來會怎樣”，VLA模型解決“應該怎么開”，但對自動駕駛來說，還有一個更底層的問題，那就是模型是否真正知道，哪些動作看起來接近正確，實際上卻很危險？

這正是BeyondDrive這篇論文的切入點。

過去很多端到端自動駕駛模型依賴模仿學習，也就是讓模型盡量貼近專家軌跡。

但這里有一個容易被忽略的陷阱：離專家軌跡近，不等于安全。

畢竟，兩條軌跡在幾何距離上可能只差一點點，模型訓練時的損失也差不多，但結果可能完全不同。

一條還能安全通過，另一條可能幾秒后就會碰撞。

論文中指出，傳統模仿學習默認“空間接近等于行為安全”，這會造成目標錯配——相似的模仿誤差，可能對應完全不同的安全結果。

▲BeyondDrive架構

因此，BeyondDrive的主要工作就是讓模型學會識別“危險的相似答案”。

它的方法可以理解成給自動駕駛模型建立一本“錯題本”。模型不只看正確軌跡，還要看那些看起來很接近專家、但其實不安全的軌跡。

論文通過基于流匹配的負樣本生成器，主動合成這類困難負樣本；這些負樣本在空間上接近專家軌跡，但在安全語義上存在風險。

隨后，BeyondDrive 再用一種排斥距離損失，讓模型一邊靠近專家軌跡，一邊遠離危險負樣本，從而在軌跡空間里建立更清晰的安全邊界。

這個思路的價值在于，它把自動駕駛訓練從“只學正確答案”，推進到了“同時理解錯誤答案為什么危險”，這對長尾場景尤其重要。

真實道路上的風險，很多時候不是那種一眼就錯的動作，而是那些差一點就對了、但關鍵時刻會出事的動作。

比如貼著前車過近、在路口稍微偏向沖突區域、避讓行人時留出的安全余量不夠。

這些軌跡可能在訓練損失上并不顯眼，卻決定了系統在閉環駕駛中的安全上限。

▲BeyondDrive跑分

從實驗結果看，BeyondDrive可以遷移到不同端到端駕駛架構中，它應用在Latent TransFuser基線上，在NAVSIMv1閉環基準上達到89.7 PDMS，在MeanFuser + BeyondDrive跑分達到90.3 PDMS。

如此來看，BeyondDrive重新定義自動駕駛模型該學什么，安全不是只靠更接近專家軌跡就能得到的，模型必須顯式知道：哪些選擇雖然看起來合理，但已經越過了安全邊界。

結語：小米自動駕駛再放大招

從這五篇論文可以看到，小米自動駕駛研究的重心在于搭建一條更完整的技術鏈路。

技術團隊用世界模型預演未來，用視覺-語言-動作模型形成決策，用強化學習優化判斷，用安全負樣本劃清邊界，再用自我修正提升規劃魯棒性。

如此來看，自動駕駛的下一步，不只是讓車“看得更清楚”，而是讓車真正理解它所處的交通世界——知道未來可能發生什么，知道自己為什么這樣開，也知道哪些選擇必須提前避開。