復旦邱錫鵬團隊提出「上下文世界建模」：無需微調，VLA即可適應新環境

視覺-語言-動作（VLA）模型，在部署時往往會遇到一個問題：一旦相機視角、安裝位置或機器人形態稍有變化，性能就可能會下降。

以往的“上下文學習”（In-Context Learning ) ，通常把上下文當作示范，靠人工演示任務執行，機器人并不知道整套系統該如何運作。一旦部署環境改變，研究人員往往只能重新收集數據、重新調模型，既費時也費力。

針對這一問題，復旦大學邱錫鵬教授團隊提出了“上下文世界建?！?/strong>（In-Context World Modeling，ICWM）。在任務執行前，機器人會進行一小段與任務無關的隨機探測，再將交互過程作為上下文輸入模型，以此判斷整套系統如何運作。

論文鏈接：https://arxiv.org/abs/2606.26025

仿真和真實機器人實驗表明，ICWM 整體表現顯著優于現有方法。該方法只需少量隨機探測，便能在無需額外示范和參數更新的情況下適應新環境，并提升跨視角與跨配置的泛化能力。

ICWM 是如何設計的？

與傳統 VLA 模型相比，ICWM 會先根據交互上下文判斷當前系統配置，再生成后續動作，無需重新示范或參數更新。具體流程可以分為訓練和推理階段：

訓練階段：研究團隊會在每個任務樣本前拼接一段與任務無關的交互片段，作為上下文輸入。根據交互帶來的畫面變化，模型會判斷當前系統的配置。ICWM 沒有加入獨立的世界模型，而是直接使用 VLA 主干來處理這段交互歷史。這樣既簡化了結構，也能讓信息能夠直接用于動作預測。

推理階段：機器人不會直接執行任務，而是先進行主動探測（active probing），記錄動作前后的觀測變化，形成交互上下文（interaction context）。隨后，模型再把當前看到的上下文、畫面和任務指令一起作為輸入，判斷接下來該怎么做。

圖｜ICWM 的訓練與推理流程概覽。

實驗結果

在實驗階段，研究團隊進行了跨視角、真實機器人和多種分布外擾動實驗。實驗結果表明，ICWM 借助交互上下文提升了對新環境的適應能力，并展現出向語義變化和機器人形態變化等場景擴展的潛力。

1.仿真結果

研究團隊先在LIBERO 仿真基準上做了跨視角實驗。結果顯示，ICWM 在已見和新視角下都優于基線。相比僅依賴多視角訓練的方法，它在已見視角下平均高出 8.1 %，在新視角下平均高出 13.0 %。

即使把真實相機參數直接輸入模型，模型的泛化表現仍不如 ICWM。在長時序任務上，ICWM 也能更好地控制累積誤差。

圖｜在 LIBERO 基準上，已見視角與未見視角的成功率（%）。

2.真實機器人實驗

在 UR5e 真實機器人平臺上，ICWM 同樣明顯優于基線。研究團隊使用一套 12 相機的多視角系統進行評估，任務覆蓋堆疊、抓取和拾取、放置等操作。

結果顯示，標準 VLA 對視角變化較為敏感，從訓練視角切換到測試視角后，平均成功率會從 68% 降至 17%，ICWM 的穩定性則更強。

圖｜在 UR5e 平臺上的真實世界評測。

定性結果也顯示，轉換到新環境后，普通模型容易出現位置偏移、過早閉合夾爪等問題，ICWM 的表現則相對穩定。

圖｜定性對比。

3.消融與分析

消融實驗顯示，ICWM 的性能提升來自交互上下文，而并非簡單的模式匹配。

去掉圖像信息后，模型表現下降最明顯，平均成功率從 25.0% 降到 10.9%；去掉動作信息，或不提供交互上下文，模型表現也會下降。如果提供一段錯誤的上下文，模型表現甚至比沒有上下文時更差。此外，對照實驗也表明，模型只有經過專門訓練，才能利用交互上下文適應環境；否則，即使在測試時提供同樣的信息，性能也幾乎為零。

圖｜交互上下文消融實驗。

從可視化結果看，模型已經能夠區分不同視角和配置：相同視角下的數據分布更集中，不同視角之間的區分也更清晰。

圖｜不同分布外（OOD）視角下的 Ψ(T) 的 t-SNE 可視化。

研究團隊發現，ICWM 效果并不依賴某一種特定的探測方式。無論采用隨機探測，還是僅沿 XY、Z 或旋轉方向運動，ICWM 都穩定優于對照方法，成功率提升約 15% 至 27%。泛化實驗也顯示，ICWM 對機器人形態變化具有較強適應性，在語義擾動場景下同樣有一定提升。

圖｜分布外（OOD）視角下，不同探測策略的成功率（%）。

圖｜對語義場景變化和機器人形態變化的魯棒性。

不足與未來方向

盡管 ICWM 顯著提升了 VLA 在新環境中的適應能力，但研究團隊也指出，該方法仍存在以下不足：

首先，在部分極端視角條件下，ICWM 的性能提升仍然有限。原因在于，這些視角往往伴隨更嚴重的遮擋，操作目標在執行過程中也更容易短暫移出相機視野。未來，模型仍需結合多視角感知、主動視角調整以及更強的遮擋建模能力。

其次，在語義擾動實驗中，ICWM 的提升仍較為有限。當前訓練數據中的場景語義和組合配置還不夠豐富。未來，若能進一步擴充場景語義、組合配置更豐富的訓練數據，ICWM 在語義擾動場景中的表現則有望繼續提升。

更多技術細節，詳見原論文。

作者：夏千斯

如需轉載或投稿，請直接在本文章評論區內留言