北京
來源：量子位 | 公眾號 QbitAI
henry 發自 凹非寺
世界模型，也能持續學習了！
剛剛，紐約大學聯合LeCun初創AMI帶來JEPA系列的最新成果——
AdaJEPA。
與過去在預訓練結束后就凍結參數的世界模型不同，AdaJEPA能夠在與環境交互中，基于測試時自適應（Test-Time Adaptation, TTA），實時調整世界模型的編碼器和預測器參數，從而實現持續學習。
具體而言，AdaJEPA通過計劃、執行、觀測、更新、再規劃的閉環，在每次交互中只執行MPC規劃出的第一段動作，然后把真實觀察到的下一幀狀態，當成自監督信號來更新世界模型。
由此，在下一輪規劃時用的就不再是剛部署時那個凍結模型，而是已經被當前環境“校準”過的模型。
這個思路有點像經典強化學習里的Dyna：
模型不是一次訓練完就結束，而是在真實交互中不斷修正自己對世界的理解。
實驗結果也表明，無論是在分布內環境，還是面對各類分布外偏移，AdaJEPA的規劃成功率都明顯優于固定世界模型。
這是怎么做到的？
計劃、執行、觀測、更新、再規劃
一直以來，基于JEPA路線的隱空間世界模型，都有一個默認前提，就是模型訓練完，就凍結參數。
整個流程大致是這樣：
模型先在離線軌跡上學習把高維圖像壓進latent space，然后再在這個隱空間里預測未來。
到了測試階段，MPC（Model Predictive Control，模型預測控制）就會調用這個凍結的世界模型，在隱空間里向前滾動“想象”未來，優化出一串動作，再把第一步動作拿到真實環境里執行。
（注：MPC的核心思想是每次只往前預測一小段，算出一串動作，但先只執行第一步。等真實環境反饋回來，再重新預測、重新規劃）
但問題在于，環境一變，凍結世界模型就容易失準。
當系統面臨測試時分布偏移（Test-time Distribution Shift）時，在latent space里看起來能到達目標的動作，落到真實環境里，可能一步都不對。
更麻煩的是，MPC本來就靠短時域滾動規劃，單步誤差往后滾幾步，就會被放大。
為解決這一問題，論文提出AdaJEPA框架。
它的核心判斷是：世界模型不該訓練完就固定在那里。它應該像真正部署中的智能體一樣，一邊行動，一邊用新經驗校準自己。
具體來說，AdaJEPA的循環可以分為四步：
規劃：模型先把當前觀測編碼成latent state，然后用當前世界模型進行MPC，在隱空間里向前滾動預測，找出一串最接近目標狀態的動作。
執行：模型不會一次性執行完整動作序列，而是只執行第一段動作。隨后，真實環境返回下一幀觀測。
更新：把這次真實狀態轉移存進在線緩存區。AdaJEPA再讓模型根據觀測和動作預測下一步latent state，并和真實狀態預測編碼出的latent state對齊。預測錯在哪里，梯度就從哪里回來。
再規劃：更新后的世界模型立刻進入下一輪MPC。論文里默認只更新視覺編碼器和預測器的最后幾層，每次重規劃只做1步梯度下降。
由此，AdaJEPA的循環不再只是傳統 MPC 的：規劃，執行，再規劃。
而是變成了：規劃，執行，觀測，更新，再規劃。
世界模型也因此不再只是一個被動調用的“想象器”，而變成了一個會在部署過程中持續校準自己的模塊。
實現細節
在實現上，AdaJEPA的底座依然是JEPA（Joint-Embedding Predictive Architectures），聯合嵌入預測架構。
和傳統像素級預測世界模型不同，JEPA并不直接預測未來圖像，而是先把圖像壓進一個更緊湊的隱空間，只在latent space里預測未來狀態。
具體來說，整個模型由三個核心組件組成：
狀態編碼器，把當前觀測編碼成隱狀態。
動作編碼器 ，把動作編碼成動作嵌入。
預測器，根據當前隱狀態和動作嵌入，預測下一步隱狀態。
AdaJEPA的在線更新，就發生在這個隱空間里。
每次執行動作后，系統都會把真實狀態轉移存入在線緩存區。這個緩存區不會無限增長，論文里默認只保留最近N條轉移。
更新時，AdaJEPA會讓模型根據當前觀測和動作預測下一時刻的隱狀態，再和真實下一幀觀測編碼出的隱狀態對齊。
為了防止在線更新把原本的表征空間拉崩，論文做了兩個限制：
一是對目標表征使用stop-gradient；二是只更新少量參數。
實驗默認只更新視覺編碼器和預測器的最后幾層，并且每次MPC重規劃只進行1步梯度下降。
所以，這并不是把整個世界模型在線重訓一遍。
它更像是每走一步，就用剛剛從真實環境里獲得的新反饋，把世界模型往當前環境上輕輕校準一下。
實驗測試
為了驗證測試時自適應能否讓凍結世界模型在環境變化中重新校準自己，論文在PushT/PushObj和PointMaze兩個基準上做了實驗。
實驗表明，在 PushObj未見過形狀上，AdaJEPA幾乎把規劃成功率翻倍。
而在PointMaze的未見過布局中，提升同樣明顯。
其中，GD規劃成功率從53.3%提到 78.7%，CEM從49.3%提到70.7%。
更關鍵的是，這種在線更新帶來的額外延遲并不高。
論文默認只更新視覺編碼器和預測器的最后幾層，每次MPC重規劃只做1步梯度下降，額外延遲只有 0.01到0.03秒。
也就是說，AdaJEPA并不是用很重的在線訓練，強行換來更高成功率。
它更像是在原有世界模型的基礎上，加入了一個輕量的“部署時自我校準”機制。
總體來看，這篇論文想說明的是：
世界模型不必訓練完就被凍結，只要讓它在部署時利用真實交互結果做輕量更新，就已經能顯著提升面對環境變化時的魯棒性。
作者介紹
最后，讓我們來簡單介紹一下這篇論文的作者們。
作者Ying Wang目前是紐約大學數據科學中心CILVR Lab 的博士生，研究方向是世界模型，導師是Mengye Ren和Yann LeCun。
另一位作者Oumayma Bounou目前是紐約大學博士后研究員，她的研究興趣集中在世界模型、控制和優化。
目前，她正與LeCun合作研究世界模型。
此外，紐約大學計算機科學與數據科學助理教授Mengye Ren和圖靈獎獲得者Yann LeCun共同擔任指導作者。
參考鏈接[1]https://arxiv.org/pdf/2606.32026
閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”
未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。
截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告
（加入未來知識庫，全部資料免費閱讀和下載）
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
