北京
大語言模型學會了預測"下一個詞"，于是有了會寫代碼、會做題、會對話的ChatGPT、DeepSeek、Qwen。視頻生成模型學會了預測"下一幀"，于是有了越來越逼真的圖像和視頻生成模型，例如Seedance、Sora。具身模型學會了預測"下一個動作"，于是機器人開始能完成越來越復雜的任務。而悟界·RoboBrain Orca的目標是做一件更底層的事：讓AI在"腦海中"形成一個表征，該表征是對當前世界狀態的高度"濃縮"，基于該表征，AI能夠建模向前和向后世界狀態的演變。這就是悟界·RoboBrain Orca作為"多模態表征世界模型"的核心哲學：The World is in Your Mind。
悟界·RoboBrain Orca：從預測"下一個具體模態輸出"，走向預測"下一個世界狀態"。
悟界·RoboBrain Orca在看到一段視頻、一張圖、一個指令、一段事件描述后，先在內部形成一個統一的世界潛在表征空間。這個世界潛在表征空間就像AI的"腦海中的世界"，它把視覺、語言、事件、任務意圖等多模態的信號組織起來，學習物體如何運動、場景如何變化、動作會帶來什么后果、事件之間有什么因果關系；當前狀態如何走向未來狀態；甚至在某些條件下，世界會不會朝另一個方向演化。悟界·RoboBrain Orca的核心變化：從Next Token/Next Frame/Next Action，走向Next State Prediction。
悟界·RoboBrain Orca的技術哲學：先利用多模態世界信號學習世界表征，再做好一切任務
悟界·RoboBrain Orca把世界學習拆成了兩條互補路徑：無意識學習和有意識學習。
嬰兒會看到東西掉落，會看到人走動，會看到門被推開，會看到球滾到桌子下面。這些經驗不是通過標簽學習的，而是通過連續觀察自然世界獲得的。悟界·RoboBrain Orca的無意識學習也是如此，它客觀地看世界，通過海量真實世界的視頻，讓它先學會"世界自己怎么動"。悟界·RoboBrain Orca的有意識學習，即主觀地交互世界，就是用語言描述的事件、任務指令和VQA問答，幫助模型學習稀疏但有具體意義的狀態轉移。
12.5萬小時視頻，1.6億條事件標注，且預訓練持續Scaling。
悟界·RoboBrain Orca隨著訓練數據的增加，下游任務能力可隨之提升，且具備持續Scaling的潛力。悟界·RoboBrain Orca學到的表征可通過多種解碼器讀出。在文本讀出上，悟界·RoboBrain Orca更擅長狀態轉移的理解和動態運動的推理；在圖像讀出上，悟界·RoboBrain Orca更能展現真實場景的交互預測能力；在動作讀出上，悟界·RoboBrain Orca沒有在預訓練中學習動作標簽，也能幫助下游機器人更好地泛化。
悟界·RoboBrain Orca所代表的世界學習范式有可能從具身智能進一步走向科學發現、復雜系統建模乃至更廣闊的認知邊界。它是多模態表征世界模型的一個早期版本，但有可能成為通用世界基礎模型的一塊重要基石。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
