北京
本報記者 張偉
大語言模型學(xué)會了預(yù)測“下一個詞”，于是有了會寫代碼、會做題、會對話的ChatGPT、DeepSeek、Qwen。視頻生成模型學(xué)會了預(yù)測“下一幀”，于是有了越來越逼真的圖像和視頻生成模型，例如Seedance、Sora。具身模型學(xué)會了預(yù)測“下一個動作”，于是機(jī)器人開始能完成越來越復(fù)雜的任務(wù)。
日前，記者從北京智源研究院了解到，悟界·RoboBrain Orca的目標(biāo)是做一件更底層的事：讓AI在“腦海中”形成一個表征，該表征是對當(dāng)前世界狀態(tài)的高度“濃縮”，基于該表征，AI能夠建模向前和向后世界狀態(tài)的演變。這就是悟界·RoboBrain Orca作為“多模態(tài)表征世界模型”的核心哲學(xué)：The World is in Your Mind。
據(jù)介紹，悟界·RoboBrain Orca在看到一段視頻、一張圖、一個指令、一段事件描述后，先在內(nèi)部形成一個統(tǒng)一的世界潛在表征空間。這個世界潛在表征空間就像AI的“腦海中的世界”，它把視覺、語言、事件、任務(wù)意圖等多模態(tài)的信號組織起來，學(xué)習(xí)物體如何運(yùn)動、場景如何變化、動作會帶來什么后果、事件之間有什么因果關(guān)系；當(dāng)前狀態(tài)如何走向未來狀態(tài)；甚至在某些條件下，世界會不會朝另一個方向演化。悟界·RoboBrain Orca的核心變化：從Next Token/Next Frame/Next Action，走向Next State Prediction。
與此同時，悟界·RoboBrain Orca把世界學(xué)習(xí)拆成了兩條互補(bǔ)路徑：無意識學(xué)習(xí)和有意識學(xué)習(xí)。
嬰兒會看到東西掉落，會看到人走動，會看到門被推開，會看到球滾到桌子下面。這些經(jīng)驗(yàn)不是通過標(biāo)簽學(xué)習(xí)的，而是通過連續(xù)觀察自然世界獲得的。悟界·RoboBrain Orca的無意識學(xué)習(xí)也是如此，它客觀地看世界，通過海量真實(shí)世界的視頻，讓它先學(xué)會“世界自己怎么動”。悟界·RoboBrain Orca的有意識學(xué)習(xí)，即主觀地交互世界，就是用語言描述的事件、任務(wù)指令和VQA問答，幫助模型學(xué)習(xí)稀疏但有具體意義的狀態(tài)轉(zhuǎn)移。
此外，悟界·RoboBrain Orca隨著訓(xùn)練數(shù)據(jù)的增加，下游任務(wù)能力可隨之提升，且具備持續(xù)Scaling的潛力。悟界·RoboBrain Orca學(xué)到的表征可通過多種解碼器讀出。在文本讀出上，悟界·RoboBrain Orca更擅長狀態(tài)轉(zhuǎn)移的理解和動態(tài)運(yùn)動的推理；在圖像讀出上，悟界·RoboBrain Orca更能展現(xiàn)真實(shí)場景的交互預(yù)測能力；在動作讀出上，悟界·RoboBrain Orca沒有在預(yù)訓(xùn)練中學(xué)習(xí)動作標(biāo)簽，也能幫助下游機(jī)器人更好地泛化。
據(jù)悉，悟界·RoboBrain Orca所代表的世界學(xué)習(xí)范式有可能從具身智能進(jìn)一步走向科學(xué)發(fā)現(xiàn)、復(fù)雜系統(tǒng)建模乃至更廣闊的認(rèn)知邊界。它是多模態(tài)表征世界模型的一個早期版本，但有可能成為通用世界基礎(chǔ)模型的一塊重要基石。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
