北京
鳳凰網(wǎng)科技訊 7月14日，阿里巴巴旗下高德近日發(fā)布通用世界模型工坊ABot-World Studio，并開放測試。該產(chǎn)品將交互式視頻生成與3DGS場景生成整合至同一平臺，用戶輸入文字或圖片后，可生成支持實時操控、保存和分享的虛擬場景。
據(jù)高德介紹，ABot-World Studio可在單張英偉達(dá)RTX 5090顯卡上本地部署，生成結(jié)果能夠?qū)С鰹橐曨l或3DGS文件。目前，其底層ABot-World系列模型已開源，并在Reactor和Hugging Face平臺上線。
在長時序生成方面，ABot-World Studio的架構(gòu)未設(shè)置固定推理時長上限。高德稱，官方測試中，產(chǎn)品曾在單次任務(wù)中連續(xù)推理超過1小時，期間未出現(xiàn)崩潰或明顯質(zhì)量衰減。用戶可通過第一人稱或第三人稱視角控制移動，生成畫面會根據(jù)操作持續(xù)變化。
除交互式視頻外，ABot-World Studio還可直接生成具有幾何結(jié)構(gòu)和空間深度的3DGS場景。用戶能夠在生成空間中移動和探索，并將場景文件保存或分享，由此形成可持續(xù)積累的3D內(nèi)容庫。
該產(chǎn)品還加入了名為“時空任意門”的場景連接功能。用戶可在一個3D場景中設(shè)置入口，并將其連接至另一個生成場景，從而在不同虛擬空間之間切換。高德試圖借此解決交互式視頻難以長期保留、單個3D場景探索范圍有限等問題。
ABot-World Studio底層由ABot-World系列通用交互式世界模型提供支持，其中包括負(fù)責(zé)視頻生成的ABot-World0，以及負(fù)責(zé)3D生成的ABot-3DWorld0。
高德表示，ABot-World0將場景漫游和角色控制納入統(tǒng)一模型，通過算法優(yōu)化減少長時間生成中的誤差累積。ABot-3DWorld0則與此前發(fā)布的ABot-Earth0.5采用相同推理路徑，可覆蓋室內(nèi)、街景和城市航拍等不同尺度，并通過“生成、評估、修復(fù)”的模塊化流程改善場景質(zhì)量。
ABot-World系列模型均支持在單張消費(fèi)級GPU上完成本地推理，無需依賴專用服務(wù)器算力。用戶可通過ABot-World Studio測試網(wǎng)站體驗相關(guān)功能，也可從GitHub獲取已開源的模型代碼。
在應(yīng)用層面，高德將其定位于機(jī)器人仿真訓(xùn)練、游戲場景生成、影視分鏡制作以及文旅和教育內(nèi)容開發(fā)。例如，機(jī)器人開發(fā)者可使用生成場景搭建模擬訓(xùn)練環(huán)境，影視創(chuàng)作者則可將單視角素材轉(zhuǎn)化為可探索場景和多視角畫面。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
