【TechWeb】7月14日消息,近日,阿里巴巴集團(tuán)旗下高德正式發(fā)布通用世界模型工坊ABot-World Studio,并同步開放測試。該工坊將交互式視頻生成與3DGS場景生成統(tǒng)一在同一產(chǎn)品中——用戶只需輸入一段文字或一張圖片,即可生成一個(gè)可實(shí)時(shí)交互、任意分享的AI世界,輸出結(jié)果可保存為視頻與3DGS文件。
據(jù)介紹,ABot-World Studio可在單張5090上進(jìn)行本地部署。該產(chǎn)品在架構(gòu)層面不設(shè)推理時(shí)長上限,官方實(shí)測中,單次連續(xù)推理已穩(wěn)定運(yùn)行超過1小時(shí)且未出現(xiàn)崩潰或質(zhì)量衰減,超同類世界模型約1分鐘的生成上限。
當(dāng)前,世界模型存在多條完全不同的技術(shù)路徑:交互式視頻生成,側(cè)重沉浸感和交互性,但視頻生成后交互即結(jié)束,用戶無法持續(xù)探索;3D場景生成聚焦于構(gòu)建高保真的空間資產(chǎn),但世界之間缺少連續(xù)性,探索范圍受限于單一場景。兩者本質(zhì)上仍停留在“一段視頻”或“一個(gè)場景”的范式內(nèi)。ABot-World Studio 首次將二者統(tǒng)一,同時(shí)實(shí)現(xiàn)了實(shí)時(shí)探索與永久記憶。
在交互式視頻生成方面,ABot-World Studio 解決了傳統(tǒng)視頻模型長時(shí)序易崩壞的問題。工坊在確保畫面與首幀畫質(zhì)相當(dāng)?shù)那疤嵯拢С殖^一小時(shí)的第一人稱與第三人稱長時(shí)推理。此外,由于模型對(duì)真實(shí)物理規(guī)則的高度還原,其生成的世界不再是被動(dòng)播放的像素流,而是能跟隨用戶的每一個(gè)動(dòng)作實(shí)時(shí)演化與反饋,真正實(shí)現(xiàn)對(duì)世界的預(yù)測和精準(zhǔn)操控。
在3D場景生成方面,工坊原生輸出具備真實(shí)幾何結(jié)構(gòu)的3DGS空間資產(chǎn)。生成的世界既擁有照片級(jí)視覺保真度,也具備可感知的空間深度與物理邊界,用戶可以自由進(jìn)行空間探索。所有生成的3D世界均可保存與分享,構(gòu)建起一個(gè)開放的公共世界庫。
在此基礎(chǔ)上,工坊在每個(gè)3D世界中原生嵌入了“任意門”機(jī)制——用戶可以在江南水鄉(xiāng)的木門后鏈接一座賽博城市,或讓風(fēng)陵渡的渡口直通雁門關(guān)的關(guān)隘,通過空間傳送將原本孤立的場景編織成一張無界的探索網(wǎng)絡(luò)。
ABot-World Studio的領(lǐng)先體驗(yàn),得益于底層的 ABot-World系列通用交互式世界模型。該系列包含 ABot-World0(視頻生成)與 ABot-3DWorld0(3D生成)兩大模型。目前,ABot-World 系列模型已全面開源。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.