AI智能體構(gòu)建虛擬訓(xùn)練場(chǎng)，為機(jī)器人提供關(guān)鍵訓(xùn)練數(shù)據(jù)

如今，機(jī)器人行走在街頭的景象已不再罕見(jiàn)，引得路人駐足圍觀。然而，這些機(jī)器還遠(yuǎn)未達(dá)到在廚房或工廠中全能協(xié)作的水平，制約其發(fā)展的關(guān)鍵瓶頸之一正是數(shù)據(jù)。與人類的學(xué)習(xí)方式類似，機(jī)器人在實(shí)踐中學(xué)習(xí)效果最佳。但問(wèn)題在于，在不同場(chǎng)景下對(duì)機(jī)器進(jìn)行大量動(dòng)作的實(shí)體訓(xùn)練，既耗時(shí)又費(fèi)力。

"利用仿真環(huán)境作為訓(xùn)練場(chǎng)是一個(gè)自然而然的思路。過(guò)去幾年，驅(qū)動(dòng)機(jī)器人模擬器的物理引擎取得了長(zhǎng)足進(jìn)步，但現(xiàn)存挑戰(zhàn)之一仍是如何創(chuàng)建足夠豐富、多樣的仿真內(nèi)容，以還原真實(shí)世界的復(fù)雜性。"麻省理工學(xué)院（MIT）豐田電氣工程與計(jì)算機(jī)科學(xué)、航空航天及機(jī)械工程講席教授、MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）首席研究員羅斯·特德雷克（Russ Tedrake）如此表示。

事實(shí)證明，AI智能體——即能夠"思考"并完成特定任務(wù)的半自主程序——或許正是生成機(jī)器人所需逼真虛擬環(huán)境的關(guān)鍵。MIT CSAIL與豐田研究院的研究人員聯(lián)合開(kāi)發(fā)了一套名為"SceneSmith"的全新系統(tǒng)，借助三個(gè)智能體協(xié)作完成三維場(chǎng)景的物體擺放、墻體構(gòu)建及整體外觀呈現(xiàn)。該系統(tǒng)對(duì)餐廳、臥室、酒店等室內(nèi)空間的還原效果，比此前的方案更加逼真、細(xì)致，有助于機(jī)器人在真正上線之前練習(xí)技能、嘗試不同的任務(wù)執(zhí)行方式，從而為工程師節(jié)省大量實(shí)地測(cè)試的時(shí)間。

這三個(gè)智能體之所以能理解日常空間的"應(yīng)有樣子"，是因?yàn)樗鼈兏髯哉{(diào)用了一個(gè)名為視覺(jué)語(yǔ)言模型（VLM）的多模態(tài)系統(tǒng)，具體采用的是目前最先進(jìn)的VLM——GPT-5.2。該模型基于海量互聯(lián)網(wǎng)文本與圖像訓(xùn)練而成，能夠處理更多視覺(jué)提示。這一先進(jìn)模型賦予了每個(gè)智能體一定程度的空間認(rèn)知能力：首先，"設(shè)計(jì)師"智能體負(fù)責(zé)生成場(chǎng)景元素；接著，"評(píng)審師"判斷場(chǎng)景是否符合現(xiàn)實(shí)；最后，"協(xié)調(diào)者"統(tǒng)籌二者的往復(fù)交互，決定設(shè)計(jì)何時(shí)完成。三個(gè)VLM完成創(chuàng)作協(xié)作后，生成的場(chǎng)景可直接載入物理仿真軟件。

"我們發(fā)現(xiàn)，這套系統(tǒng)能夠像人類設(shè)計(jì)師一樣構(gòu)建三維場(chǎng)景。"MIT電氣工程與計(jì)算機(jī)科學(xué)博士生、CSAIL研究員尼古拉斯·普法夫（Nicholas Pfaff）表示，他是與特德雷克共同發(fā)表該研究論文的第一作者。"我們使用一款具備互聯(lián)網(wǎng)級(jí)先驗(yàn)知識(shí)的領(lǐng)先VLM生成了逾1300個(gè)場(chǎng)景，它創(chuàng)造出了令人嘆為觀止的多樣化布局。這些并不是我在提示詞中教給系統(tǒng)的——它完全是自主發(fā)揮的。"

與智能體對(duì)話

得益于VLM智能體，用戶可以向SceneSmith發(fā)出諸如"生成一個(gè)停放著汽車、擺有工作臺(tái)、角落里堆著輪胎、墻邊靠著梯子的車庫(kù)"的指令，隨即獲得一個(gè)對(duì)象豐富、供機(jī)器人自由探索的虛擬空間。與此前的方法相比，這些房間每個(gè)場(chǎng)景的物品數(shù)量多達(dá)六倍，非常適合訓(xùn)練機(jī)器人完成將杯子放進(jìn)水槽、把水果擺到盤子上、將飲料罐從貨架移至桌面等技能。

有了如此豐富的虛擬環(huán)境，研究人員無(wú)需在物理世界中反復(fù)試錯(cuò)，便可評(píng)估機(jī)器人是否具備實(shí)際部署的能力。研究團(tuán)隊(duì)在SceneSmith生成的數(shù)字世界中測(cè)試了多種行動(dòng)方案（又稱"策略"），共生成了100個(gè)獨(dú)特空間。VLM智能體對(duì)每次嘗試進(jìn)行評(píng)估后發(fā)現(xiàn)，機(jī)器人的方案存在明顯缺陷，機(jī)器在完成任務(wù)時(shí)頻頻失敗。人類評(píng)審員對(duì)該模型判斷結(jié)果的認(rèn)同率超過(guò)99%，這或?qū)椭鷻C(jī)器人工程師在機(jī)器人真正進(jìn)入現(xiàn)實(shí)世界之前，就在仿真環(huán)境中篩除有缺陷的方案。

那么，這些虛擬世界究竟有多真實(shí)？這一問(wèn)題難以直接證明，因此研究人員從多個(gè)角度加以驗(yàn)證。其中最具說(shuō)服力的測(cè)試是：將一個(gè)預(yù)訓(xùn)練的機(jī)器人策略——該AI控制器主要基于真實(shí)世界數(shù)據(jù)訓(xùn)練，從未見(jiàn)過(guò)任何SceneSmith生成的場(chǎng)景——投入生成的虛擬環(huán)境中運(yùn)行。在一項(xiàng)測(cè)試中，用戶指示系統(tǒng)"將蘋果從碗里取出放到砧板上"，仿真機(jī)器人完全按照指令完成了操作。如果這些場(chǎng)景與機(jī)器人策略所學(xué)習(xí)的真實(shí)環(huán)境差異顯著，這一結(jié)果根本不可能實(shí)現(xiàn)。

研究團(tuán)隊(duì)還通過(guò)遠(yuǎn)程操控，引導(dǎo)機(jī)器人在虛擬空間中開(kāi)關(guān)櫥柜、收納瓶子、穿行于不同房間。實(shí)驗(yàn)結(jié)果表明，這些虛擬環(huán)境能夠承受持續(xù)的物理交互，其可靠性已不僅限于視覺(jué)層面的檢驗(yàn)。

幕后機(jī)制

SceneSmith的每個(gè)智能體在生成流程中各司其職，逐步豐富場(chǎng)景細(xì)節(jié)，本質(zhì)上是先創(chuàng)建平面圖，再逐步賦予其生命。

以生成一棟住宅的一樓為例：首先，"設(shè)計(jì)師"VLM生成整體布局，由"評(píng)審師"進(jìn)行審核，再由"協(xié)調(diào)者"最終確認(rèn)。此后，智能體對(duì)每個(gè)步驟重復(fù)上述流程：依次添加家具、在墻面和天花板上布置物品，最后放入機(jī)器人可操作的對(duì)象。例如，VLM可以添加機(jī)器人能夠開(kāi)關(guān)的櫥柜——這類可動(dòng)部件是此前基準(zhǔn)方法鮮少涵蓋的內(nèi)容。

在每個(gè)階段，第二個(gè)VLM負(fù)責(zé)確保場(chǎng)景的合理性，例如建議將浴缸從客廳中移除；第三個(gè)VLM則把控整體質(zhì)量，必要時(shí)甚至?xí)⒃O(shè)計(jì)流程回退數(shù)步，直到視覺(jué)效果達(dá)標(biāo)。三個(gè)VLM完成創(chuàng)作協(xié)作后，物理世界的力學(xué)規(guī)律將通過(guò)仿真軟件被疊加至場(chǎng)景中。

憑借對(duì)房間外觀、物品擺放方式以及真實(shí)世界物理規(guī)律的深入理解，SceneSmith相較于此前方案具備明顯優(yōu)勢(shì)。與"HSM"和"Holodeck"等場(chǎng)景生成基準(zhǔn)方法相比，SceneSmith生成的環(huán)境包含更多物品，場(chǎng)景類型也更為多樣，涵蓋私人辦公室、陶瓷店，甚至Minecraft主題游戲室。

SceneSmith還贏得了逾200名用戶的青睞。超過(guò)90%的受測(cè)用戶認(rèn)為該系統(tǒng)生成的視覺(jué)效果更加逼真，并普遍認(rèn)為它比其他方法更能精準(zhǔn)遵循提示詞的要求。換言之，它是目前最善于生成用戶真正期望見(jiàn)到的虛擬訓(xùn)練場(chǎng)的系統(tǒng)。

多才多藝的系統(tǒng)

SceneSmith在真實(shí)感、多樣性和場(chǎng)景豐富度方面均表現(xiàn)出色，即便是生成單個(gè)三維物體也不例外。用戶可以提示它創(chuàng)建一輛滾輪服務(wù)推車，系統(tǒng)會(huì)先生成一張二維圖像，再將其轉(zhuǎn)化為帶有質(zhì)量、摩擦力、慣性等物理屬性的精細(xì)三維模型。

不過(guò)，如此精細(xì)的流程也帶來(lái)了速度上的取舍。由于智能體需要逐一生成并仔細(xì)審查每個(gè)物體，生成單個(gè)場(chǎng)景可能耗費(fèi)數(shù)小時(shí)。若計(jì)算資源得以增強(qiáng)，系統(tǒng)效率有望大幅提升。CSAIL工程師還希望在廣泛的三維資產(chǎn)庫(kù)建立之后，將系統(tǒng)擴(kuò)展至可形變物體（如海綿）的生成。

亞馬遜機(jī)器人部門應(yīng)用科學(xué)家杰里米·比納吉亞（Jeremy Binagia）未參與本研究，但他評(píng)價(jià)道："SceneSmith在這一領(lǐng)域?qū)崿F(xiàn)了重大突破——它提供了一個(gè)智能體框架，僅憑簡(jiǎn)單的文本提示即可生成可直接用于仿真的室內(nèi)環(huán)境。它在多個(gè)維度上推動(dòng)了技術(shù)進(jìn)步，包括突破仿真環(huán)境中物體密度的上限、確保所有物體在物理層面的精準(zhǔn)性（而非僅僅追求視覺(jué)逼真），以及生成不受固定資產(chǎn)庫(kù)限制的素材——因?yàn)檫@些素材可以通過(guò)文本轉(zhuǎn)三維的方式即時(shí)生成。"

本文作者除普法夫和特德雷克外，還包括MIT博士生、CSAIL研究員托馬斯·科恩（Thomas Cohn，SM '24），以及豐田研究院機(jī)器人工程師謝爾蓋·扎哈羅夫（Sergey Zakharov）和瑞克·科里（Rick Cory，SM '08，PhD '10）。該研究得到了亞馬遜、美國(guó)海軍研究辦公室、豐田研究院及美國(guó)國(guó)家科學(xué)基金會(huì)的部分資助。

研究團(tuán)隊(duì)已在上周舉辦的國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）上以焦點(diǎn)論文形式發(fā)布了這項(xiàng)成果。

Q&A

Q1：SceneSmith系統(tǒng)是如何生成三維場(chǎng)景的？

A：SceneSmith通過(guò)三個(gè)VLM智能體協(xié)作完成場(chǎng)景生成。"設(shè)計(jì)師"智能體負(fù)責(zé)生成場(chǎng)景元素，"評(píng)審師"判斷場(chǎng)景是否真實(shí)合理，"協(xié)調(diào)者"統(tǒng)籌前兩者的交互并決定何時(shí)完成設(shè)計(jì)。生成過(guò)程分階段推進(jìn)，依次完成整體布局、家具添加、墻面與天花板布置，以及可供機(jī)器人操作的對(duì)象放置，最終輸出可直接載入物理仿真軟件的完整場(chǎng)景。

Q2：SceneSmith生成的虛擬環(huán)境對(duì)機(jī)器人訓(xùn)練有什么實(shí)際幫助？

A：SceneSmith生成的場(chǎng)景每個(gè)包含的物品數(shù)量是此前方法的六倍，能幫助機(jī)器人練習(xí)取放物品等日常操作技能。研究團(tuán)隊(duì)將從未接觸過(guò)SceneSmith場(chǎng)景的預(yù)訓(xùn)練機(jī)器人策略放入生成環(huán)境中測(cè)試，機(jī)器人仍能成功完成任務(wù)，證明這些虛擬場(chǎng)景與真實(shí)環(huán)境高度相似。此外，系統(tǒng)可在機(jī)器人正式部署前篩除有缺陷的行動(dòng)方案，人類評(píng)審員對(duì)VLM判斷結(jié)果的認(rèn)同率超過(guò)99%。

Q3：SceneSmith和其他場(chǎng)景生成方法相比有哪些優(yōu)勢(shì)？

A：與"HSM"和"Holodeck"等基準(zhǔn)方法相比，SceneSmith生成的場(chǎng)景物品更多、類型更多樣，還能生成可動(dòng)部件（如可開(kāi)關(guān)的櫥柜）。超過(guò)200名用戶測(cè)試顯示，90%以上的用戶認(rèn)為SceneSmith的視覺(jué)效果更逼真，且更能精準(zhǔn)遵循用戶的文本提示。此外，SceneSmith生成的三維物體帶有質(zhì)量、摩擦力、慣性等物理屬性，不受固定資產(chǎn)庫(kù)限制。