登頂 ICML Oral ！專訪上交大團(tuán)隊(duì)：這個(gè) 3D 自動(dòng)標(biāo)注 AI 太強(qiáng)了

3D空間數(shù)據(jù)的瓶頸，從來(lái)不是算法，而是標(biāo)注。

作者丨張 璐

編輯丨齊鋮湧

一段普通的室內(nèi)視頻，讓以前的AI識(shí)別，十樣?xùn)|西能認(rèn)錯(cuò)八樣；現(xiàn)在再看，準(zhǔn)確率直接飆升到81.06%。

這種飛躍，沒(méi)靠激光雷達(dá)，也沒(méi)靠人工標(biāo)注，全憑AI自己開(kāi)悟。

這是Holi-Spatial在ScanNet++上的實(shí)測(cè)結(jié)果。該項(xiàng)工作由全華人頂尖團(tuán)隊(duì)打造，論文已入選ICML 2026 Oral

Holi-Spatial與現(xiàn)有方法的核心指標(biāo)對(duì)比。無(wú)需人工標(biāo)注，3D檢測(cè)AP50在ScanNet上提升64%。

https://openreview.net/forum?id=UGAP2F6FfV

傳統(tǒng)的3D空間數(shù)據(jù)，獲取成本高得驚人。

硬件上依賴昂貴的激光雷達(dá)，標(biāo)注上更是個(gè)體力活——標(biāo)注員必須在復(fù)雜的3D點(diǎn)云里，人眼識(shí)別、手動(dòng)調(diào)整每一個(gè)物體的三維邊界框（Bounding Box）。

工序極其繁瑣，錯(cuò)標(biāo)、漏標(biāo)更是家常便飯。

這是整個(gè)行業(yè)卡了十年的硬傷。Holi-Spatial用純軟件管線繞開(kāi)了這堵墻。

01

3D標(biāo)注為什么卡了整個(gè)行業(yè)十年？

長(zhǎng)期以來(lái)，業(yè)內(nèi)在訓(xùn)練多模態(tài)大模型（VLM）時(shí)，大多是投機(jī)取巧。比如以偽深度信息替代真實(shí)幾何信息，或者直接在2D圖像上生成“偽3D”的問(wèn)答對(duì)。

這種方法訓(xùn)練出來(lái)的AI，根本無(wú)法理解三維空間中的拓?fù)浣Y(jié)構(gòu)、視角轉(zhuǎn)換和相對(duì)距離。所以你問(wèn)他問(wèn)題，它只能瞎猜。

想要培養(yǎng)出真正的3D上帝視角，就必須擁有大規(guī)模的3D真值（Ground Truth）數(shù)據(jù)。然而，3D標(biāo)注的成本高得令人發(fā)指。

1.設(shè)備門檻高：需要利用專業(yè)的三維掃描儀（如iPad Pro的LiDAR或更專業(yè)的工業(yè)掃描儀）在房間里四處走動(dòng)掃描，光是數(shù)據(jù)采集階段就卡死了大部分普通開(kāi)發(fā)者。

2.人工標(biāo)注難：在三維點(diǎn)云（Point Clouds）或網(wǎng)格（Meshes）中拉3D包圍框（Bounding Box），不僅需要標(biāo)注員在三維軟件里上下左右不斷調(diào)整切面，而且極其容易產(chǎn)生視覺(jué)疲勞，漏標(biāo)、錯(cuò)標(biāo)是家常便飯。

3.語(yǔ)義范圍窄：ScanNet數(shù)據(jù)集折騰了幾年，最終也只敢提供50個(gè)常見(jiàn)物體的類別標(biāo)注，一旦遇到冷門物體，AI的識(shí)別能力直接生效。

學(xué)術(shù)界曾嘗試用現(xiàn)成的“前向傳播算法（Feed-forward Models）”直接預(yù)測(cè)物體的三維包圍框。但在沒(méi)有幾何約束的前提下，這些模型生成的包圍框往往飄在半空中或者陷進(jìn)地板里，完全違背了基本的物理定律。

既然人工標(biāo)注走不通，而單純靠AI算法直接盲猜又不夠準(zhǔn)，我們?yōu)槭裁床话堰@兩者的優(yōu)勢(shì)結(jié)合起來(lái)，用幾何物理規(guī)律去糾正AI的猜測(cè)，打造一個(gè)完全自動(dòng)化的數(shù)據(jù)飛輪？

這就是Holi-Spatial的誕生契機(jī)。通過(guò)組合目前最先進(jìn)的3D幾何重構(gòu)算法與大語(yǔ)言模型，它成功用純軟件的方式，將海量的2D網(wǎng)頁(yè)視頻流（Web Videos），高效且低成本地進(jìn)化為結(jié)構(gòu)化的3D空間智能數(shù)據(jù)。

Holi-Spatial三階段數(shù)據(jù)精煉管線：幾何優(yōu)化→圖像級(jí)感知→場(chǎng)景級(jí)精煉，視頻進(jìn)，3D標(biāo)注出。

02

拆解Holi-Spatial：3步，

把普通視頻變成精確的3D場(chǎng)景

Holi-Spatial之所以能做到“零人工干預(yù)”，全憑其設(shè)計(jì)精妙的三階段數(shù)據(jù)精煉管線。

▎Stage 1：幾何級(jí)優(yōu)化（Geometric Optimization）

在處理視頻時(shí)，管線首先利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure-from-Motion）計(jì)算出相機(jī)的精確內(nèi)參和外參。緊接著，算法引入了單目深度估計(jì)模型Depth-Anything-V3作為深度先驗(yàn)。

單目深度估計(jì)（DA3）與GS優(yōu)化深度的對(duì)比。DA3深度圖存在明顯鬼影，GS優(yōu)化后邊界清晰。

但單目模型估計(jì)出的深度往往充斥著噪聲和突變，不同視角之間的深度甚至無(wú)法對(duì)齊。為了消除這些不確定性，Holi-Spatial在此處引入了三維高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)。

算法將前向深度圖與多視角渲染深度進(jìn)行幾何一致性約束，在連續(xù)的視頻幀中優(yōu)化數(shù)百萬(wàn)個(gè)具有不透明度和顏色特征的“高斯點(diǎn)”。這一步優(yōu)化，幾乎完全消除了邊緣的“虛影”和半空中的飄浮物，為后續(xù)的3D投影打下了堅(jiān)實(shí)的物理地基。

多視角反投影點(diǎn)云對(duì)比。左為DA3直出，右為GS優(yōu)化后——漂浮物幾乎消失。

▎Stage 2：圖像級(jí)感知與2D-to-3D升維（Image-level Perception & Lifting）

有了干凈的幾何深度后，管線開(kāi)始進(jìn)行圖像級(jí)的語(yǔ)義感知。

1.幀級(jí)圖像描述：算法在視頻中均勻抽取關(guān)鍵幀，利用Gemini3-Pro這類強(qiáng)大的2D多模態(tài)模型對(duì)畫面進(jìn)行細(xì)致描述。

2.構(gòu)建動(dòng)態(tài)類名記憶庫(kù)（Dynamic Class-label Memory）：為了防止AI在第1幀把桌子認(rèn)成“寫字臺(tái)”，在第5幀又認(rèn)成“餐桌”，Holi-Spatial設(shè)計(jì)了一個(gè)動(dòng)態(tài)記憶鏈條，強(qiáng)制各幀在類別命名上保持一致。

3.2D分割與3D投影：在類名指引下，2D分割界的新星SAM3生成極高質(zhì)量的實(shí)例面具（Mask），然后順著第一階段計(jì)算出的幾何深度，將每一個(gè)2D像素“反向投影（Back-project）”回3D空間中，生成初始的三維定向包圍框（OBB）。

2D Mask到3D包圍框的四步流程：深度投影→邊緣腐蝕→離群點(diǎn)過(guò)濾→OBB估計(jì)

在這項(xiàng)將2D面具提升到3D的過(guò)程中，SAM3容易產(chǎn)生邊緣鋸齒，進(jìn)而引發(fā)3D包圍框的嚴(yán)重偏差。

為了攻克這一頑疾，Holi-Spatial設(shè)計(jì)了一套獨(dú)特的“邊緣腐蝕”策略：在投影前，自動(dòng)將2D面具向內(nèi)收縮若干像素，只保留最置信的核心區(qū)域。同時(shí)，結(jié)合多視角生成的點(diǎn)云一致性濾網(wǎng)，徹底過(guò)濾掉突兀的離群點(diǎn)， 將3D包圍框的邊緣誤差壓縮到亞像素級(jí)別。

開(kāi)放詞匯2D實(shí)例分割對(duì)比。Holi-Spatial在遮擋場(chǎng)景下邊界更完整，遠(yuǎn)處鏡子等難例也能正確分割。

▎Stage 3：場(chǎng)景級(jí)精煉與AI Agent“監(jiān)考制”（Scene-level Refinement）

多視角投影出來(lái)的3D包圍框，不可避免地會(huì)存在重疊和碎片化（例如一個(gè)沙發(fā)因?yàn)楸徊糠终趽酰诲e(cuò)判成了兩個(gè)不相連的組件）。

為了解決這個(gè)問(wèn)題，管線首先利用3D交并比（3D IoU）閾值（τmerge=0.2）將空間重疊度高的同類候選框合并。接著，算法祭出了極具新意的三級(jí)決策過(guò)濾器（Tri-level Decision Rule）：

置信度高于0.9的，直接保留；低于0.8的，直接丟棄。而對(duì)于介于兩者之間、模糊不清的，Holi-Spatial會(huì)調(diào)用一個(gè)由強(qiáng)大多模態(tài)大模型擔(dān)任的AI Agent進(jìn)行人工式的核查。

這個(gè)智能體配備了“局部圖像縮放”和“重新分割”工具對(duì)細(xì)節(jié)進(jìn)行二次確認(rèn)，極大拉升了數(shù)據(jù)的準(zhǔn)確率與召回率。

場(chǎng)景級(jí)精煉的逐步效果。從原始DA3深度到置信度過(guò)濾再到Agent召回，精度和召回率同步提升。

最后，確定下來(lái)的3D實(shí)體會(huì)被送進(jìn)Qwen3-VL-30B中，自動(dòng)生成對(duì)應(yīng)的長(zhǎng)文本描述，并基于模板批量合成空間QA問(wèn)答對(duì)。

ScanNet++上3D檢測(cè)結(jié)果對(duì)比。Holi-Spatial的包圍框更緊，類別標(biāo)注更準(zhǔn)，前三行基線方法漏檢明顯。

其他方法要么缺深度、要么缺 3D Det、要么缺 Grounding，只有 Holi-Spatial 一行全是 ?，優(yōu)勢(shì)一目了然。

各方法輸入輸出能力對(duì)比。只有Holi-Spatial同時(shí)覆蓋深度、

2D分割、3D檢測(cè)、Grounding和空間QA五項(xiàng)任務(wù)。

03

無(wú)硬件、無(wú)標(biāo)注，

Holi-Spatial重新定義了3D數(shù)據(jù)的獲取方式

Holi-Spatial之所以能引發(fā)如此大的關(guān)注，是因?yàn)樗瑫r(shí)回應(yīng)了兩個(gè)長(zhǎng)期懸而未決的行業(yè)判斷。

第一個(gè)來(lái)自斯坦福大學(xué)教授、World Labs聯(lián)合創(chuàng)始人李飛飛。

2025年11月，李飛飛發(fā)表長(zhǎng)文《From Words to Worlds: Spatial Intelligence is AI's Next Frontier》，文中明確提出：真正的智能不能只停留在語(yǔ)言層面，AI必須理解并駕馭三維物理世界——感知物體的位置、推理空間關(guān)系、預(yù)測(cè)物理交互。

在她看來(lái)，空間智能是通往具身智能的必經(jīng)之路，也是當(dāng)前AI系統(tǒng)普遍缺失的核心能力。

Holi-Spatial正好在數(shù)據(jù)層面回應(yīng)了這個(gè)判斷。它證明了AI不需要依賴昂貴的硬件掃描儀，只靠普通的2D視頻輸入，就能自動(dòng)生成大規(guī)模、高精度的3D空間標(biāo)注數(shù)據(jù)——這恰恰是空間智能研究長(zhǎng)期缺少的原料。

第二個(gè)來(lái)自Karpathy，Tesla前AI負(fù)責(zé)人。

在2021年Tesla AI Day上，Karpathy公開(kāi)談到：人工標(biāo)注成本極高且難以擴(kuò)展，Tesla不得不建立一套用車隊(duì)數(shù)據(jù)自動(dòng)生成標(biāo)注的閉環(huán)機(jī)制來(lái)代替人工。他的判斷是，自動(dòng)標(biāo)注不是權(quán)宜之計(jì)，而是AI大規(guī)模擴(kuò)展的必要條件。

Holi-Spatial的邏輯與這套判斷完全一致。區(qū)別只在于，Tesla解決的是2D駕駛場(chǎng)景的標(biāo)注瓶頸，Holi-Spatial解決的是3D室內(nèi)空間的標(biāo)注瓶頸——而后者的難度和價(jià)值，要高出一個(gè)量級(jí)。

04

3D檢測(cè)精度斷層領(lǐng)先，

但是只能處理靜止畫面

那么，這套全自動(dòng)管線提煉出來(lái)的數(shù)據(jù)，成色究竟如何？

聯(lián)合團(tuán)隊(duì)在ScanNet++等多個(gè)最權(quán)威的3D空間智能基準(zhǔn)上進(jìn)行了嚴(yán)苛的量化測(cè)試。實(shí)驗(yàn)數(shù)據(jù)呈現(xiàn)出了近乎斷層的領(lǐng)先：

在最核心的3D目標(biāo)檢測(cè)任務(wù)中，此前最先進(jìn)的3D多模態(tài)模型LLaVA-3D在ScanNet++上的AP25僅為12.2%，AP50僅為4.80%。

而經(jīng)過(guò)Holi-Spatial自動(dòng)管線訓(xùn)練出來(lái)的模型，其AP25飆升到了驚人的 81.06%，AP50達(dá)到了 70.05%！在沒(méi)有人工標(biāo)注參與的前提下，其感知精度相比前代技術(shù)暴漲了5倍以上。

不僅如此，在空間推理問(wèn)答任務(wù)中，利用Holi-Spatial-4M數(shù)據(jù)集微調(diào)后的Qwen3-VL-8B，在MindCube基準(zhǔn)上的準(zhǔn)確率從29.4%暴漲至49.1%，提升了近20個(gè)百分點(diǎn)；在3D Grounding任務(wù)上，AP50也直接實(shí)現(xiàn)了翻倍增長(zhǎng)。

然而，在這份近乎完美的成績(jī)單背后，我們也需要保持客觀冷靜的學(xué)界思考。

Holi-Spatial的數(shù)據(jù)生成管線目前建立在一個(gè)非常溫和的“靜態(tài)烏托邦”假設(shè)之上——靜態(tài)室內(nèi)環(huán)境（Static Indoor Environment）。

整個(gè)管線底層的SfM運(yùn)動(dòng)恢復(fù)和3DGS幾何重建，均假定畫面中的沙發(fā)、茶幾、墻面等所有物體在視頻拍攝期間是絕對(duì)靜止不動(dòng)的。這意味著：

1.無(wú)法處理動(dòng)態(tài)畫面：如果輸入的視頻中包含走動(dòng)的人、奔跑的寵物，或者正在移動(dòng)的車輛，底層的3DGS就會(huì)產(chǎn)生嚴(yán)重的“重影（Ghosting）”和半空虛影，導(dǎo)致投影出的3D包圍框徹底變形。

2.算力開(kāi)銷巨大：由于每個(gè)視頻場(chǎng)景都需要從頭訓(xùn)練一次3DGS（Per-scene Optimization），其算力成本和處理時(shí)間極高，目前還無(wú)法做到實(shí)時(shí)、移動(dòng)端的在軌標(biāo)注。

但這并不妨礙Holi-Spatial成為空間智能領(lǐng)域的里程碑式工作。隨著4D高斯（4D-GS）以及動(dòng)態(tài)變形場(chǎng)技術(shù)在學(xué)術(shù)界的快速演進(jìn)，當(dāng)算法能夠自動(dòng)將“運(yùn)動(dòng)的貓咪”與“靜止的客廳”完美剝離時(shí)，Holi-Spatial所描繪的“數(shù)據(jù)飛輪”必將爆發(fā)出更恐怖的能量。

大模型在2D紙上談兵的時(shí)代正在終結(jié)，一個(gè)能夠真正看懂、聽(tīng)懂并走入三維物理世界的“具身AI”時(shí)代，正在加速向我們走來(lái)。

05

對(duì)話Holi-Spatial團(tuán)隊(duì)：

用AI超越人類標(biāo)注的靈感與野心

在這項(xiàng)入選ICML 2026 Oral的重磅工作背后，是一支充滿活力的年輕科研力量。

為了進(jìn)一步探尋Holi-Spatial誕生的臺(tái)前幕后，以及空間智能的未來(lái)演進(jìn)，我們與上海交通大學(xué)人工智能學(xué)院副教授、Holi-Spatial團(tuán)隊(duì)負(fù)責(zé)人鐘志航展開(kāi)了一場(chǎng)深度對(duì)話。

▎Q：論文提到，目前空間智能嚴(yán)重受限于場(chǎng)景單一和數(shù)據(jù)稀缺。為什么這次會(huì)想到讓AI和各種工具進(jìn)行系統(tǒng)性結(jié)合，甚至去挑戰(zhàn)超越人類的自動(dòng)標(biāo)注？這個(gè)靈感的源頭是什么？

A：這個(gè)靈感并不是憑空出現(xiàn)的，更多是源于我們團(tuán)隊(duì)長(zhǎng)期的技術(shù)積累。我們下面有一個(gè)Team原本就是專門做3D和4D重建的。可以發(fā)現(xiàn)，這兩年的CVPR Best Paper幾乎都頒給了前向3D或4D重建相關(guān)的工作。但這一類幾何重建工作，跟基于大模型的空間智能之間，過(guò)去的隔閡很大，幾乎沒(méi)有什么交集。

直到去年和今年，我們突然意識(shí)到，隨著3D/4D重建管線的發(fā)展，再加上SAM3等語(yǔ)義處理工具的日趨成熟，這些工具的能力其實(shí)已經(jīng)跨過(guò)了某個(gè)臨界點(diǎn)。它們已經(jīng)足夠強(qiáng)大到可以串聯(lián)起來(lái)，反過(guò)來(lái)去為多模態(tài)大模型“造”數(shù)據(jù)——特別是造出帶有3D語(yǔ)義的高質(zhì)量數(shù)據(jù)，去培養(yǎng)AI的空間感知和規(guī)劃能力。在動(dòng)手做之前我們其實(shí)也只有八成把握，但實(shí)際跑完整個(gè)管線后發(fā)現(xiàn)，在Agent的輔助下，這些零散的工具組合起來(lái)，在很多場(chǎng)景下產(chǎn)出的數(shù)據(jù)質(zhì)量確實(shí)大于等于人類標(biāo)注的水平。

▎Q：作為一個(gè)復(fù)雜的系統(tǒng)工程，在構(gòu)建這個(gè)“數(shù)據(jù)飛輪”的過(guò)程中，有沒(méi)有遇到什么出乎意料的挑戰(zhàn)？

A：坦白講，因?yàn)檫@是一個(gè)偏系統(tǒng)工程的項(xiàng)目，碰到的很多挑戰(zhàn)其實(shí)是“分布式”的，比如怎么hold住如此龐大的海量數(shù)據(jù)、怎么提升重建管線的整體效率等等，里面充斥著大量細(xì)枝末節(jié)的工程問(wèn)題，并沒(méi)有某一個(gè)特別卡脖子的絕對(duì)難點(diǎn)。

如果說(shuō)有什么最讓人意外的，那就是現(xiàn)在“Vibe Coding（氛圍編碼）”的工具和Agent能力太強(qiáng)了。我們這個(gè)工作從去年底開(kāi)始做，整個(gè)研發(fā)過(guò)程中Vibe Coding的占比成分非常大。那些原本需要耗費(fèi)大量精力去啃的工程細(xì)節(jié)和零碎的dirty work，Agent都能很好地輔助我們完成。這極大地釋放了生產(chǎn)力，也是我們能高效拼出這條完整管線的重要原因。

▎Q：論文的局限性部分提到，這種開(kāi)放詞匯的語(yǔ)義標(biāo)注可能會(huì)繼承基座模型本身的偏見(jiàn)和錯(cuò)誤。如果把它應(yīng)用到更垂直的場(chǎng)景，這種偏見(jiàn)會(huì)如何表現(xiàn)？未來(lái)該怎么克服？

A：我們文章里說(shuō)的bias（偏見(jiàn)），準(zhǔn)確地說(shuō)是指在某些偏長(zhǎng)尾的垂直領(lǐng)域，現(xiàn)有的通用基座模型會(huì)直接“抓瞎”或者識(shí)別錯(cuò)誤。

舉個(gè)例子，比如在我們做化學(xué)或生物實(shí)驗(yàn)的實(shí)驗(yàn)室環(huán)境里，里面會(huì)有各種各樣特定型號(hào)、特定名稱的燒杯。你如果把這種高度專業(yè)的畫面交給SAM3或者通用的多模態(tài)大模型，它們是根本搞不定的。所以，現(xiàn)有的管線在客廳、臥室這種General（通用）的場(chǎng)景下非常work，但到了垂直細(xì)分領(lǐng)域確實(shí)存在難度。不過(guò)，現(xiàn)在大家也在如火如荼地搞工業(yè)大模型、自動(dòng)化實(shí)驗(yàn)室模型，隨著這些垂直模塊的成熟，把它們嵌進(jìn)管線里，這種長(zhǎng)尾語(yǔ)義的偏見(jiàn)和識(shí)別瓶頸就會(huì)被逐步克服。

▎Q：目前Holi-Spatial主要基于靜態(tài)室內(nèi)視頻。如果未來(lái)想把這套管線擴(kuò)展到更宏大的室外開(kāi)放世界（比如有行人、車輛的高動(dòng)態(tài)場(chǎng)景），現(xiàn)有的技術(shù)架構(gòu)需要做出哪些攻堅(jiān)？

A：這是一個(gè)非常好的科研和技術(shù)問(wèn)題，實(shí)際上我們團(tuán)隊(duì)已經(jīng)在朝著這兩個(gè)方向布局了。

首先是觀測(cè)條件的“非完美”問(wèn)題。現(xiàn)實(shí)中往往存在動(dòng)作模糊、天氣不好有煙霧、或者光照太暗的情況。針對(duì)這種降級(jí)的魯棒性問(wèn)題，我們已經(jīng)做了一項(xiàng)新工作掛在ArXiv上了，專門讓管線去模擬各種不完美的模糊觀察，以此來(lái)訓(xùn)練大模型的空間魯棒性。

其次是室外的大場(chǎng)景和動(dòng)態(tài)4D環(huán)境。室外環(huán)境非常開(kāi)放，做過(guò)3D高斯的人都知道，前期的點(diǎn)云處理和深度估計(jì)在室外極其困難，而且網(wǎng)絡(luò)視頻的拍攝視角往往很稀疏，拍一圈根本覆蓋不到所有角落。對(duì)此，我們正在嘗試將重建手段與生成式模型結(jié)合，來(lái)攻克室外的稀疏難題。同時(shí)，針對(duì)行人和車輛，我們的學(xué)生也正在嘗試搭建4D高斯的管線。只有當(dāng)數(shù)據(jù)從靜態(tài)走向物理意義上的“可交互”，批量產(chǎn)出可交互的4D空間數(shù)據(jù)，才能真正意義上全面賦能具身智能。

▎Q：論文的影響聲明中特別提到了隱私保護(hù)。如果未來(lái)全自動(dòng)3D重建的門檻和算力成本進(jìn)一步降低，一段無(wú)意間流傳的視頻就可能把個(gè)人的私密空間摸得一清二楚。您如何看待大規(guī)模重建與用戶隱私之間的界限？

A：這確實(shí)是一個(gè)很有意思的話題。一個(gè)人的房間布局、物品擺放，其實(shí)能反映出很多個(gè)人信息，甚至能看出你的性格和“家裝MBTI”。

如果是用戶自己拍攝并上傳的視頻，大家自然會(huì)從自身角度保護(hù)好隱私。但我認(rèn)為更值得思考的，是未來(lái)的具身設(shè)備，比如無(wú)時(shí)無(wú)刻不在陪伴你的家庭服務(wù)機(jī)器人、掃地機(jī)器人或者室內(nèi)無(wú)人機(jī)。它們?cè)诜?wù)你的同時(shí)，確實(shí)有可能主動(dòng)獲取一些不該獲取的場(chǎng)景隱私。如何防范這種主動(dòng)式的設(shè)備泄密，將是未來(lái)的具身智能硬件廠商和公司需要深度思考與限制的端側(cè)底線問(wèn)題。

▎Q：在你們的設(shè)想中，當(dāng)這樣具備強(qiáng)大空間智能的大模型，真正裝進(jìn)智能機(jī)器人的身體里，它為社會(huì)帶來(lái)的第一個(gè)應(yīng)用場(chǎng)景會(huì)是什么？

A：如果空間智能的基座模型真的訓(xùn)得足夠好了，第一應(yīng)用場(chǎng)景絕對(duì)是機(jī)器人。不過(guò)，目前第一版的Holi-Spatial所做的事情還遠(yuǎn)遠(yuǎn)不夠，它現(xiàn)在能實(shí)現(xiàn)的，更多是不需要物理交互的空間規(guī)劃、判斷或理解。

如果只基于現(xiàn)階段的能力，它能裝進(jìn)設(shè)備里幫我們做些什么？也許是把你整個(gè)家掃一圈后，Maybe它能突然提醒你：“有一把鑰匙或者玩具掉在某個(gè)平時(shí)看不見(jiàn)的角落里了”，幫你把找不著的東西揪出來(lái)。但要真正走向具身智能，它必須學(xué)會(huì)和環(huán)境交互——比如我渴了，它能走過(guò)去打開(kāi)冰箱，精準(zhǔn)地拿出一杯冰可樂(lè)。這就需要我們正在攻堅(jiān)的“物理意義上可交互的空間數(shù)據(jù)”。

▎Q：最后，作為這篇優(yōu)秀工作背后的掌舵人，有什么想對(duì)關(guān)注空間智能領(lǐng)域的年輕后浪們說(shuō)的嗎？

A：空間智能和世界模型這兩年之所以這么火，是因?yàn)橐郧白霾坏剑绷颂嗷A(chǔ)工具。如今隨著3DGS、4D高斯等新表達(dá)的出現(xiàn)，工具鏈慢慢全了，大家自然而然都會(huì)著手往這個(gè)方向涌入。

我們團(tuán)隊(duì)非常年輕，我是2026年3月剛?cè)肼毶虾＝煌ù髮W(xué)人工智能學(xué)院的。誰(shuí)會(huì)拒絕更優(yōu)秀的碩士和博士生呢？（笑）我們?cè)谶@個(gè)方向上還有很大的野心和很多好玩的Idea，非常歡迎對(duì)空間智能、三維多模態(tài)感興趣的優(yōu)秀同學(xué)聯(lián)系我，無(wú)論是實(shí)習(xí)還是申請(qǐng)碩博，我們一起去探索真正的具身世界。

一個(gè)人讀論文太孤單，一群人刷頂會(huì)才好玩。

ICML 2026召開(kāi)在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實(shí)時(shí)論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進(jìn)群傳送門：掃碼進(jìn)群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來(lái)，一起快人一步！

上車，帶你看遍全球 AI 頂會(huì)精華

可獨(dú)家暢覽：

專家演講PPT

大會(huì)報(bào)告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。