登頂 ICML Oral ！專訪上交大團隊：這個 3D 自動標注 AI 太強了

3D空間數據的瓶頸，從來不是算法，而是標注。

作者丨張 璐

編輯丨齊鋮湧

一段普通的室內視頻，讓以前的AI識別，十樣東西能認錯八樣；現在再看，準確率直接飆升到81.06%。

這種飛躍，沒靠激光雷達，也沒靠人工標注，全憑AI自己開悟。

這是Holi-Spatial在ScanNet++上的實測結果。該項工作由全華人頂尖團隊打造，論文已入選ICML 2026 Oral

Holi-Spatial與現有方法的核心指標對比。無需人工標注，3D檢測AP50在ScanNet上提升64%。

https://openreview.net/forum?id=UGAP2F6FfV

傳統的3D空間數據，獲取成本高得驚人。

硬件上依賴昂貴的激光雷達，標注上更是個體力活——標注員必須在復雜的3D點云里，人眼識別、手動調整每一個物體的三維邊界框（Bounding Box）。

工序極其繁瑣，錯標、漏標更是家常便飯。

這是整個行業卡了十年的硬傷。Holi-Spatial用純軟件管線繞開了這堵墻。

01

3D標注為什么卡了整個行業十年？

長期以來，業內在訓練多模態大模型（VLM）時，大多是投機取巧。比如以偽深度信息替代真實幾何信息，或者直接在2D圖像上生成“偽3D”的問答對。

這種方法訓練出來的AI，根本無法理解三維空間中的拓撲結構、視角轉換和相對距離。所以你問他問題，它只能瞎猜。

想要培養出真正的3D上帝視角，就必須擁有大規模的3D真值（Ground Truth）數據。然而，3D標注的成本高得令人發指。

1.設備門檻高：需要利用專業的三維掃描儀（如iPad Pro的LiDAR或更專業的工業掃描儀）在房間里四處走動掃描，光是數據采集階段就卡死了大部分普通開發者。

2.人工標注難：在三維點云（Point Clouds）或網格（Meshes）中拉3D包圍框（Bounding Box），不僅需要標注員在三維軟件里上下左右不斷調整切面，而且極其容易產生視覺疲勞，漏標、錯標是家常便飯。

3.語義范圍窄：ScanNet數據集折騰了幾年，最終也只敢提供50個常見物體的類別標注，一旦遇到冷門物體，AI的識別能力直接生效。

學術界曾嘗試用現成的“前向傳播算法（Feed-forward Models）”直接預測物體的三維包圍框。但在沒有幾何約束的前提下，這些模型生成的包圍框往往飄在半空中或者陷進地板里，完全違背了基本的物理定律。

既然人工標注走不通，而單純靠AI算法直接盲猜又不夠準，我們為什么不把這兩者的優勢結合起來，用幾何物理規律去糾正AI的猜測，打造一個完全自動化的數據飛輪？

這就是Holi-Spatial的誕生契機。通過組合目前最先進的3D幾何重構算法與大語言模型，它成功用純軟件的方式，將海量的2D網頁視頻流（Web Videos），高效且低成本地進化為結構化的3D空間智能數據。

Holi-Spatial三階段數據精煉管線：幾何優化→圖像級感知→場景級精煉，視頻進，3D標注出。

02

拆解Holi-Spatial：3步，把普通視頻變成精確的3D場景

Holi-Spatial之所以能做到“零人工干預”，全憑其設計精妙的三階段數據精煉管線。

▎Stage 1：幾何級優化（Geometric Optimization）

在處理視頻時，管線首先利用運動恢復結構（Structure-from-Motion）計算出相機的精確內參和外參。緊接著，算法引入了單目深度估計模型Depth-Anything-V3作為深度先驗。

單目深度估計（DA3）與GS優化深度的對比。DA3深度圖存在明顯鬼影，GS優化后邊界清晰。

但單目模型估計出的深度往往充斥著噪聲和突變，不同視角之間的深度甚至無法對齊。為了消除這些不確定性，Holi-Spatial在此處引入了三維高斯潑濺（3D Gaussian Splatting, 3DGS）技術。

算法將前向深度圖與多視角渲染深度進行幾何一致性約束，在連續的視頻幀中優化數百萬個具有不透明度和顏色特征的“高斯點”。這一步優化，幾乎完全消除了邊緣的“虛影”和半空中的飄浮物，為后續的3D投影打下了堅實的物理地基。

多視角反投影點云對比。左為DA3直出，右為GS優化后——漂浮物幾乎消失。

▎Stage 2：圖像級感知與2D-to-3D升維（Image-level Perception & Lifting）

有了干凈的幾何深度后，管線開始進行圖像級的語義感知。

1.幀級圖像描述：算法在視頻中均勻抽取關鍵幀，利用Gemini3-Pro這類強大的2D多模態模型對畫面進行細致描述。

2.構建動態類名記憶庫（Dynamic Class-label Memory）：為了防止AI在第1幀把桌子認成“寫字臺”，在第5幀又認成“餐桌”，Holi-Spatial設計了一個動態記憶鏈條，強制各幀在類別命名上保持一致。

3.2D分割與3D投影：在類名指引下，2D分割界的新星SAM3生成極高質量的實例面具（Mask），然后順著第一階段計算出的幾何深度，將每一個2D像素“反向投影（Back-project）”回3D空間中，生成初始的三維定向包圍框（OBB）。

2D Mask到3D包圍框的四步流程：深度投影→邊緣腐蝕→離群點過濾→OBB估計

在這項將2D面具提升到3D的過程中，SAM3容易產生邊緣鋸齒，進而引發3D包圍框的嚴重偏差。

為了攻克這一頑疾，Holi-Spatial設計了一套獨特的“邊緣腐蝕”策略：在投影前，自動將2D面具向內收縮若干像素，只保留最置信的核心區域。同時，結合多視角生成的點云一致性濾網，徹底過濾掉突兀的離群點， 將3D包圍框的邊緣誤差壓縮到亞像素級別。

開放詞匯2D實例分割對比。Holi-Spatial在遮擋場景下邊界更完整，遠處鏡子等難例也能正確分割。

▎Stage 3：場景級精煉與AI Agent“監考制”（Scene-level Refinement）

多視角投影出來的3D包圍框，不可避免地會存在重疊和碎片化（例如一個沙發因為被部分遮擋，被錯判成了兩個不相連的組件）。

為了解決這個問題，管線首先利用3D交并比（3D IoU）閾值（τmerge=0.2）將空間重疊度高的同類候選框合并。接著，算法祭出了極具新意的三級決策過濾器（Tri-level Decision Rule）：

置信度高于0.9的，直接保留；低于0.8的，直接丟棄。而對于介于兩者之間、模糊不清的，Holi-Spatial會調用一個由強大多模態大模型擔任的AI Agent進行人工式的核查。

這個智能體配備了“局部圖像縮放”和“重新分割”工具對細節進行二次確認，極大拉升了數據的準確率與召回率。

場景級精煉的逐步效果。從原始DA3深度到置信度過濾再到Agent召回，精度和召回率同步提升。

最后，確定下來的3D實體會被送進Qwen3-VL-30B中，自動生成對應的長文本描述，并基于模板批量合成空間QA問答對。

ScanNet++上3D檢測結果對比。Holi-Spatial的包圍框更緊，類別標注更準，前三行基線方法漏檢明顯。

其他方法要么缺深度、要么缺 3D Det、要么缺 Grounding，只有 Holi-Spatial 一行全是 ?，優勢一目了然。

各方法輸入輸出能力對比。只有Holi-Spatial同時覆蓋深度、

2D分割、3D檢測、Grounding和空間QA五項任務。

03

無硬件、無標注，Holi-Spatial重新定義了3D數據的獲取方式

Holi-Spatial之所以能引發如此大的關注，是因為它同時回應了兩個長期懸而未決的行業判斷。

第一個來自斯坦福大學教授、World Labs聯合創始人李飛飛。

2025年11月，李飛飛發表長文《From Words to Worlds: Spatial Intelligence is AI's Next Frontier》，文中明確提出：真正的智能不能只停留在語言層面，AI必須理解并駕馭三維物理世界——感知物體的位置、推理空間關系、預測物理交互。

在她看來，空間智能是通往具身智能的必經之路，也是當前AI系統普遍缺失的核心能力。

Holi-Spatial正好在數據層面回應了這個判斷。它證明了AI不需要依賴昂貴的硬件掃描儀，只靠普通的2D視頻輸入，就能自動生成大規模、高精度的3D空間標注數據——這恰恰是空間智能研究長期缺少的原料。

第二個來自Karpathy，Tesla前AI負責人。

在2021年Tesla AI Day上，Karpathy公開談到：人工標注成本極高且難以擴展，Tesla不得不建立一套用車隊數據自動生成標注的閉環機制來代替人工。他的判斷是，自動標注不是權宜之計，而是AI大規模擴展的必要條件。

Holi-Spatial的邏輯與這套判斷完全一致。區別只在于，Tesla解決的是2D駕駛場景的標注瓶頸，Holi-Spatial解決的是3D室內空間的標注瓶頸——而后者的難度和價值，要高出一個量級。

04

3D檢測精度斷層領先，但是只能處理靜止畫面

那么，這套全自動管線提煉出來的數據，成色究竟如何？

聯合團隊在ScanNet++等多個最權威的3D空間智能基準上進行了嚴苛的量化測試。實驗數據呈現出了近乎斷層的領先：

在最核心的3D目標檢測任務中，此前最先進的3D多模態模型LLaVA-3D在ScanNet++上的AP25僅為12.2%，AP50僅為4.80%。

而經過Holi-Spatial自動管線訓練出來的模型，其AP25飆升到了驚人的 81.06%，AP50達到了 70.05%！在沒有人工標注參與的前提下，其感知精度相比前代技術暴漲了5倍以上。

不僅如此，在空間推理問答任務中，利用Holi-Spatial-4M數據集微調后的Qwen3-VL-8B，在MindCube基準上的準確率從29.4%暴漲至49.1%，提升了近20個百分點；在3D Grounding任務上，AP50也直接實現了翻倍增長。

然而，在這份近乎完美的成績單背后，我們也需要保持客觀冷靜的學界思考。

Holi-Spatial的數據生成管線目前建立在一個非常溫和的“靜態烏托邦”假設之上——靜態室內環境（Static Indoor Environment）。

整個管線底層的SfM運動恢復和3DGS幾何重建，均假定畫面中的沙發、茶幾、墻面等所有物體在視頻拍攝期間是絕對靜止不動的。這意味著：

1.無法處理動態畫面：如果輸入的視頻中包含走動的人、奔跑的寵物，或者正在移動的車輛，底層的3DGS就會產生嚴重的“重影（Ghosting）”和半空虛影，導致投影出的3D包圍框徹底變形。

2.算力開銷巨大：由于每個視頻場景都需要從頭訓練一次3DGS（Per-scene Optimization），其算力成本和處理時間極高，目前還無法做到實時、移動端的在軌標注。

但這并不妨礙Holi-Spatial成為空間智能領域的里程碑式工作。隨著4D高斯（4D-GS）以及動態變形場技術在學術界的快速演進，當算法能夠自動將“運動的貓咪”與“靜止的客廳”完美剝離時，Holi-Spatial所描繪的“數據飛輪”必將爆發出更恐怖的能量。

大模型在2D紙上談兵的時代正在終結，一個能夠真正看懂、聽懂并走入三維物理世界的“具身AI”時代，正在加速向我們走來。

05

對話Holi-Spatial團隊：用AI超越人類標注的靈感與野心

在這項入選ICML 2026 Oral的重磅工作背后，是一支充滿活力的年輕科研力量。

為了進一步探尋Holi-Spatial誕生的臺前幕后，以及空間智能的未來演進，雷峰網AI科技評論小組與上海交通大學人工智能學院副教授、Holi-Spatial團隊負責人鐘志航展開了一場深度對話。

▎Q：論文提到，目前空間智能嚴重受限于場景單一和數據稀缺。為什么這次會想到讓AI和各種工具進行系統性結合，甚至去挑戰超越人類的自動標注？這個靈感的源頭是什么？

A：這個靈感并不是憑空出現的，更多是源于我們團隊長期的技術積累。我們下面有一個Team原本就是專門做3D和4D重建的。可以發現，這兩年的CVPR Best Paper幾乎都頒給了前向3D或4D重建相關的工作。但這一類幾何重建工作，跟基于大模型的空間智能之間，過去的隔閡很大，幾乎沒有什么交集。

直到去年和今年，我們突然意識到，隨著3D/4D重建管線的發展，再加上SAM3等語義處理工具的日趨成熟，這些工具的能力其實已經跨過了某個臨界點。它們已經足夠強大到可以串聯起來，反過來去為多模態大模型“造”數據——特別是造出帶有3D語義的高質量數據，去培養AI的空間感知和規劃能力。在動手做之前我們其實也只有八成把握，但實際跑完整個管線后發現，在Agent的輔助下，這些零散的工具組合起來，在很多場景下產出的數據質量確實大于等于人類標注的水平。

▎Q：作為一個復雜的系統工程，在構建這個“數據飛輪”的過程中，有沒有遇到什么出乎意料的挑戰？

A：坦白講，因為這是一個偏系統工程的項目，碰到的很多挑戰其實是“分布式”的，比如怎么hold住如此龐大的海量數據、怎么提升重建管線的整體效率等等，里面充斥著大量細枝末節的工程問題，并沒有某一個特別卡脖子的絕對難點。

如果說有什么最讓人意外的，那就是現在“Vibe Coding（氛圍編碼）”的工具和Agent能力太強了。我們這個工作從去年底開始做，整個研發過程中Vibe Coding的占比成分非常大。那些原本需要耗費大量精力去啃的工程細節和零碎的dirty work，Agent都能很好地輔助我們完成。這極大地釋放了生產力，也是我們能高效拼出這條完整管線的重要原因。

▎Q：論文的局限性部分提到，這種開放詞匯的語義標注可能會繼承基座模型本身的偏見和錯誤。如果把它應用到更垂直的場景，這種偏見會如何表現？未來該怎么克服？

A：我們文章里說的bias（偏見），準確地說是指在某些偏長尾的垂直領域，現有的通用基座模型會直接“抓瞎”或者識別錯誤。

舉個例子，比如在我們做化學或生物實驗的實驗室環境里，里面會有各種各樣特定型號、特定名稱的燒杯。你如果把這種高度專業的畫面交給SAM3或者通用的多模態大模型，它們是根本搞不定的。所以，現有的管線在客廳、臥室這種General（通用）的場景下非常work，但到了垂直細分領域確實存在難度。不過，現在大家也在如火如荼地搞工業大模型、自動化實驗室模型，隨著這些垂直模塊的成熟，把它們嵌進管線里，這種長尾語義的偏見和識別瓶頸就會被逐步克服。

▎Q：目前Holi-Spatial主要基于靜態室內視頻。如果未來想把這套管線擴展到更宏大的室外開放世界（比如有行人、車輛的高動態場景），現有的技術架構需要做出哪些攻堅？

A：這是一個非常好的科研和技術問題，實際上我們團隊已經在朝著這兩個方向布局了。

首先是觀測條件的“非完美”問題。現實中往往存在動作模糊、天氣不好有煙霧、或者光照太暗的情況。針對這種降級的魯棒性問題，我們已經做了一項新工作掛在ArXiv上了，專門讓管線去模擬各種不完美的模糊觀察，以此來訓練大模型的空間魯棒性。

其次是室外的大場景和動態4D環境。室外環境非常開放，做過3D高斯的人都知道，前期的點云處理和深度估計在室外極其困難，而且網絡視頻的拍攝視角往往很稀疏，拍一圈根本覆蓋不到所有角落。對此，我們正在嘗試將重建手段與生成式模型結合，來攻克室外的稀疏難題。同時，針對行人和車輛，我們的學生也正在嘗試搭建4D高斯的管線。只有當數據從靜態走向物理意義上的“可交互”，批量產出可交互的4D空間數據，才能真正意義上全面賦能具身智能。

▎Q：論文的影響聲明中特別提到了隱私保護。如果未來全自動3D重建的門檻和算力成本進一步降低，一段無意間流傳的視頻就可能把個人的私密空間摸得一清二楚。您如何看待大規模重建與用戶隱私之間的界限？

A：這確實是一個很有意思的話題。一個人的房間布局、物品擺放，其實能反映出很多個人信息，甚至能看出你的性格和“家裝MBTI”。

如果是用戶自己拍攝并上傳的視頻，大家自然會從自身角度保護好隱私。但我認為更值得思考的，是未來的具身設備，比如無時無刻不在陪伴你的家庭服務機器人、掃地機器人或者室內無人機。它們在服務你的同時，確實有可能主動獲取一些不該獲取的場景隱私。如何防范這種主動式的設備泄密，將是未來的具身智能硬件廠商和公司需要深度思考與限制的端側底線問題。

▎Q：在你們的設想中，當這樣具備強大空間智能的大模型，真正裝進智能機器人的身體里，它為社會帶來的第一個應用場景會是什么？

A：如果空間智能的基座模型真的訓得足夠好了，第一應用場景絕對是機器人。不過，目前第一版的Holi-Spatial所做的事情還遠遠不夠，它現在能實現的，更多是不需要物理交互的空間規劃、判斷或理解。

如果只基于現階段的能力，它能裝進設備里幫我們做些什么？也許是把你整個家掃一圈后，Maybe它能突然提醒你：“有一把鑰匙或者玩具掉在某個平時看不見的角落里了”，幫你把找不著的東西揪出來。但要真正走向具身智能，它必須學會和環境交互——比如我渴了，它能走過去打開冰箱，精準地拿出一杯冰可樂。這就需要我們正在攻堅的“物理意義上可交互的空間數據”。

▎Q：最后，作為這篇優秀工作背后的掌舵人，有什么想對關注空間智能領域的年輕后浪們說的嗎？

A：空間智能和世界模型這兩年之所以這么火，是因為以前做不到，缺了太多基礎工具。如今隨著3DGS、4D高斯等新表達的出現，工具鏈慢慢全了，大家自然而然都會著手往這個方向涌入。

我們團隊非常年輕，我是2026年3月剛入職上海交通大學人工智能學院的。誰會拒絕更優秀的碩士和博士生呢？（笑）我們在這個方向上還有很大的野心和很多好玩的Idea，非常歡迎對空間智能、三維多模態感興趣的優秀同學聯系我，無論是實習還是申請碩博，我們一起去探索真正的具身世界。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

? 進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談