![]()
機(jī)器之心發(fā)布
Luma AI、Aholo 、Scaniverse、KIRI 等消費(fèi)級 3DGS 應(yīng)用的出現(xiàn),已經(jīng)說明 3D Gaussian Splatting 正在走向普通用戶。用戶拿起手機(jī),就希望把物體、房間,甚至完整空間,變成可漫游的 3D 內(nèi)容。
但如果想要效果夠好,3DGS 就需要精確的位姿約束,否則效果會大打折扣:
![]()
![]()
![]()
左右滑動查看。圖1:某 APP 生成畫面|圖源小紅書;圖 2:墻體彎曲;圖 3:墻面鼓包。
這些 badcase 看起來像是 3DGS 渲染沒有優(yōu)化好,但本質(zhì)上,往往是位姿與幾何信息不夠準(zhǔn)確。
過去,解決這類問題最穩(wěn)妥的方式是上 LiDAR 。LiDAR 能提供精確的位姿約束,在一定程度解決上述問題,即使在高難度視覺環(huán)境中,也能解算出足夠魯棒的位姿和幾何,讓 3DGS 優(yōu)化收斂到更高質(zhì)量的場景表達(dá)。
但這也意味著更高的硬件成本、更重的采集流程,以及更難進(jìn)入大眾消費(fèi)級場景。
近期, ECCV 2026 結(jié)果公布,Realsee 團(tuán)隊(duì)的成果 Argus: Metric Panoramic 3D Reconstruction for Indoor Scenes 成功入選。它面向室內(nèi)全景圖像,能夠從稀疏、無序的全景照片中,直接預(yù)測相機(jī)位姿、度量深度和點(diǎn)云重建結(jié)果,可以為 3DGS 提供更穩(wěn)定、更精準(zhǔn)的幾何約束。
![]()
![]()
- Argus 論文地址:https://argus-paper.realsee.ai
如視的這項(xiàng)研究說明:未來可落地的 3DGS 重建,不再一定需要 LiDAR 來提供精確位姿。只要有手機(jī)或全景相機(jī)拍攝的圖像,再通過如視 Argus 獲得高質(zhì)量位姿和度量幾何,就可以讓 3DGS 進(jìn)入更輕量、更低成本、更大眾化的采集時(shí)代。
先看效果:傳統(tǒng) SfM vs使用如視 Argus
可以把如視 Argus 理解成 3DGS 前面的“幾何校準(zhǔn)器”。
![]()
使用傳統(tǒng) SfM(左)VS 使用如視 Argus(右)。字跡、物體細(xì)節(jié)等效果顯著提升
3DGS 通常依賴傳統(tǒng) SfM 來計(jì)算位姿和初始幾何。遇到弱紋理、重復(fù)紋理、全景畸變、多房間連接等場景時(shí),容易出現(xiàn):
- 相機(jī)軌跡漂移;
- 墻體、門洞、家具邊緣錯(cuò)位;
- 高斯點(diǎn)云局部堆疊或腫脹;
- 新視角漫游時(shí)出現(xiàn)閃爍和重影。
在稀疏采集視角下,甚至?xí)驗(yàn)槠ヅ洳蛔銓?dǎo)致位姿崩潰,無法生成 3DGS。
經(jīng)過如視 Argus 處理后,系統(tǒng)可以先獲得更穩(wěn)定的圖像位姿、度量深度和點(diǎn)云結(jié)構(gòu),再將這些結(jié)果作為 3DGS 優(yōu)化的初始約束 —— 最終效果會更接近“空間級重建”,而不只是 “圖片級擬合”。
再看數(shù)據(jù):如視 Argus 位姿與幾何精度顯著領(lǐng)先
在 Realsee3D 基準(zhǔn)測試中,如視 Argus 在相機(jī)位姿、深度估計(jì)和點(diǎn)云重建上取得了 SOTA(state of the art) 級表現(xiàn)。
![]()
以相機(jī)位姿為例,論文給出了 如視 Argus 與 VGGT360、MapAnything360、π3D360 等方法的對比。和支持度量預(yù)測的 MapAnything360 相比,如視 Argus 在真實(shí)子集上將 ATE 從 0.134 降至 0.096,在合成子集上從 0.087 降至 0.027。
![]()
Argus VS VGGT360、MapAnything360、π3D360
也就是說在真實(shí)室內(nèi)場景中,如視 Argus 的全局位姿誤差比 MapAnything360 降低約 28%;在合成場景中,誤差降低約 69%。
對于常見居住室內(nèi)環(huán)境而言,在如視積累的全量數(shù)千萬數(shù)據(jù)上訓(xùn)練后,誤差更是低至 2.5cm,與常見 LiDAR 2cm 的誤差已經(jīng)非常接近。
另外,借助合成數(shù)據(jù),如視 Argus 模型還能避免 LiDAR 常見的多回波拖尾問題,以及玻璃、鏡子、黑色物體測距不準(zhǔn)帶來的噪聲或數(shù)據(jù)缺失。
對于 3DGS 來說,這類提升非常關(guān)鍵。位姿誤差降低,不只是指標(biāo)變好,而是直接影響最終效果:墻面更直、邊界更銳、物體更少重影、漫游時(shí)空間更穩(wěn)定。
從激光掃描到自由拍攝,空間重建正在換擋
如視 Argus 入選 ECCV 2026,不只是一次論文成果發(fā)布,更像是一個(gè)行業(yè)信號:3D 重建正在從 “設(shè)備驅(qū)動” 走向 “模型驅(qū)動”。過去,精準(zhǔn)空間重建依賴專業(yè)硬件;現(xiàn)在,大模型開始學(xué)習(xí)硬件背后的幾何能力。
對如視自身來講,依托超 6000 萬真實(shí)三維空間場景數(shù)據(jù)庫,隨著數(shù)據(jù)量、場景類型和訓(xùn)練樣本持續(xù)增加,如視 Argus 模型對復(fù)雜空間的理解能力也會持續(xù)提升。
在未來,產(chǎn)品級 3DGS 將會有機(jī)會從重設(shè)備、重流程的專業(yè)采集,走向更輕量、更低成本、也更容易規(guī)模化的空間重建方式。
如視 Argus 展示的,正是這個(gè)方向的第一步:用圖像重建真實(shí)世界,用精準(zhǔn)位姿約束 3DGS,讓產(chǎn)品級 3DGS 從專業(yè)設(shè)備時(shí)代,邁向普通用戶也能參與的自由拍攝時(shí)代。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.