全球首創(chuàng)！AI看一眼視頻就能「讀出」雙手，三個世界第一

新智元報道

【新智元導(dǎo)讀】不教AI認(rèn)手,而是從視頻世界模型里直接「讀」出雙手:三大基準(zhǔn)SOTA,讓百萬小時野生視頻第一次能變成機(jī)器人的操作教材。

機(jī)器人圈有個老大難問題，卡了所有人好幾年：手部動捕。

不是捕不了，是一到真實場景就崩——你端碗、擰瓶蓋、從口袋掏手機(jī)，手一被擋住，最先進(jìn)的檢測器直接報廢，后面的姿態(tài)重建全盤歇菜。

全世界最聰明的一群人，在這個問題上加檢測器、加時序模塊、加運動先驗、加測試時優(yōu)化……補丁摞補丁，還是扛不住遮擋。

結(jié)果，我們把視頻生成模型換了個打開方式，順手把這事兒辦了。

近日，大曉機(jī)器人聯(lián)合南洋理工大學(xué)與上海交大發(fā)布ACE-ViDiHand——全球首個用視頻生成模型做4D手部動捕的方法。

在ARCTIC、HOT3D、HOI4D三大基準(zhǔn)上，ARCTIC和HOT3D全部九項指標(biāo)第一，HOI4D九項中八項第一。

最炸裂的一個數(shù)字：手被東西擋得嚴(yán)嚴(yán)實實的場景下，ACE-ViDiHand的幀準(zhǔn)確率0.997，此前最強(qiáng)的WiLoR只有0.919。

什么概念？同樣跑1000幀視頻，WiLoR丟了81幀，ACE-ViDiHand只丟3幀——幾乎一只手都不落。

這意味著，大規(guī)模、高質(zhì)量的人手視頻自動標(biāo)注，第一次真正成為可能。

論文標(biāo)題《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》——帶了個「Surprising」，應(yīng)該是連作者自己都覺得效果好得離譜。該項目將于近期全面開源。

論文鏈接：https://arxiv.org/abs/2606.30308

項目主頁：https://ACE-ViDiHand.github.io

同期工作Vision Banana剛剛證明：把圖像生成模型拿來做視覺理解，效果比專門訓(xùn)練的判別式模型還強(qiáng)——會畫畫的AI，天然就會認(rèn)東西。

ACE-ViDiHand把同樣的邏輯從圖像推到視頻、從2D推到4D：會生成視頻的AI，天然就懂手怎么動。

手部動捕為什么這么難？

手部動捕不只是個「挺難的技術(shù)問題」，它是具身智能的命門。

手部運動是人類操作意圖最直接的表達(dá)。

抓、放、倒、擰、疊——每個靈巧操作的任務(wù)意圖、動作過程、物體狀態(tài)變化，全寫在手部軌跡里。

機(jī)器人要從人類視頻里學(xué)操作，手部軌跡就是最核心的監(jiān)督信號。這份「教材」的質(zhì)量，直接決定了機(jī)器人策略學(xué)習(xí)能到什么水平。

但這也是最難自動提取的數(shù)據(jù)。兩個字：遮擋。

你端碗吃飯，手被碗擋住大半；你擰瓶蓋，十根手指疊成一團(tuán)；你從包里掏手機(jī)，整只手消失。

人看一眼就知道手在干什么，機(jī)器不行。

目前主流兩條路。圖像路線（HaMeR、WiLoR、Hamba等），檢測器先框手、再估姿態(tài)，手一被擋就全崩。

視頻路線（OmniHands、Dyn-HaMR等），靠跨幀注意力和運動先驗從前后幀里找補，但時序模塊是拿稀缺的手部標(biāo)注數(shù)據(jù)訓(xùn)出來的，認(rèn)手都勉強(qiáng)，「猜」被擋住的部分根本學(xué)不會。

而且運動先驗只建模了手本身，跟物體、場景完全脫鉤——手伸進(jìn)抽屜那一刻，先驗和現(xiàn)實就對不上了。

兩條路都是死胡同?？诉@么多年，不是沒人使勁，是方向不對——所有人都在「手」上做文章，沒人想過換個出發(fā)點。

會畫手的AI，不用再教它認(rèn)手

這個邏輯很符合直覺，視頻生成模型天天看互聯(lián)網(wǎng)上的海量視頻，它早就學(xué)會「腦補」被擋住的手了——只是此前沒人從「手」的角度去挖掘。

想想Wan2.1這樣的視頻生成模型——要生成一段讓人看不出破綻的視頻，它必須在內(nèi)部搞定三件事：

• 時空一致性——前一幀手在這里，后一幀不能瞬移到那里；

• 從2D推3D——手的透視、大小變化都得合理，這就得「理解」三維幾何；

• 推理被遮擋的內(nèi)容——手被杯子擋住了，但視頻里的下一秒手又出來了，中間那段模型必須知道手還在那、在干什么。

這三樣能力，恰恰是手部動捕這些年求而不得的東西——一個13億參數(shù)的視頻大模型在海量互聯(lián)網(wǎng)視頻上自然涌現(xiàn)出來的「世界先驗」。

所以ACE-ViDiHand的思路是：不從零教AI認(rèn)手，而是把手部姿態(tài)估計重新定義成——從視頻世界模型里「讀取」表征。

打個比方：一個畫了十年畫的人，他閉著眼都知道手怎么擺、怎么動。你不用再教他認(rèn)手，只需要一支筆，讓他把腦子里那只手直接畫出來。

ACE-ViDiHand做的，就是遞上這支筆。

怎么做到的？兩步走

具體分兩個階段，可以概括為：先教模型「畫手」，再從它腦子里「讀手」。

第一步，教它盯手。讓模型在原始視頻每一幀上疊加一層半透明的手部渲染——包括手被完全遮擋的幀。

想讓疊加連貫不穿幫，模型就必須在內(nèi)部時刻維護(hù)每只手的3D狀態(tài)，哪怕畫面上根本看不見手。

這相當(dāng)于逼模型在遮擋下持續(xù)「追蹤」手，而不是簡單補全可見像素。

訓(xùn)練分兩步：先在大規(guī)模EgoDex數(shù)據(jù)上做關(guān)節(jié)骨架疊加打底，再切到MANO網(wǎng)格疊加做精對齊，全程不損失基座模型對場景和物體的理解能力。

第二步，讀出來「手」。從DiT第15層（30層正中間）、去噪到約70%時的特征里，用雙分支解碼器直接讀出手部姿態(tài)。

為什么是這一層？消融實驗的答案很符合直覺：太淺還在盯像素，太深已經(jīng)在想怎么「畫」了，L15、τ≈0.7正好卡在「理解最深」的甜蜜點。

兩條分支各管一攤——一條整合手的全局信息輸出關(guān)節(jié)姿態(tài)，因為手指彎曲是牽一發(fā)動全身的事；一條逐關(guān)節(jié)定位輸出2D坐標(biāo)，因為「手指在畫面哪」是個局部問題。

兩條分支互相交換情報后，深度靠回歸、平面位移靠閉式求解，一步出結(jié)果。

整條管線直接吃全幀視頻——不用檢測器、不用裁剪、不用運動補全、不用測試時優(yōu)化，單次前向同時輸出雙手4D軌跡。

跑分有多猛？

三大基準(zhǔn)恰好覆蓋手部動捕最典型的三類噩夢場景：

ARCTIC——重度遮擋雙手操作。雙手操作鉸接物體，手指、手掌、物體攪在一起。

關(guān)節(jié)誤差PA-MPJPE-p降到9.8mm，8個基線里最好的也要11.9mm；2D端點誤差EPE-p只有12.4像素，最好的基線50.5像素——直降4倍。

手部召回率和F1（綜合衡量「有沒有找到手」「找得準(zhǔn)不準(zhǔn)」的檢測得分）均達(dá)到99.9%，幀級準(zhǔn)確率99.7%，幀級錯誤率相比最強(qiáng)基線下降超過96%——即使在嚴(yán)重遮擋下也幾乎不丟手。

抖動3.18，此前最平滑的方法12.8——低了近4倍。而且人家的平滑是靠外掛運動補全模塊和SLAM優(yōu)化硬磨出來的，ACE-ViDiHand天生就這么穩(wěn)，零后處理。

HOT3D——魚眼畸變 + 高動態(tài)光照。廣角魚眼鏡頭、忽明忽暗的光線、快速甩頭甩手，每一樣都是檢測器的噩夢。

F1（綜合檢測得分）達(dá)到0.983，全面第一；3D關(guān)節(jié)誤差PA-MPJPE-p較此前最佳結(jié)果降低43%。

HOI4D——訓(xùn)練時完全沒見過的數(shù)據(jù)集。純泛化測試，所有對比方法同樣沒在這上面訓(xùn)練，雙向公平。

9項指標(biāo)拿下8項第一。抖動4.0，第二名17.4——約為其四分之一。EPE-p從第二名的41.6像素降到24.5像素。

這說明ACE-ViDiHand的優(yōu)勢不是靠「刷題」刷出來的，是底層表征夠硬，換個場景照樣能打。

總體來看，三個數(shù)據(jù)集上的軌跡抖動較此前最佳方法降低約4.0至4.8倍。

這表明，視頻世界模型從大規(guī)模視頻中習(xí)得的時序一致性、遮擋推理能力、空間幾何與手物交互的結(jié)構(gòu)化知識，能夠為手部運動重建提供強(qiáng)大的表征支撐。

范式轉(zhuǎn)移

從「專用補丁」到「繼承世界模型」

機(jī)器人學(xué)操作，最好的教材就是海量第一視角人類視頻，手部軌跡就是最核心的監(jiān)督信號。

但真實操作視頻里，幾乎每一幀的手都被東西擋著——人類靈巧操作天然伴隨遮擋。

業(yè)界甚至有公司專門雇人把設(shè)備綁腦門上、按小時計費采手部數(shù)據(jù)，就為了湊高質(zhì)量標(biāo)注。

ACE-ViDiHand給出了一條全新的路：直接從視頻里把手的4D軌跡讀出來，不靠檢測器、不怕遮擋——大規(guī)模人手視頻的自動標(biāo)注，第一次有了可靠的技術(shù)底座。

當(dāng)你能從百萬小時的互聯(lián)網(wǎng)視頻里穩(wěn)定提取手部運動，把「野生視頻」變成可學(xué)習(xí)、可擴(kuò)展的具身數(shù)據(jù)資產(chǎn)——具身智能的數(shù)據(jù)飛輪，才算真正開始轉(zhuǎn)。

論文作者把話挑明了：這是4D手部重建的范式轉(zhuǎn)移。

過去是補丁摞補丁——檢測器不行換更好的檢測器，抖動大了加平滑模塊，遮擋扛不住加運動補全。工程量越來越大，天花板越來越低。

ACE-ViDiHand反過來：直接繼承視頻大模型已經(jīng)學(xué)會的時序一致性、遮擋推理、空間幾何，與其從零造輪子，不如站在巨人肩膀上。

從「看見手」到「理解手」，從「識別動作」到「讀取運動」——當(dāng)視頻生成模型的內(nèi)部表征從生成工具變成可讀取的感知基座，具身AI才算拿到了真正可規(guī)?；臄?shù)據(jù)入口。

大曉開發(fā)者社群，開門了！

我們的開悟世界模型，不復(fù)刻世界，只錨定動作。

如果你也關(guān)注 PhysicalAI/ 具身智能 / 世界模型，是時候，一起開悟了