98年哈工大教授創(chuàng)業(yè)，要做人形靈巧操作世界模型

允中 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

VLA和世界模型已經(jīng)把機(jī)器人推向“看懂世界”和“預(yù)測(cè)世界”的階段。

但只要模型真的進(jìn)入物理世界，問題很快就會(huì)變得更具體：

它拿什么學(xué)習(xí)這個(gè)世界，靠什么把動(dòng)作做出來，又怎么知道自己到底碰到了什么。

前兩個(gè)問題，分別指向數(shù)據(jù)和本體。第三個(gè)問題，指向觸覺。

本周，哈工大（深圳）楊朔團(tuán)隊(duì)發(fā)布了TouchWorld，一個(gè)面向靈巧操作的觸覺世界模型。

它的核心能力，是讓機(jī)器人不只預(yù)測(cè)畫面如何變化，也開始預(yù)測(cè)接觸如何發(fā)生，并在真實(shí)操作中利用觸覺反饋修正動(dòng)作。

TouchWorld不是孤立的一篇論文。此前，楊朔團(tuán)隊(duì)已經(jīng)推出EgoTouch和TouchAnything：

• EgoTouch解決靈巧操作的觸覺數(shù)據(jù)怎么采；
• TouchAnything嘗試從第一人稱視頻中恢復(fù)觸覺，如何做低成本的觸覺數(shù)據(jù)增廣。

這三項(xiàng)工作連起來，構(gòu)成了一條清晰路線：先采觸覺，再恢復(fù)/對(duì)齊觸覺，最后讓具身模型真正使用觸覺。

沿著這條路線，出生于1998年的年輕教授楊朔創(chuàng)辦了破曉智能（PHANES AI）。

破曉智能要做的，是融合人類視頻數(shù)據(jù)與觸覺感知模態(tài)，構(gòu)建人形機(jī)器人全身移動(dòng)靈巧操作世界模型。

更具體地說，它不是只做一個(gè)觸覺模型或硬件，而是希望圍繞“機(jī)器人如何真正學(xué)會(huì)操作”，搭建一套從數(shù)據(jù)、模型到控制的完整能力鏈。

“破曉”這個(gè)名字，也對(duì)應(yīng)了這家公司想解決的問題：在人形機(jī)器人走向真實(shí)操作之前，觸覺數(shù)據(jù)、觸覺世界模型、靈巧手反饋控制、全身移動(dòng)操作仍然處在技術(shù)混沌中。

破曉智能希望從觸覺數(shù)據(jù)切入，把這些能力重新串起來，讓機(jī)器人從“看見世界”，走向真正“接觸世界、操作世界”。

從Data-Centric AI，到機(jī)器人真實(shí)數(shù)據(jù)

楊朔現(xiàn)任哈爾濱工業(yè)大學(xué)（深圳）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院長(zhǎng)聘教授、博導(dǎo)，也是破曉智能創(chuàng)始人兼CEO。

公開信息顯示，他26歲獲評(píng)哈工大（深圳）計(jì)算機(jī)學(xué)院長(zhǎng)聘教授、博導(dǎo)，曾獲Google Ph.D. Fellowship，入選國(guó)家級(jí)高層次青年人才、深圳市“高精尖缺”人才、廣東省重大人才工程。

△楊朔，破曉智能（PHANES AI）創(chuàng)始人、哈工大（深圳）長(zhǎng)聘教授、博導(dǎo)

在研究上，楊朔長(zhǎng)期關(guān)注多模態(tài)大模型、Data-Centric AI、可信AI、計(jì)算機(jī)視覺與具身智能等方向。

相比直接從“機(jī)器人創(chuàng)業(yè)”切入，他的路徑更像是從一個(gè)數(shù)據(jù)問題一路走到物理世界：

模型到底應(yīng)該用什么數(shù)據(jù)學(xué)習(xí)。到了機(jī)器人這里，就變成了機(jī)器人到底應(yīng)該用什么數(shù)據(jù)學(xué)習(xí)真實(shí)操作。

在傳統(tǒng)機(jī)器學(xué)習(xí)里，這個(gè)問題更多指向數(shù)據(jù)質(zhì)量、數(shù)據(jù)選擇、噪聲標(biāo)簽和數(shù)據(jù)壓縮。

到了具身智能，數(shù)據(jù)不再只是圖像、文本和標(biāo)簽，而是人在真實(shí)世界中的連續(xù)操作過程。

過去一段時(shí)間，人類數(shù)據(jù)正在成為機(jī)器人學(xué)習(xí)復(fù)雜操作的重要入口。

NVIDIA EgoScale證明，第一人稱人類操作數(shù)據(jù)在靈巧操作訓(xùn)練中具備Scaling Law；Generalist / Gen-1則進(jìn)一步顯示，大規(guī)模人類數(shù)據(jù)預(yù)訓(xùn)練結(jié)合少量真機(jī)數(shù)據(jù)后訓(xùn)練，可以顯著提升機(jī)器人在長(zhǎng)程、復(fù)雜任務(wù)中的成功率。

這兩類工作共同指向一個(gè)趨勢(shì)：相比完全依賴真機(jī)采集，讓機(jī)器人先從大規(guī)模人類數(shù)據(jù)中學(xué)習(xí)動(dòng)作過程、物體交互和任務(wù)結(jié)構(gòu)，再用少量機(jī)器人數(shù)據(jù)完成對(duì)齊和適配，是一條更容易規(guī)模化的數(shù)據(jù)路徑。

但這條路線仍然缺一層關(guān)鍵信息：觸覺。

第一人稱視頻讓機(jī)器人看到了人類如何觀察世界、接近物體、抓取工具、完成任務(wù)。

但人和物體之間真正發(fā)生了什么，視頻里并不完整。手指壓在哪里，力有多大，物體有沒有滑，接觸是否穩(wěn)定，這些信息很難只靠圖像回答。

破曉智能給出的答案是：光有視覺不夠，光有動(dòng)作軌跡也不夠。機(jī)器人還需要觸覺，需要理解手和物體接觸時(shí)發(fā)生了什么。

這也是楊朔團(tuán)隊(duì)從EgoTouch、TouchAnything走到TouchWorld的原因。

Touch系列：從采集觸覺，到對(duì)齊觸覺，再到使用觸覺

從破曉智能的技術(shù)圖譜看，Touch系列模型不是并列擺放的幾篇論文，而是一條從數(shù)據(jù)到世界模型、再到全身控制的能力鏈。

EgoTouch解決的是觸覺數(shù)據(jù)怎么采。

它把第一人稱視頻、腕部視角、手部姿態(tài)和雙手壓力圖放進(jìn)同一套采集系統(tǒng)里，讓人類操作視頻帶上接觸和壓力信息。

團(tuán)隊(duì)圍繞剛性物體、柔性物體、抓取、抓捏、擰動(dòng)、工具使用等任務(wù)，采集人類在真實(shí)操作中的視覺和觸覺數(shù)據(jù)。

△EgoTouch第一人稱視覺-觸覺數(shù)據(jù)采集系統(tǒng)

TouchAnything解決的是如何讓更多第一人稱視頻補(bǔ)上觸覺。

帶觸覺的數(shù)據(jù)始終有限。真正戴上傳感器采集的人類操作數(shù)據(jù)，成本高、規(guī)模小，也很難覆蓋所有場(chǎng)景。

但互聯(lián)網(wǎng)上已經(jīng)有大量第一人稱人類操作視頻：人怎么拿起水壺、怎么抓球拍、怎么擰瓶蓋、怎么使用工具，這些過程都被視覺記錄了下來。

問題在于，這些視頻只有畫面，沒有觸覺。

TouchAnything要做的，就是用EgoTouch這類視覺-觸覺對(duì)齊數(shù)據(jù)，訓(xùn)練模型學(xué)會(huì)從第一人稱視頻中估計(jì)雙手接觸區(qū)域和壓力分布。

換句話說，它讓模型具備一種從視覺里“恢復(fù)觸覺”的能力：只看視頻，也能推斷手指哪里碰到了物體，哪里正在用力，壓力大概如何分布。

這一步的價(jià)值不只是做一個(gè)觸覺估計(jì)模型，而是把少量帶觸覺傳感器的數(shù)據(jù)，擴(kuò)展成更大規(guī)模的觸覺監(jiān)督。原本只能看到動(dòng)作外觀的人類視頻，有機(jī)會(huì)被補(bǔ)上一層接觸信息，變成更適合機(jī)器人學(xué)習(xí)靈巧操作的數(shù)據(jù)。

在破曉智能的技術(shù)路線里，TouchAnything更像一個(gè)數(shù)據(jù)放大器。

它一邊承接EgoTouch采到的人類視覺-觸覺數(shù)據(jù)，一邊把觸覺監(jiān)督擴(kuò)展到更多第一人稱視頻里。基于這層數(shù)據(jù)，TouchWorld才能進(jìn)一步學(xué)習(xí)如何預(yù)測(cè)接觸、使用接觸；HumanWBC也才能把觸覺帶入全身移動(dòng)、雙臂協(xié)同和靈巧手控制。

△TouchAnything多視角觸覺預(yù)測(cè)模型架構(gòu)。模型輸入頭戴第一人稱視角、左右腕部視角和雙手3D姿態(tài)，通過多視角視覺特征融合與姿態(tài)感知融合，預(yù)測(cè)雙手壓力分布圖，從而從純視覺視頻中恢復(fù)觸覺信息

TouchWorld解決的是觸覺如何進(jìn)入機(jī)器人世界模型和操作策略。

它不是簡(jiǎn)單給機(jī)器人多接入一個(gè)觸覺輸入，而是讓觸覺進(jìn)入兩個(gè)關(guān)鍵環(huán)節(jié)：提前預(yù)測(cè)未來應(yīng)該形成怎樣的接觸，并在執(zhí)行中根據(jù)觸覺反饋修正動(dòng)作。

換句話說，機(jī)器人不只是預(yù)測(cè)“下一幀畫面會(huì)怎樣”，也要預(yù)測(cè)“下一步應(yīng)該碰成什么樣”。

HumanWBC則是這條路線的下一步：基于人類數(shù)據(jù)訓(xùn)練全身移動(dòng)靈巧操作控制模型，把感知理解、自主移動(dòng)、全身控制、雙臂協(xié)同和靈巧手操作接到同一個(gè)系統(tǒng)里。

所謂全身移動(dòng)靈巧操作（loco-manipulation），不只是讓機(jī)器人站在桌前完成一個(gè)抓取動(dòng)作，而是讓機(jī)器人真正從“能看懂”，走向“能走過去、抓起來、做完事”。

所以這條路線不是“做一個(gè)觸覺模型”，而是以觸覺為核心，把感知、仿真、決策和控制串起來，推動(dòng)機(jī)器人全身移動(dòng)靈巧操作大腦進(jìn)化。

TouchWorld：把“手感”寫進(jìn)世界模型

TouchWorld的核心可以用兩個(gè)詞概括：predictive和reactive。

△TouchWorld 三層架構(gòu)：高層規(guī)劃并預(yù)測(cè)目標(biāo)，中層生成動(dòng)作，高頻觸覺反饋實(shí)時(shí)糾偏

Predictive，指的是觸覺目標(biāo)預(yù)測(cè)。

機(jī)器人不只要預(yù)測(cè)未來畫面，還要預(yù)測(cè)未來應(yīng)該形成怎樣的接觸狀態(tài)。

△TouchWorld通過觸覺世界模型預(yù)測(cè)機(jī)器人任務(wù)子目標(biāo)

一個(gè)最簡(jiǎn)單的例子是按噴壺按鈕。

從視覺上看，手碰到按鈕和真的把按鈕按下去，畫面差別可能很小。尤其當(dāng)手遮擋按鈕時(shí)，圖像很難判斷任務(wù)是否已經(jīng)完成。但觸覺上，手指有沒有接觸、壓力有沒有到位，是更直接的判斷。

TouchWorld預(yù)測(cè)觸覺目標(biāo)，就是讓機(jī)器人知道：如果這個(gè)子任務(wù)完成，手指上應(yīng)該出現(xiàn)怎樣的接觸和壓力。

這對(duì)靈巧操作很重要。很多任務(wù)的完成狀態(tài)并不完全體現(xiàn)在畫面里，而是體現(xiàn)在手和物體之間的接觸關(guān)系里。

Reactive，指的是高頻觸覺反饋修正。

真實(shí)操作中，物體會(huì)滑，接口會(huì)偏，手指可能沒抓穩(wěn)，靈巧手本身也會(huì)出現(xiàn)定位誤差。機(jī)器人不能每次都等上層模型重新規(guī)劃。它需要像人一樣，在接觸瞬間根據(jù)觸覺反饋?zhàn)隹焖僬{(diào)整。

人抓一個(gè)濕滑物體時(shí)，不會(huì)重新推理每個(gè)關(guān)節(jié)角，而是根據(jù)手上的觸感立刻調(diào)整抓握姿態(tài)。TouchWorld的reactive模塊也是這個(gè)邏輯：上層模型給出粗動(dòng)作，底層根據(jù)實(shí)時(shí)觸覺反饋輸出修正量，讓動(dòng)作在接觸中不斷糾偏。

在TouchWorld的設(shè)計(jì)里，reactive模塊的推理頻率是Tactile World Model的4倍。中間策略每輸出一個(gè)動(dòng)作，底層都會(huì)進(jìn)行多次細(xì)微調(diào)整，每次輸出的是一個(gè)delta修正量，而不是重新生成完整動(dòng)作。

這套機(jī)制讓觸覺不再只是被動(dòng)記錄，而是參與動(dòng)作生成和執(zhí)行控制。

TouchWorld在六個(gè)真實(shí)機(jī)器人任務(wù)上進(jìn)行了測(cè)試：澆花、桌面清理、電源插頭插入、杯子插入、擦鍋、抽紙巾。

△TouchWorld在澆花、抽紙巾等六項(xiàng)真實(shí)機(jī)器人任務(wù)中完成測(cè)試

這些任務(wù)看起來并不炫，但非常適合檢驗(yàn)觸覺的價(jià)值。

澆花需要按壓噴壺按鈕；插頭插入和杯子插入考驗(yàn)精密接觸；擦鍋需要持續(xù)調(diào)節(jié)壓力；抽紙巾涉及柔性物體和穩(wěn)定拉取；桌面清理則要求機(jī)器人在多個(gè)子任務(wù)之間切換，并保持抓取穩(wěn)定。

實(shí)驗(yàn)中，TouchWorld在clean setting下平均成功率達(dá)到65.0%；在人為擾動(dòng)場(chǎng)景下，平均成功率達(dá)到57.2%。

相比Pi-0.5、FTP-1、GR00T N1.7等對(duì)照方法，TouchWorld在兩個(gè)設(shè)置下分別高出最強(qiáng)baseline15.7和16.0個(gè)百分點(diǎn)。

這個(gè)結(jié)果不意味著靈巧操作已經(jīng)被解決。65.0%的成功率也說明，這套系統(tǒng)距離大規(guī)模泛化還有很長(zhǎng)距離。

它驗(yàn)證了一件更具體的事：當(dāng)任務(wù)進(jìn)入接觸階段，觸覺目標(biāo)預(yù)測(cè)和高頻反饋修正，確實(shí)能提升機(jī)器人操作穩(wěn)定性。

對(duì)破曉智能來說，這比單點(diǎn)成功率更重要。TouchWorld證明了觸覺可以進(jìn)入機(jī)器人世界模型和操作策略，而不只是停留在傳感器讀數(shù)層面。

△HumanWBC采集人類視覺、動(dòng)作與觸覺數(shù)據(jù)，并對(duì)齊至機(jī)器人執(zhí)行

沖破黎明前的黑暗

破曉智能這個(gè)名字，也蘊(yùn)含著它成立的理由：機(jī)器人行業(yè)并不缺demo，也不缺關(guān)于通用智能的宏大敘事。但當(dāng)機(jī)器人真的要從展示走向真實(shí)場(chǎng)景，很多基礎(chǔ)設(shè)施仍然處在技術(shù)收斂前的混沌狀態(tài)。

五指靈巧手加觸覺就是其中之一：高自由度、帶全掌觸覺的靈巧手方案還不成熟；觸覺數(shù)據(jù)難采；真機(jī)靈巧操作數(shù)據(jù)稀缺；觸覺手套噪聲大；不同傳感器之間的數(shù)據(jù)表示不統(tǒng)一；統(tǒng)一benchmark也還沒有建立……

這些問題看起來瑣碎，卻互相鉗制著、決定了觸覺靈巧操作能不能真正走出來。

在楊朔團(tuán)隊(duì)研究過程中，為了采集高自由度靈巧手的觸覺數(shù)據(jù)，團(tuán)隊(duì)曾把觸覺手套裁剪后，硬套到五指靈巧手上，自己搭出一套真機(jī)采集方案。

但是手套用幾天就會(huì)壞，靈巧手會(huì)發(fā)熱，第一天標(biāo)定好的系統(tǒng)，第二天也可能出現(xiàn)漂移，數(shù)據(jù)噪聲很大，采集效率并不高。

這些看似很工程的問題，反過來強(qiáng)化了一個(gè)判斷：觸覺靈巧操作不是單點(diǎn)模型問題，而是一個(gè)系統(tǒng)問題。

這也是破曉智能為什么不能只停留在模型側(cè)、研發(fā)側(cè)的真實(shí)原因。

在觸覺靈巧操作里，數(shù)據(jù)本身就是基礎(chǔ)設(shè)施。破曉智能正在搭建面向人類操作的多模態(tài)數(shù)據(jù)采集平臺(tái)，方向是低成本、無感便攜、全場(chǎng)景的數(shù)據(jù)采集，把第一人稱視覺、腕部視角、手部姿態(tài)、全掌觸覺、全身姿態(tài)等信息放進(jìn)同一套系統(tǒng)里。

這些工作指向同一個(gè)目標(biāo)：讓機(jī)器人不只看到人類怎么操作，還能獲得更接近“人手真實(shí)感覺”的數(shù)據(jù)。

只有這樣的數(shù)據(jù)足夠多，TouchAnything才能從視頻中恢復(fù)觸覺，TouchWorld才能進(jìn)一步學(xué)習(xí)如何預(yù)測(cè)接觸、使用觸覺。

破曉智能要做的，也不只是發(fā)布一個(gè)模型。

它要圍繞人形機(jī)器人全身移動(dòng)靈巧操作，補(bǔ)齊一套系統(tǒng)能力：觸覺數(shù)據(jù)采集、觸覺估計(jì)、觸覺世界模型、遙操與硬件infra、評(píng)測(cè)體系，以及面向人形機(jī)器人的全身移動(dòng)靈巧操作模型。

如果說EgoTouch和TouchAnything解決的是觸覺數(shù)據(jù)從哪里來，TouchWorld解決的是機(jī)器人如何預(yù)測(cè)和使用觸覺，那么HumanWBC指向的是破曉智能最終想完成的閉環(huán)：讓機(jī)器人把感知理解、自主移動(dòng)、全身控制和靈巧操作接起來，從“能看懂”，走向“能走過去、抓起來、做完事”。

這一步會(huì)把問題從桌面靈巧操作繼續(xù)推向更復(fù)雜的人形機(jī)器人任務(wù)：移動(dòng)、平衡、雙臂協(xié)同、長(zhǎng)程任務(wù)、全身控制，以及觸覺反饋如何和機(jī)器人整體動(dòng)作系統(tǒng)結(jié)合。

破曉智能想做的，是讓機(jī)器人從“看見世界”，走向“理解接觸世界”。

未來的人形機(jī)器人要進(jìn)入家庭、服務(wù)、工業(yè)等真實(shí)場(chǎng)景，不能只靠視覺和語言。它必須知道自己有沒有碰到、有沒有抓穩(wěn)、有沒有滑、力是否合適，以及動(dòng)作偏了以后該如何修正。

從EgoTouch到TouchAnything，再到TouchWorld，楊朔團(tuán)隊(duì)已經(jīng)把這條路線推進(jìn)到了真實(shí)機(jī)器人操作系統(tǒng)里。

破曉智能第一次亮相，想拋出的判斷很明確：機(jī)器人基礎(chǔ)模型的下一層能力，是觸覺。

而沖破黎明前黑暗的第一步，就是讓機(jī)器人真正知道自己碰到了什么。

TouchWorld
論文：
https://arxiv.org/abs/2607.07287
tech blog：
https://phanes-lab.github.io/TouchWorld-website/

TouchAnything
論文：
https://arxiv.org/abs/2605.13083
官方項(xiàng)目主頁：
https://jianyi2004.github.io/TouchAnything-Website/

*本文系量子位獲授權(quán)刊載，觀點(diǎn)僅為原作者所有。