98年哈工大教授帶隊，破曉智能要把觸覺寫進機器人基礎模型

機器人伸出食指，按向噴壺上的扳機。鏡頭里，指尖已經貼上去了，機器人也 “認為” 自己完成了動作，但水沒有噴出來。

從畫面上看，似乎一切都對。但問題在于，指尖只是碰到了按鈕，卻沒有真正把它壓下去。對攝像頭來說，“手指貼在按鈕上” 和 “按鈕已經被按下”，可能幾乎是同一幅畫面；觸覺卻能直接告訴機器人：有沒有接觸、壓在了哪里、力到底夠不夠。

瞄準這類 “看起來做對了，物理上卻沒完成” 的失敗。破曉智能（PHANES AI）創始人、哈工大（深圳）長聘教授楊朔及其團隊發布了最新論文 TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation。

TouchWorld 讓觸覺同時承擔兩種角色：行動前，預測 “應該碰成什么樣”；接觸后，再根據真實反饋快速糾錯。

在澆花、桌面清理、電源插頭插入、杯子插入、擦鍋、抽紙巾六項真機任務中，TouchWorld 在無額外干擾的場景下取得 65.0% 的平均成功率；加入目標移動、抓握干擾等人為擾動后，成功率為 57.2%，分別超過最強基線 15.7 和 16.0 個百分點。每項任務采集了 200 條遙操作訓練軌跡，并進行了 100 次真機評測。

這項工作背后的楊朔，也是破曉智能（PHANES AI）創始人。

楊朔，破曉智能（PHANES AI）創始人、哈工大（深圳）長聘教授、博導

楊朔曾獲 Google PhD Fellowship，是當屆全球 9 位獲獎者之一；博士階段的工作入選 ICLR Best Paper Finalist，26歲回國任哈工大（深圳）長聘教授、博導，同年獲評國家級青年人才。目前，他已經創立破曉智能，組建起一支數十人規模、覆蓋數據、模型、機器人控制與硬件系統的具身智能團隊。

TouchWorld 不是一次偶然的 “論文突襲”。

它背后，是楊朔團隊從人類數據、觸覺建模，一路推演到機器人靈巧操作的一整條技術路線；也是破曉智能第一次把這條路線較完整地擺到臺前。

觸覺既要 “預判”，也要 “反應”

TouchWorld 標題里最關鍵的兩個詞，是PredictiveReactive。一個負責預判。一個負責糾錯。

所謂 Predictive，是讓機器人在真正開始動作前，先預測：當這個子任務完成時，畫面應該是什么樣，手上的壓力又應該是什么樣。

TouchWorld 會多做一步。

當任務進行到 “按下噴壺扳機” 時，模型不僅預測一張未來畫面，還會同時預測一張未來觸覺圖：具體是哪根手指應該產生壓力，壓力應該出現在指尖還是掌側，接觸強度大致應該達到什么狀態。

這張觸覺圖，相當于給機器人設定了一個物理世界里的目標。

畫面對了，不算完成。手指真正壓出了預期的接觸，才算完成。

這就是 TouchWorld 的預測能力：它讓機器人提前知道，自己應該 “碰成什么樣”。

不過，在現實環境里，知道目標還不夠。

杯子可能比訓練時放偏了幾厘米；插頭接觸插座后可能稍微傾斜；靈巧手長時間運行后，關節可能因為發熱、松動而出現誤差；甚至在機器人執行過程中，人還會突然碰一下它的手，或者把目標物體挪走。

這時，如果每發生一點變化，都讓上層大模型重新觀察、重新推理、重新生成一整段動作，速度會太慢。

于是，TouchWorld 增加了 Reactive 路徑。當機器人真正接觸物體后，系統會持續讀取最近的觸覺信號和關節狀態，在原本動作上疊加細小修正：手指往左偏一點，握力再加一點，手腕角度微調一點。

上層策略負責決定 “往哪走”。觸覺反饋負責保證 “碰到之后別走偏”。

這很像人去拿一個濕滑的玻璃杯。大腦會規劃手伸向哪里、用什么姿勢抓住它；但真正碰到杯壁后，手指感受到杯子要滑，握力會立即調整。這個過程不需要人停下來重新思考一遍 “如何拿杯子”。

TouchWorld 做的，正是把這兩種能力分開。

觸覺不是只在失敗后提醒機器人 “你碰錯了”，而是同時參與行動前的目標預測，并在行動中的快速糾錯。

TouchWorld 通過觸覺世界模型預測機器人任務子目標。

為什么一個 VLA “吃不下” 觸覺

按照常見思路，VLA 已經容納了視覺、語言和動作，再加一份觸覺數據似乎順理成章。

但楊朔團隊發現，觸覺并不是一塊可以直接拼進模型的 “新積木”。它和視覺的信息密度、出現時機與處理速度都完全不同。硬塞進同一個模型，結果很可能不是 VLA 學會觸覺，而是觸覺被視覺淹沒。

觸覺首先太稀疏：一個兩分鐘任務里，真正接觸可能只有十幾秒；圖像是百萬級像素，單手觸覺卻只有幾百維。若與視覺、語言同頻訓練，模型很容易只靠視覺 “偷懶”。

更重要的是，任務規劃、動作生成和接觸糾錯，本就不該共用一個時鐘。因此，TouchWorld 沒有繼續做一個 “什么都管” 的統一模型，而是把系統拆成三個層級。

TouchWorld 因此將系統拆成三個時間尺度：1Hz 的高層負責拆解任務并預測視覺 — 觸覺目標；10Hz 的中層根據目標生成主體動作；30Hz 的觸覺反應層則根據實時接觸和關節狀態持續修正動作。慢規劃、中速執行、快速糾偏，三層分別處理最適合自己的問題。

慢規劃、中速執行、快速糾偏，三層分別處理不同時間尺度的問題。

TouchWorld 三層架構：高層規劃并預測目標，中層生成動作，高頻觸覺反饋實時糾偏。

消融實驗也證明，這種分層并非多此一舉。完整 TouchWorld 在無擾動和人為擾動場景中的平均成功率分別為 65.0% 和 57.2%。拿掉觸覺輸入后，成功率降至 43.3% 和 30.0%；拿掉 30Hz 觸覺修正層后，則降至 55.3% 和 40.3%，在目標移動或抓握受擾時尤其明顯。

去掉 Tactile World Model，成功率降至 60.2% 和 51.2%；去掉子任務規劃模塊，則降至 55.5% 和 46.2%。

論文還有一個有意思的結果：經過任務階段監督和記憶增強的 4B 子任務規劃模型，準確率達到 91%，反而超過零樣本 32B 模型的 84%。

這說明，在層級系統里，單純把模型做大未必最有效。讓模型知道任務進行到哪一步、之前做過什么，以及下一步是否能被下游策略執行，可能更加重要。

65% 的成功率當然還談不上解決靈巧操作，但它至少證明：相比把觸覺簡單塞進統一策略，明確分開 “預測接觸” 和 “根據接觸快速反應”，確實更有效。

觸覺從哪來，又怎么真正用起來

TouchWorld 不是從零開始的。早在這之前，楊朔團隊就在圍繞同一個問題往前推進：機器人要學會觸覺，首先得有觸覺數據；但真實的觸覺數據太少，又該怎么把它規模化？

Touch 系列由此產生。團隊先用 EgoTouch 把人類操作中的第一人稱畫面、手部姿態和雙手壓力同步采下來；隨后又通過 TouchAnything 學習視覺與觸覺之間的對應關系，讓模型有機會從普通視頻中推測接觸位置和壓力分布。

到了 TouchWorld，觸覺終于從 “被采集、被預測”，走到了 “真正被機器人使用”：行動前，它用來預測應該形成怎樣的接觸；行動中，它又成為實時糾錯的反饋信號。

這條路線的邏輯很清楚：EgoTouch 負責采，TouchAnything 負責從視頻中恢復，TouchWorld 負責讓機器人真正用上。

在解決 “觸覺數據從哪里來” 之前，楊朔和他的團隊就意識到，如今互聯網上并不缺人類操作視頻：擰瓶蓋、切菜、拿杯子、使用工具，這些動作每天都在被相機記錄下來。

但普通視頻只能拍到手怎么移動、物體怎么變化，看不到手與物體接觸時，掌心和指尖究竟承受了多大的壓力。

為此，團隊搭建了一套穿戴式采集系統：采集者頭部佩戴第一人稱相機，左右手腕各安裝一臺近距離相機，同時佩戴雙手姿態追蹤設備和密集觸覺手套。一次操作會被同步記錄成多路 RGB 視頻、雙手 3D 姿態，以及左右手的連續壓力分布。

EgoTouch 第一人稱視覺 - 觸覺數據采集系統。

最終形成的 EgoTouch 覆蓋了 208 項操作任務、1891 段交互、超過 20 小時視頻、約 210 萬幀數據和 1000 余個物體，場景橫跨家庭、辦公室、工作臺、零售和戶外環境。

而 TouchAnything 的意義，并非宣布攝像頭從此可以完全替代觸覺傳感器。真正執行精細操作時，機器人仍然需要實時、可靠的觸覺硬件。它更像是在解決一個規模化問題：先用有限的真實觸覺數據教會模型視覺與觸覺的對應關系，再為大量原本沒有觸覺標注的人類視頻補充觸覺監督提供可能。

TouchAnything 多視角觸覺預測模型架構。模型輸入頭戴第一人稱視角、左右腕部視角和雙手 3D 姿態，通過多視角視覺特征融合與姿態感知融合，預測雙手壓力分布圖，從而從純視覺視頻中恢復觸覺信息。

但能夠 “猜到人手可能感受到了什么”，還不等于機器人會使用這些信息。

這也讓 TouchWorld 的出現變得順理成章。

TouchWorld 中的觸覺世界模型，先在 20.2 小時 EgoTouch 人類交互數據上預訓練，再使用 10 小時機器人演示數據進行微調。前者讓模型接觸更多樣的人類操作和接觸模式，后者則把這些先驗適配到具體的機器人靈巧手、觸覺傳感器和動作空間。

至此，整條技術路線才真正閉合：

EgoTouch 回答的是觸覺數據怎么采；TouchAnything 回答的是沒有傳感器標注的視頻，能不能恢復出觸覺；TouchWorld 回答的則是機器人如何根據觸覺預測目標、生成動作，并在真實接觸中完成糾偏。

從記錄人類怎么觸碰世界，到讓機器人學會真正 “碰對”，楊朔團隊用了兩篇論文，把三個環節一步步接了起來。

沒有現成答案，破曉智能要做一項全棧工程

把 TouchAnything 和 TouchWorld 連起來看，破曉智能的定位才真正清晰：它不是一家單純做觸覺手套的公司，也不是一家只提供人類數據的公司。

在楊朔看來，數據采集設備、觸覺硬件和機器人平臺都是手段，最終都要服務于同一個目標 —— 訓練和迭代能夠遷移到真實機器人上的基礎模型。

破曉智能的技術路線延續了楊朔過去對 Data-Centric AI 的研究思路。在進入具身智能之前，他長期關注數據質量、噪聲處理和訓練效率；到了機器人領域，他首先追問的依然不是 “模型還可以怎么改”，而是 “什么樣的數據路線，才可能支撐能力持續擴展”。

如果說 TouchWorld 解決的是機器人怎么 “把手碰對”，破曉智能進一步瞄準的是 “整個身體如何移動到位，再把事情做對”。

為此，破曉智能也正在推進更完整的人類數據采集方案。除了第一人稱頭環和觸覺手套，還包括腰帶與腳踝柔性綁帶：頭環記錄人看見什么，手套記錄手如何接觸物體，腰帶和腳踝設備則捕捉移動、轉身、彎腰、下蹲和踮腳等全身動作。

真實的人類操作，很少只發生在一張固定桌子前。做家務需要在房間中移動，取高處物品需要踮腳，整理地面物品需要下蹲，搬運時還要處理平衡、移動和雙手協同。破曉智能希望學習的，不只是 “手怎么抓”，而是人如何在真實空間中移動到合適的位置，再完成接觸密集的操作。

但 TouchWorld 并非建立在一套現成、穩定的軟硬件平臺之上。觸覺數據不足，手套存在噪聲、漂移和批次差異，高自由度、全掌觸覺且足夠穩定的靈巧手也很難直接買到。

楊朔團隊的工程化能力，讓 TouchWorld 不只停留在模型設想，而是真正走到了完整系統和真機驗證。市場上沒有現成方案，團隊就自己改硬件、搭數據管線、訓練模型、跑控制閉環；評測體系也需要重新設計任務、采集數據、設置標準和擾動場景，再反復進行真機測試。

TouchWorld 在澆花、抽紙巾等六項真實機器人任務中完成測試。

這也意味著，破曉智能真正要搭建的不是一個單點模型，而是一整套全棧能力：從人類數據采集和觸覺數據清洗，到視覺 — 觸覺對齊、世界模型訓練、靈巧手遙操作、真機策略部署，再到傳感器適配和統一評測環境。

目前團隊成員已經能夠覆蓋機械設計、嵌入式開發、數據基礎設施、世界模型訓練和真機部署等多個環節。這是破曉智能敢于把目標指向全身移動靈巧操作的底氣，也構成了它相比單一模型方案更完整的技術壁壘。

單個模型架構可以被追趕，真正難復制的，是數據、硬件、模型和評測體系共同形成的閉環。

接下來，團隊計劃逐步開源 EgoTouch、TouchAnything 和 TouchWorld 相關的數據、代碼與模型，并繼續推進五指靈巧手、觸覺世界模型和全身移動操作方向的研發。

視覺讓機器人知道世界長什么樣，觸覺讓機器人確認自己是否真的改變了世界。

而破曉智能想做的，是讓這種能力不再停留在一組傳感器讀數里，而是成為機器人基礎模型的一部分。

TouchWorld

• 論文：https://arxiv.org/abs/2607.07287
• tech blog:https://phanes-lab.github.io/TouchWorld-website/

TouchAnything

• 論文：https://arxiv.org/abs/2605.13083
• 官方項目主頁：https://jianyi2004.github.io/TouchAnything-Website/