AnyTouch視觸覺感知的一統！人大、北郵等團隊解視觸覺感知統一難題，模型代碼數據集全開源

觸覺是人類感知物質世界的重要感官。相比于“看得見”，“摸得著”能夠提供更直接且細膩的物理反饋，使我們在與物體交互時實時感知其材質、硬度以及形狀的微小變化。這種動態感知能力不僅有助于準確判斷物體特性，還在精確操控和復雜操作中發揮關鍵作用。長期以來，通過各種觸覺傳感器賦予機器人類似人類的觸覺感知能力，一直是人工智能和機器人學的重要研究方向。其中，由于具有與人類皮膚相匹配的高分辨率，視觸覺傳感器展現出了巨大的潛力。

然而，構建基于視觸覺傳感器的強大觸覺感知系統仍面臨諸多挑戰。由于發展時間較短，視觸覺傳感器種類繁多且缺乏統一標準，不同的傳感器在感知相同的觸覺信息時存在一定差異。這種異構性使得當前的視觸覺數據采集和模型訓練通常依賴于特定傳感器，導致單一傳感器模型的數據規模受限，難以涵蓋豐富的觸覺場景，從而制約了觸覺感知系統的泛化能力和魯棒性。此外，人類的觸覺感知是一個動態與靜態信息交織的過程，能夠從紋理、滑動和形變變化等多種信號精準地理解物體特性。這種對動態觸覺細節的敏銳捕捉能力在精細機器操縱中同樣至關重要，也是當前多傳感器觸覺感知模型所欠缺的。本論文針對視觸覺感知所面臨的核心挑戰，提出了一個配對的多傳感器多模態觸覺數據集TacQuad，為利用數據驅動方法顯式整合多種觸覺傳感器奠定基礎。更進一步地，本文提出動靜結合的多傳感器統一觸覺表征學習框架AnyTouch，為包含真實世界操縱的多種任務和多種視觸覺傳感器提供有效的觸覺感知。

論文鏈接：https://arxiv.org/abs/2502.12191

項目主頁：https://gewu-lab.github.io/AnyTouch/

TacQuad: 配對的多傳感器多模態觸覺數據集

01

想象一下，假如不同的照相機拍同一個物體，但由于鏡頭、光線、顏色處理方式等不同，最后的照片卻各不相同——這會讓AI很難直接理解它們其實是同一個物體。類似地，不同的視觸覺傳感器使用的技術原理也略有不同，相當于“看世界的方式”各不相同，導致它們采集的數據很難直接遷移使用。究其根本，在于缺乏一個顯式地配對多傳感器數據，并允許模型從其他模態獲取更全面的觸覺知識、借助多模態數據彌合傳感器差異的可靠觸覺數據集。

圖1 配對的多傳感器多模態觸覺數據集TacQuad

為了讓AI更聰明地“摸清世界”，本工作采集了配對的多傳感器多模態觸覺數據集TacQuad，通過提供包含文本描述和視覺圖像的配對多傳感器數據，支持以數據驅動的方式構建統一的多傳感器觸覺表征空間，從而為這一問題提供一個更全面的解決方案（如圖1所示）。為了確保數據的豐富性，我們精心挑選了四種觸覺傳感器：來自公開平臺的GelSight Mini和DIGIT，實驗室自制的DuraGel，以及能夠感知力場的Tac3D。然而，考慮到收集細粒度多傳感器配對數據成本高昂，為擴大數據采集的規模，同時盡可能地保證數據的對齊質量，我們使用粗粒度和細粒度兩種方法采集了兩組多傳感器配對數據：

• 細粒度時空對齊數據：
• 該部分數據通過將四個傳感器以相同的速度按壓同一物體的相同位置采集，共包含來自25個物體的17524個接觸幀，可用于細粒度觸覺任務，如跨傳感器生成。
• 粗粒度空間對齊數據：
• 該部分數據由人分別手持四個傳感器，在同一物體上按壓同一位置，盡管不能保證時間對齊，但可以盡可能地保證采集空間上的一致。該部分包含來自99個物體的55082個接觸幀，包括室內和室外場景，可用于跨傳感器匹配任務。

在TacQuad數據集中，每次觸覺接觸都會同時記錄來自第三視角的視覺圖像，并由GPT-4o生成對應的觸覺屬性描述。這樣，AI不僅能“摸”到物體，還能“看到”并“理解”它的觸感。為進一步利用更多傳感器的大量已有數據，本工作還利用GPT-4o對多個開源觸覺數據集生成或擴展文本描述，讓這些原本只包含傳感器數據的數據集也擁有豐富的語言信息。

AnyTouch: 動靜結合的多傳感器統一觸覺表征學習框架

02

在日常生活中，我們的觸覺不僅僅是“摸一摸”那么簡單，而是一個包含靜態和動態過程的綜合體驗。比如，輕輕按壓一塊海綿可以感受到它的柔軟（靜態觸覺），而用手指滑動還能感知它的紋理和彈性（動態觸覺）。這兩種感知方式相輔相成，讓我們能夠更準確地理解周圍的物理世界并與之交互。受此啟發，本工作提出了AnyTouch——一個動靜結合的多傳感器統一觸覺表征學習框架，分別使用觸覺圖像和視頻，從靜態和動態感知結合的角度學習統一的多傳感器觸覺表征（如圖2所示）。

圖2 動靜結合的多傳感器統一觸覺表征學習框架AnyTouch

為了適應不同的觸覺場景的感知需求，AnyTouch 采用了多層級架構，分階段提升模型的觸覺感知能力，在第一階段中關注像素級的觸覺細節，而第二階段則學習傳感器無關的語義級特征，使AI能更全面地理解和處理觸覺信息：

掩碼圖像/視頻建模（階段1）：為增強觸覺感知模型的細粒度感知能力，本框架采用掩碼自編碼器（MAE）技術，訓練模型在多種傳感器的數據輸入中捕捉像素級細節。該框架隨機遮擋觸覺圖像和視頻的Token序列的一部分，并構建一個解碼器來獲得重建的靜態圖像和動態視頻。為進一步強化模型對動態連續形變的理解，在重建動態視頻時還引入未來幀預測的額外任務。

多模態對齊（階段2）：本框架通過觸覺-視覺-文本多模態對齊，對包含其他配對模態的多傳感器觸覺數據進行整合，以獲得更全面的語義級觸覺知識，并借其他模態作為橋梁減少傳感器之間的感知差異。由于不同數據集視覺模態存在場景差異，本框架選擇語義更一致的文本模態作為錨點，并為每個批次數據內的每種模態組合選擇最大的數據子集進行對齊，從而最大限度地利用多模態配對數據。

跨傳感器匹配（階段2）：為充分地利用多傳感器配對數據，并通過對表示相同觸覺信息的多傳感器觸覺表征進行聚類來構建統一的空間，本框架引入了一個新的跨傳感器匹配任務。在此任務中，模型需要確定輸入的一對觸覺圖像或視頻是否采集自同一對象上的同一位置。該任務的目標是在執行多模態對齊的同時，對來自不同傳感器的相同觸覺信息的表示進行聚類，從而增強對傳感器無關特征的學習，形成一個統一的多傳感器表征空間。

本框架還使用通用傳感器Token來整合并存儲與各傳感器相關的信息，從而在泛化到新傳感器時最大限度地利用多傳感器訓練數據。

實驗與分析

03

為探究每種傳感器數據對下游任務的貢獻，本工作將GelSight、GelSlim、DIGIT和GelSight Mini的數據整合到AnyTouch訓練中，獲得四種模型，并在四個下游任務中比較。如表1所示，與未接觸觸覺數據的CLIP模型相比，使用GelSight數據的訓練顯著提升了模型在所有任務上的性能，表明觸覺表征預訓練對新傳感器的遷移至關重要。將其他傳感器的數據整合后，模型在三個未見數據集上的性能提升，特別是在未見傳感器的數據集上表現更好，證明這些數據的知識能夠遷移到其他觸覺傳感器。

表1整合各觸覺傳感器數據對模型性能的影響

為驗證AnyTouch是否能將來自不同傳感器的相同觸覺信息聚集在一起，本工作從TacQuad細粒度子集的 30 次觸摸中抽取每種傳感器的一個接觸幀，并輸入CLIP模型以及逐步引入掩碼建模、多模態對齊和跨傳感器匹配的 AnyTouch模型進行對比可視化（見圖3）。CLIP以及引入掩碼建模后的模型難以辨別來自不同傳感器的相同觸覺信息，直接按傳感器類型對樣本進行聚類，這對于跨傳感器泛化來說并不理想。加入多模態對齊后，表征開始基于觸覺信息混合和聚類，但仍存在按傳感器類型的聚類趨勢。通過跨傳感器匹配任務，來自不同傳感器的觸覺表征在共享空間中完全混合，能夠明顯地觀察到表征根據觸覺信息進行聚類，觸覺表征逐漸從傳感器依賴的特征轉向更加通用的跨傳感器信息。

圖3 AnyTouch中各組件對多傳感器表征空間的影響

為驗證統一多傳感器表征在遷移觸覺知識到已見與未見傳感器上的優勢，本工作將 AnyTouch與現有的單傳感器和多傳感器模型，分別在已見與未見傳感器的兩個數據集上進行比較。如表2、表3所示，AnyTouch在所有數據集上均優于現有方法，證明了其在靜態感知能力上的優勢。

表2（左）已見傳感器數據集性能對比

表3（右）未見傳感器數據集性能對比

為測試 AnyTouch 在真實物體操縱任務中的動態感知能力，本工作在細粒度傾倒任務上進行了實驗。在此任務中，機械臂需依靠觸覺反饋從含100克小鋼珠的量筒中倒出60克，如圖4所示。各模型在10次真實世界測試中的平均誤差對比如表4所示。結果表明，從動靜結合角度學習統一的多傳感器表示對于完成包括現實世界任務在內的各種任務至關重要。

圖4（左）真實世界傾倒任務示意圖 表4（右）傾倒任務性能對比

總述

04

本文從全新的動靜結合角度構建統一的多傳感器觸覺表征空間，提出配對的多傳感器多模態觸覺數據集TacQuad以提供顯式整合多傳感器的數據支撐，并在此基礎上提出動靜結合的多傳感器統一觸覺表征學習框架，通過多層級的方式學習適用于各種任務的通用觸覺表征。我們相信從靜態與動態結合的角度學習統一的多傳感器表征的方法能夠為視觸覺感知建立一個標準化的學習范式，并進一步激發多傳感器表征學習的研究。

本文第一作者馮若軒為中國人民大學二年級碩士生，主要研究方向為多模態具身智能，師從胡迪教授。作者來自于中國人民大學，北京郵電大學以及武漢科技大學，其中方斌教授和胡迪副教授作為共同通訊。來源：CAAI認知系統與信息處理專委會

腦機接口社區是國內首家腦機接口(BCI)產業服務平臺。主要為企業、科研團隊、投資機構和從業者提供以下服務：

宣傳報道：圖文、短視頻、直播形式報道企業動態、技術解讀、產品介紹等內容，提升曝光和行業影響力。

資源對接：根據需求匹配資本、供應鏈、臨床機構、渠道方等資源，完成真實對接，促進合作。

成果轉化：協助技術團隊尋找產業方、投資人及落地場景，推動技術到產品的轉化。

活動策劃執行：承接線上線下路演、沙龍、論壇等活動的策劃與執行。

其他定制需求：包括報告定制、市場調研、人才招聘支持等個性化服務。

合作洽談，請聯系微信：ZuoLeiLeiya

（備注：姓名-單位-合作）

投稿丨成為創作者，請聯系微信：RoseBCI

不錯過每一條腦機前沿進展

一鍵三連「分享」、「點贊」和「在看」

歡迎在評論區聊聊