清華&騰訊聯手讓機器人"讀懂"人類動作

這項研究由清華大學深圳國際研究生院、騰訊機器人實驗室（Tencent Robotics X）和鵬城實驗室聯合完成，論文以arXiv預印本形式發布于2026年4月10日，編號為arXiv:2604.08921。感興趣的讀者可通過該編號在arXiv平臺檢索完整論文。

**機器人想幫你，卻找不準你的手在哪里**

假設你坐在輪椅上，一臺護理機器人正要伸手扶你站起來。它的攝像頭就裝在自己身上，距離你只有不到一米，拍到的畫面里滿是你的上半身——但它能否準確判斷出你的腋下、肩膀此刻在空間中的精確位置？差了十厘米，它可能會戳到你；差了二十厘米，可能根本夠不著。

這個看似簡單的問題，在機器人技術領域困擾了研究人員很長時間。正是為了解決這一難題，來自清華大學、騰訊機器人實驗室和鵬城實驗室的研究團隊開發了一個名為TAIHRI的系統。這是業內首個專門為近距離人機交互場景設計的"視覺語言模型"——換句話說，它不僅能看圖，還能理解人說的話，并把兩者結合起來，精準定位人體上那些對當前任務最關鍵的位置。

研究團隊將整個問題歸結為一句話：機器人不需要了解你全身每一塊肌肉的形狀，它只需要知道"在做這件事的時候，最重要的那幾個點在哪里"。這個思路看起來樸素，但實現起來卻需要一套全新的技術方案。

一、 為什么已有的技術不夠用？

在理解TAIHRI之前，有必要先說清楚現有方法面臨的困境。

過去十多年里，研究人員開發了許多從單張照片重建人體姿態的技術，比如著名的SMPL系列人體模型以及基于它的各種估計方法。這些技術的共同目標是：給定一張照片，輸出整個人體所有關節的三維坐標。聽起來很全面，但它們幾乎無一例外地使用了一種叫做"根坐標系"的評估方式——簡單說，就是以人體的骨盆作為原點，描述各個關節相對于骨盆的位置。

這種方式在拍全身照的場景下很好用，就像你在相冊里看一張集體合影，知道每個人的大致姿勢就夠了。然而機器人面對的場景完全不同：它的攝像頭貼著自己的身體，距離被服務的人往往不到兩米，看到的畫面里可能只有對方的上半身甚至局部肢體。在這種情況下，"這個人的左手腕相對于他骨盆的位置"這個信息對機器人幾乎沒有意義——機器人需要的是"左手腕此刻在我（機器人）的攝像頭坐標系下，距離我多遠、在哪個方向"。

近些年有一些方法開始嘗試引入攝像頭的內參（一種描述攝像頭光學特性的參數，類似于鏡頭的規格說明書），從而把姿態估計的結果換算到真實的三維空間里。這是一大進步，但新的問題隨之出現：在近距離拍攝時，畫面里的人往往是被截斷的——你只能看到上半身，或者只有一只手臂。傳統方法依賴對完整人體的理解來推斷全身位置，一旦看不到完整的人，估計精度就會急劇下降，而且這種誤差偏偏會集中體現在那些離軀干最遠的部位，比如手腕、腳踝——而這些恰好是機器人最需要精確定位的地方。

研究團隊在論文中展示了一個令人印象深刻的對比案例：當一個人站在離機器人約兩米處時，多個當前最先進的方法對其手腕位置的估計誤差高達幾百毫米，有的甚至超過了九百毫米——將近一米的誤差，對于任何需要實際接觸的任務都是不可接受的。

二、 TAIHRI的核心思路：把問題想小，把精度做高

TAIHRI的解題思路可以用一個日常場景來理解。假設你是一位廚師，有人告訴你"今天要做一道紅燒肉"，你的注意力會自然集中在豬肉、醬油、糖和蔥姜這幾種核心食材上，而不是去盤點整個廚房里所有的調料。TAIHRI的任務感知邏輯與此相似——用戶或機器人控制系統告訴它"要握手"，它就把注意力集中到右手腕；說"要攙扶"，它就去找腋下和肩膀。

為了實現這一目標，TAIHRI被構建為一個視覺語言模型，它的底座來自阿里巴巴開源的Qwen3-VL，參數量分別為2億和4億兩個版本。這類模型的特點是能夠同時處理圖像和文字，并以"預測下一個詞"的方式逐步生成回答——就像聊天機器人回答你的問題一樣，只不過TAIHRI輸出的不是文字，而是一系列代表三維空間坐標的數字標記。

研究團隊在這個框架上做了幾項關鍵設計，缺一不可。

第一項是"離散化交互空間"。直接預測精確的三維坐標對語言模型來說很困難，因為這些模型天生擅長處理離散的符號（比如文字），而不是連續的數值。研究團隊的解決方案是把機器人前方的空間切成一個個小格子，就像把一個立方體蛋糕切成一千乘一千乘一千的小方塊，每個方塊用一個編號來代表。寬度方向、高度方向、深度方向各分一千格，任何一個位置都可以用三個零到九百九十九之間的整數來精確描述。這樣，預測位置就變成了"從詞匯表里選詞"的問題，與語言模型的工作方式天然契合。

第二項是"統一焦距處理"。不同攝像頭有不同的焦距（這個參數決定了畫面的視野寬窄和透視關系），直接用不同焦距的圖片訓練模型會讓模型很困惑。研究團隊采用了一個聰明的處理方式：把所有輸入圖像統一縮放到對應焦距為一千的尺寸，就像把不同比例尺的地圖統一換算成同一個比例尺，然后再進行分析。與此同時，他們用隨機裁剪的數據增強方式來模擬不同主點偏移的情況，使模型能夠適應各種攝像頭配置。

第三項，也是最有新意的一項，是"先看二維、再想三維"的推理鏈設計。這個設計受到"思維鏈"技術的啟發——在人工智能領域，讓模型在給出最終答案之前先寫出推理過程，往往能顯著提升準確率，就像數學考試時要求寫出解題步驟而不是直接填答案。TAIHRI在預測關節的三維坐標之前，會先預測它們在圖像平面上的二維像素位置，然后再根據這些二維位置和空間深度關系推算出三維坐標。這個設計非常合理：從一張照片里找到一個人的手腕在圖像上的大概位置（二維定位），比直接猜它距離攝像頭有多遠要容易得多；有了準確的二維位置后，再結合已知的攝像頭參數推算深度，精度自然大幅提升。

三、 訓練用的數據：從零搭建一個"近距離互動圖書館"

再好的方法也需要數據來訓練。然而現有的人體姿態數據集幾乎全是從遠處拍攝的全身照，完全不符合機器人近距離服務場景的需求。

為此，研究團隊專門構建了一個名為CloseHRI的數據集。整個制作過程分為幾個階段，有點像用積木搭建一個虛擬的人機交互訓練場。

第一步，團隊從AMASS這個大型動作捕捉數據庫里抽取了大量真實人體動作序列，然后用Blender（一個專業的三維建模軟件）把這些動作渲染成法線圖——法線圖是一種特殊的圖像格式，記錄的是物體表面每個點的朝向，看起來像是五顏六色的人形輪廓，可以精確描述人體的形態而不帶任何紋理細節。在渲染時，他們把虛擬攝像機放置在距離人體零點五到三米的位置，高度和朝向隨機變化，模擬真實機器人上攝像頭的各種可能角度。

第二步，以這些法線圖為控制信號，團隊使用了SDXL（一款高質量的人工智能圖像生成模型）配合各種文字描述（比如"一個穿紅色襯衫的人站在客廳里"）來生成看起來真實自然的照片。這些生成的照片背景各異、人物衣著多樣，但身體姿態和與攝像機的空間關系是完全受控的。

第三步是質量過濾。用SAM3（一種圖像分割工具）檢查生成圖像里人體區域與預期形態的重合程度，只保留重合度（IoU）超過0.9的高質量圖像；再用VitPose（一種二維姿態估計工具）重新檢測圖像中的關節點位置，只保留檢測誤差在十五像素以內的樣本。

經過這套流程，CloseHRI最終包含超過一百萬張圖像。加上額外引入的BEDLAMv1、BEDLAMv2和PDhuman等數據集中的近距離樣本（過濾掉人體平均深度超過三米的樣本），最終訓練集約有一百二十萬張圖像。研究團隊還專門為訓練準備了一個包含六千多條不同表述方式的"交互指令詞庫"，覆蓋了"幫人從輪椅上站起來"、"給人按摩肩膀"、"和人握手"等各種真實場景的描述。

四、 強化學習：讓模型從"及格"進化到"精準"

TAIHRI的訓練分兩個階段完成，可以用學開車來類比。第一階段是"教練示范、學員模仿"的有監督訓練（SFT階段）：給模型看大量圖片，同時告訴它正確答案應該是什么，讓它學會基本的推理模式。這一階段結束后，模型已經能給出大致合理的結果，但還不夠精準。

第二階段是"自己練習、根據反饋調整"的強化學習（RFT階段）：模型對同一張圖片生成多個不同的預測結果，然后根據這些結果與正確答案的差距獲得"獎勵分數"，得分高的預測策略會被強化，得分低的會被削弱。這個過程類似于一個棋手通過大量對弈來磨練棋感——不是死記硬背棋譜，而是通過反饋逐漸形成更好的判斷。

具體來說，研究團隊使用了一種叫做GRPO的強化學習算法。獎勵函數的設計是一大亮點：它綜合了兩種信號，一是用"胡伯損失"（一種對極端誤差不那么敏感的數學工具，就像裁判打分時會去掉最高分和最低分取中間值）衡量所有可見關節的平均預測誤差，二是統計有多少關節的誤差在一個預設閾值以內（類似"命中率"）。兩者加權組合后形成最終獎勵，既關注整體精度，也關注極端失誤的頻率。

這個設計有一個重要細節：研究團隊發現如果在強化學習階段改用最簡單的均方誤差（MSE）作為損失函數，性能會急劇下降——均方誤差對極端誤差的懲罰過重，會導致模型的梯度更新出現偏差，就像教練對學員每一個小錯誤都嚴厲批評，反而讓學員越來越緊張、越練越差。改用胡伯損失和命中率的組合后，模型的收斂更加穩定，最終精度也顯著提升。

五、 實驗結果：數字背后的真實差距

研究團隊在兩個獨立的測試數據集上驗證了TAIHRI的性能，分別是Harmony4D-Egocentric（包含6389幀近距離人與人互動的畫面，用20臺外置攝像機的多視角三角測量獲取精確三維標注）和EgoBody（從中篩選了5000幀三米以內的近距離樣本）。評估指標是"全局坐標系下的平均關節位置誤差"（G-MPJPE），單位是毫米，這個指標不做任何對齊或修正，直接衡量預測位置與真實位置在三維空間中的歐氏距離——對機器人實際應用來說，這是最直接也最嚴苛的評估標準。

為了全面考察模型的任務感知能力，測試設計了四種不同的關節組合：上肢關節（雙側肩膀和雙側肘部）、下肢關節（雙側髖部和雙側膝蓋）、左側上肢（左肩、左肘、左腕）和右側上肢（右肩、右肘、右腕）。

在Harmony4D數據集上，TAIHRI的4B版本在上肢關節的誤差為93.83毫米，而目前最優秀的對比方法SAM 3D Body（基于DINOv3主干網絡）的誤差為124.91毫米，CameraHMR的誤差更是高達167.50毫米。在左側上肢這一項，TAIHRI達到107.81毫米，而SAM 3D Body為143.13毫米，PromptHMR為158.25毫米。這些差距在實際操作中意味著什么？簡單說，TAIHRI的誤差大約相當于一根手指的寬度，而部分競爭方法的誤差超過了一個拳頭的大小。

在EgoBody數據集上，TAIHRI同樣領先——上肢誤差為75.77毫米，比SAM 3D Body的89.87毫米低了約16%，比CameraHMR的94.92毫米低了約20%。

與通用大模型的比較同樣說明問題。研究團隊抽取了50個典型樣本，讓GPT-5.2、Qwen3-VL-235B-A22B-Instruct和Gemini-2.5 Pro也來做同樣的測試。GPT-5.2根本不支持從單張圖片預測三維坐標；Qwen3-VL雖然能給出數字，但誤差高達1298.3毫米，基本沒有實用價值；Gemini-2.5 Pro表現最好但誤差仍有436.9毫米，是TAIHRI（97.2毫米）的四倍多。

此外，研究團隊還測試了一種"先檢測二維關節點再用深度估計模型推算三維坐標"的方案。具體做法是先用VitPose檢測圖像中的關節點位置，然后分別用Depth Anything 3和DepthLM這兩種深度估計模型讀取對應像素的深度值，再反投影到三維空間。盡管這類方法在通用場景下表現不錯，但在近距離人機交互場景中，誤差分別為352.2毫米和282.3毫米，遠遜于TAIHRI。這是因為深度估計模型對圖像中每個像素獨立預測深度，并不理解人體的結構約束，遇到關節被遮擋或位于人體內部的情況時，估計結果就會出現系統性偏差。

六、 消融實驗：拆開來看哪塊功勞最大

研究團隊還做了一系列"拆零件"的對比實驗，逐個驗證設計中每個環節的必要性。

關于攝像頭內參的處理方式，實驗顯示：如果完全不給模型提供攝像頭參數，誤差在上肢關節上從93.83毫米猛增到425.13毫米；如果改用一種"可學習的射線嵌入"（讓模型自己從數據中學習如何處理不同攝像頭參數）來代替研究團隊設計的焦距統一化方案，誤差降至380.29毫米，有所改善但仍遠不如原方案。這說明把攝像頭參數以"統一焦距+圖像縮放"方式注入模型的設計是精準定位的關鍵基礎。

關于二維推理環節，如果跳過二維關節預測、直接讓模型輸出三維坐標，上肢誤差從93.83毫米升至126.67毫米。這驗證了"先定位二維再推算三維"的思路確實有效——二維預測為三維推斷提供了必要的視覺錨點。

關于強化學習階段，去掉這一階段后，上肢誤差從93.83毫米升至101.82毫米。單看差距似乎不大，但在實際機器人操作中，七八毫米的精度提升足以區分"穩健完成任務"和"偶爾失誤"的差距。而一旦改用均方誤差作為強化學習的獎勵信號，誤差飆升至795.24毫米，比完全不做強化學習還糟糕得多——這一現象有力印證了獎勵函數設計的重要性。

七、 實際應用：從實驗室到真實機器人

研究的最終價值要在現實中接受檢驗。研究團隊將TAIHRI部署在一臺雙臂機器人上，搭配安裝在機器人身上的Orbbec Femto Bolt攝像頭（720p分辨率），開發了一套完整的閉環控制流程。

整個流程的運作方式是：用戶發出一條自然語言指令，比如"和他握手"；攝像頭拍攝當前畫面；TAIHRI結合畫面和指令，輸出任務關鍵的三維關節坐標；這些坐標被傳遞給運動規劃系統，通過逆運動學計算（一種根據目標位置反推各關節應該轉到什么角度的計算方法）控制機器人的手臂運動。整個過程形成感知-行動的閉環，機器人可以根據人的動態變化持續更新運動目標。

研究團隊用這套系統演示了握手、肩部按摩等多種交互任務，結果顯示TAIHRI提供的定位結果足夠穩定，機器人能夠可靠地完成這些需要精確接觸的動作。

TAIHRI還支持另一個有用的下游任務：全局坐標系下的人體網格恢復。傳統人體重建方法給出的是以骨盆為原點的相對姿態，無法直接告訴機器人這個人的整個身體在空間中的絕對位置。TAIHRI預測的三維關節點可以作為"錨點"，將傳統方法重建的人體網格平移旋轉到正確的全局位置上。實驗顯示，使用一個到三個錨點都能顯著改善對齊精度，而且使用右臂關鍵點作為錨點時，對右手腕位置的估計誤差從一百多毫米降低到十幾毫米——降幅超過了90%。

說到底，TAIHRI解決的是一個很具體的工程問題：讓服務機器人在近距離接觸人的時候，能夠更準確地判斷該去哪里、該夠向何處。這個問題不像"機器人能不能思考"那樣哲學，也不像"機器人會不會取代人類"那樣宏大，但它是一切實用人機交互的基礎——沒有準確的空間感知，機器人再聰明也無從下手。

這項研究的貢獻在于把"視覺語言模型"這種近年大熱的技術方向與"精準三維定位"這個傳統機器人感知問題結合在了一起，并且給出了一套完整的工程方案：數據怎么來、空間怎么表示、推理怎么設計、訓練怎么優化，每個環節都有針對性的處理。代碼已在GitHub的Tencent/TAIHRI倉庫開放。

當然，這套系統目前也有其局限：它假定攝像頭的內參是已知的，對多人同時出現在畫面中的場景支持有限，在極度遮擋的情況下（比如人完全背對鏡頭）仍然存在較大誤差。這些都是未來工作可以深入的方向。歸根結底，機器人真正融入日常生活還有很長的路要走，但TAIHRI代表的這類"任務感知+精準定位"的思路，很可能是這條路上不可繞過的一個關鍵節點。對這一領域有興趣的讀者，可以通過arXiv編號2604.08921查閱完整論文。

Q&A

Q1：TAIHRI和普通的人體姿態估計技術有什么區別？

A：普通人體姿態估計技術通常是估計整個人體在"以骨盆為原點"的相對坐標系下的姿態，主要關注全身姿勢是否準確。TAIHRI的不同之處在于，它直接在攝像頭的真實三維空間里定位關節點，而且可以根據任務指令（比如"握手"、"扶起"）只關注最關鍵的幾個關節，特別適合機器人近距離與人接觸的場景。

Q2：TAIHRI需要什么樣的硬件才能運行？

A：論文中的訓練實驗在4塊NVIDIA H20 GPU上完成，模型本身有2億和4億參數兩個版本。實際部署時搭配了Orbbec Femto Bolt攝像頭。模型的推理對算力的具體要求論文中未詳細說明，但基于Qwen3-VL的架構，配備中等水平推理GPU的機器人系統應該可以支持。

Q3：CloseHRI數據集是真實拍攝的嗎？

A：CloseHRI數據集主要是合成生成的，不是真實拍攝的。團隊先從真實動作捕捉數據庫中獲取人體動作，再用三維渲染軟件生成人體法線圖，最后用SDXL圖像生成模型配合文字描述合成看起來逼真的照片。所有生成圖像都經過嚴格質量過濾，最終保留超過一百萬張高質量樣本用于訓練。