ICML 2026｜港中大最新突破：真機(jī)訓(xùn)練半小時，成功率100%

具身“拋棄”端到端神話。

作者丨齊鋮湧

編輯丨岑 峰

當(dāng)前真實的具身現(xiàn)狀是，讓機(jī)器人抓個杯子、拿個蘋果還算輕松，但遇到插USB或掛鑰匙這類高精度接觸任務(wù)，往往就卡殼。

這種需要精細(xì)力控的“接觸任務(wù)”，已經(jīng)成為行業(yè)內(nèi)公認(rèn)的能力分水嶺。

據(jù)AI科技評論觀察，這背后有一個難以逾越的物理死局：最后一毫米難以突破。視覺在接近目標(biāo)時有嚴(yán)重的盲區(qū)，而真機(jī)強(qiáng)化學(xué)習(xí)成本太高，兩種傳統(tǒng)路線在最后一毫米都走不通。

為了打破這個死局，我們在扒拉今年 ICML 2026 收錄文章中，發(fā)現(xiàn)了一篇寶藏論文。

我們約到了該文章一作，來跟大家分享一下：

既然大模型參數(shù)的路線那么卷，我們?yōu)槭裁床蛔吡硪粭l路線，香港中文大學(xué)（深圳）劉桂良團(tuán)隊聯(lián)合跨維智能通過“任務(wù)解耦”設(shè)計，讓機(jī)器人先關(guān)注關(guān)鍵接觸區(qū)域（Focus），再用殘差強(qiáng)化學(xué)習(xí)做精細(xì)接觸調(diào)整（Contact），得到了一個面向真實機(jī)器人接觸豐富任務(wù)的輕量級框架 ——Focus-Then-Contact（簡稱FTC）。

FTC 系統(tǒng)框架圖概覽

從結(jié)果上看，在卡片插入、掛鑰匙扣、充電器抓取插入等6個真實的物理接觸任務(wù)中，F(xiàn)TC不僅做到了100%的成功率，更將平均真機(jī)訓(xùn)練時間縮短到了27.5分鐘。

01

困住人類專家的四大精細(xì)訓(xùn)練障礙

舉個例子：人類把鑰匙插進(jìn)鎖孔，閉著眼睛也能摸索著擰開。這是因為我們的大腦不僅依賴眼睛（視覺），更依賴指尖瞬間傳回的摩擦力、阻力和微小的位移感（觸覺與力反饋）。

但對于機(jī)器人而言，這個過程有四重?zé)o法逾越的物理障礙：

▎第一，精細(xì)控制的精度極高，且容錯率極低。

無論是薄卡片插入窄槽，還是充電器對準(zhǔn)排插，誤差往往要求在毫米甚至微米級。只要方向偏了一點點，金屬碰撞產(chǎn)生的反作用力就會直接卡死電機(jī)，甚至造成物理損壞。

▎第二，接觸過程對力的信號極度敏感。

在接觸發(fā)生的瞬間，機(jī)器人必須實時調(diào)整關(guān)節(jié)剛度，采取阻抗控制或力矩補償。而視覺信號在接觸發(fā)生后，幾乎無法提供任何關(guān)于“力度”的有效指導(dǎo)。

▎第三，環(huán)境存在位置的泛化與背景干擾。

真實的工廠或家庭場景中，USB口或插座的位置可能會發(fā)生微小的漂移。如果采用傳統(tǒng)的模仿學(xué)習(xí)（Imitation Learning），一旦遇到?jīng)]有見過的初始位置（OOD），機(jī)器人就會直接罷工。

▎第四，真機(jī)RL的探索空間過于龐大。

在真機(jī)上，如果讓機(jī)械臂漫無目的地隨機(jī)晃動去尋找一個幾毫米寬的插槽，這無異于大海撈針。稀疏獎勵（Sparse Reward）會導(dǎo)致動作空間極其龐大且探索極其緩慢，訓(xùn)練時間往往長達(dá)數(shù)天，根本無法落地。

為了加速真機(jī)學(xué)習(xí)，學(xué)術(shù)界此前常采用“人機(jī)協(xié)同強(qiáng)化學(xué)習(xí)”（Human-in-the-loop RL），如著名的HIL-SERL框架。它允許人類專家通過3D鼠標(biāo)在機(jī)器人探索失敗時進(jìn)行物理接管。

然而，這種方法要付出的是人類專家的體力和精力。如果機(jī)器人學(xué)得太慢，人類專家就必須連續(xù)數(shù)小時坐在電腦前，不停地接管和重置機(jī)器人。

FTC的出現(xiàn)，將人類專家從這種無休止的重復(fù)工作中解放出來。

02

真機(jī)探索，打破端到端執(zhí)念

FTC的第一大核心創(chuàng)新，是打破了“端到端學(xué)習(xí)所有動作”的執(zhí)念。

它將插拔原子任務(wù)分解成兩個階段：

• Focus 階段：負(fù)責(zé)“靠近”。讓機(jī)械臂快速、大致地走到目標(biāo)接觸區(qū)域的上方或附近。

• Contact 階段：負(fù)責(zé)“細(xì)化”。在靠近目標(biāo)后，進(jìn)行高頻、微小的調(diào)整，完成最終的精細(xì)接觸。

首先，F(xiàn)TC利用少量的離線人類示范數(shù)據(jù)，通過行為克隆（Behavior Cloning）算法訓(xùn)練了一個基礎(chǔ)策略（Base Policy），論文中采用了經(jīng)典的ACT（Action Chunking with Transformers）作為基礎(chǔ)。

它只需要學(xué)會把機(jī)械臂末端從起始位置帶到目標(biāo)區(qū)域附近。這個階段不涉及復(fù)雜的受力調(diào)整，少量的離線數(shù)據(jù)就足夠讓ACT學(xué)明白。在執(zhí)行時，F(xiàn)TC就會把這個基礎(chǔ)策略完全“凍結(jié)”，不再更新其參數(shù)。在接觸時由于ACT很難插入，所以這時候需要RL在接觸階段發(fā)揮作用，但為了降低RL探索的難度，采用輕量級殘差RL策略（Residual Policy）：

簡單來說，就是用一個輕量級策略，把時間省下來。

舉個例子，比如插USB，ACT負(fù)責(zé)完成95%的內(nèi)容，而殘差RL只需要專注于最后5%（幾毫米范圍內(nèi)）的對準(zhǔn)和插入。

這種精密的動作分工，是FTC能夠?qū)⒂?xùn)練時間壓縮到半小時以內(nèi)的保障，時間就是生命，就是金錢。

03

給機(jī)器人提供連續(xù)“方向感”，也很重要

在強(qiáng)化學(xué)習(xí)中，獎勵函數(shù)（Reward Function）的設(shè)計決定了算法的生死。如果只在插成功時給“+1”，不成功給“0”，真機(jī)訓(xùn)練依然會慢如蝸牛。

但是，如何才能給機(jī)器人提供連續(xù)的“方向感”？

很多團(tuán)隊嘗試引入VLM（Vision-Language Model），或目標(biāo)檢測網(wǎng)絡(luò)（如SAM）來進(jìn)行在線的視覺反饋，告訴機(jī)器人現(xiàn)在離目標(biāo)還有多遠(yuǎn)。但在真機(jī)RL的高頻控制閉環(huán)里，這種做法在工程上幾乎是災(zāi)難性的。

一方面，閉源大模型的API延遲極高、費用昂貴，根本無法滿足高頻控制；另一方面，開源輕量視覺模型在復(fù)雜的機(jī)械臂反光、物理遮擋、旋轉(zhuǎn)視角下，經(jīng)常會出現(xiàn)目標(biāo)點漂移和漏檢，極不穩(wěn)定。

為此，F(xiàn)TC希望在focus階段能夠給策略一定的指引，設(shè)計了一種既輕量又極其精準(zhǔn)的“關(guān)鍵幀視覺對齊獎勵”（Keyframe-Based Affordance-Guided Reward）。

首先，F(xiàn)TC在人類離線示范的軌跡中，提取出任務(wù)完成時的幾個“目標(biāo)關(guān)鍵幀（Keyframes）”。這些關(guān)鍵幀記錄了成功接觸瞬間的視覺狀態(tài)（例如卡片準(zhǔn)確對準(zhǔn)卡槽的那一幀）。

接著，系統(tǒng)將當(dāng)前相機(jī)拍攝的實時畫面，與這些目標(biāo)關(guān)鍵幀裁剪到同一個局部感興趣區(qū)域（ROI）。

最后，F(xiàn)TC使用一個凍結(jié)的共享視覺編碼器，計算當(dāng)前圖像與目標(biāo)關(guān)鍵幀之間的視覺嵌入距離（Embedding Distance）。

視覺距離曲線隨任務(wù)推進(jìn)的變化趨勢

如果機(jī)器人的動作讓畫面越來越接近成功時的那一幀，這個視覺通道的距離就會變小，機(jī)器人就會獲得一個連續(xù)、高頻的密集獎勵（Dense Reward）。

這個設(shè)計的精妙之處在于，它通過對比局部ROI的特征嵌入，自動過濾背景中不相干的噪聲（如光影變化、人類干擾等）。

機(jī)器人不需要理解什么是“卡槽”，它只需要在視覺表征上“尋找重合”，從而在無監(jiān)督的情況下，獲得了高質(zhì)量的連續(xù)反饋。

04

引入新機(jī)制，

在真機(jī)中讓人類重拾控制權(quán)

盡管有了殘差策略和密集獎勵，真機(jī)RL在訓(xùn)練初期依然不可避免地會陷入死胡同或發(fā)生危險碰撞。此時，人類的干預(yù)依然是必不可少的。

但在傳統(tǒng)的“人機(jī)協(xié)同（Human-in-the-loop）”系統(tǒng)中，存在一個長期被學(xué)術(shù)界忽視的痛點：控制權(quán)沖突。

當(dāng)人類發(fā)現(xiàn)機(jī)械臂快要撞壞工件，拿起3D鼠標(biāo)試圖將其拉回時，強(qiáng)化學(xué)習(xí)算法卻還在高頻地輸出動作。這種控制權(quán)的沖突，會導(dǎo)致機(jī)械臂在交替瞬間產(chǎn)生極其劇烈的物理抖動，不僅會毀掉Replay Buffer里的訓(xùn)練數(shù)據(jù)，甚至?xí)苯诱饓膮f(xié)作臂的關(guān)節(jié)電機(jī)。

為了解決這個問題，F(xiàn)TC引入了一個精妙的短干預(yù)窗口（Intervention Window）機(jī)制 。

人類干預(yù)次數(shù)與步數(shù)的下降趨勢對比

當(dāng)系統(tǒng)檢測到人類專家開始操控3D鼠標(biāo)時，會立刻給人類完整的控制權(quán)，并暫停RL策略的動作輸出；當(dāng)人類完成糾偏并松開鼠標(biāo)后，系統(tǒng)不會立刻把控制權(quán)強(qiáng)行搶回，而是會等待一個短暫的安全時間窗。

在這個窗口期內(nèi)，如果人類沒有新的輸入，控制權(quán)才會在過渡期后平滑地交還給RL。

這種“平滑過渡”的干預(yù)保護(hù)，不僅避免了硬件的物理震蕩，還帶來了一個意外之喜：人類在接管期間產(chǎn)生的成功糾偏軌跡，會被系統(tǒng)作為完美的“專家示范數(shù)據(jù)”存入緩存區(qū)，供RL策略進(jìn)行優(yōu)先級重采樣學(xué)習(xí)，極大地降低了人類需要干預(yù)的頻率。

05

六個任務(wù)拷打FTC

為了驗證FTC框架的真實物理戰(zhàn)斗力，研究團(tuán)隊在極其嚴(yán)苛的真機(jī)環(huán)境下測試了6個接觸密集型工業(yè)級任務(wù)。實驗使用了大族（Diana）自控力矩協(xié)作臂、Intel RealSense D405雙腕相機(jī)，并完全運行在阻抗控制模式下。

測試的6個任務(wù)包括：插薄卡/拉抽屜/充電器抓取/掛鑰匙扣等，具體大家看視頻吧。

演示視頻：機(jī)械臂懸掛鑰匙鏈

研究團(tuán)隊將FTC與當(dāng)前行業(yè)內(nèi)最先進(jìn)的數(shù)個基線方法進(jìn)行了面對面的真機(jī)大考，測試結(jié)果堪稱降維打擊：

FTC在所有任務(wù)上的通關(guān)率都是100%，甚至將平均訓(xùn)練時間壓縮到了27.5分鐘。即便是公認(rèn)最難的USB困難版，F(xiàn)TC也僅用了45到50分鐘就徹底馴服了機(jī)械臂 。

更令人驚喜的是其強(qiáng)大的位置泛化能力。

研究人員在訓(xùn)練時只使用了4個初始位置（Pos 1-4），而在測試時，將充電頭移動到了4個從未見過的全新位置（Pos 5-8）進(jìn)行“盲測”。

結(jié)果是，如果只靠模仿學(xué)習(xí)（FTC w/o Residual RL），機(jī)器人面對未知位置的平均成功率僅11.3% 。

但只要加入了殘差RL（Residual RL）進(jìn)行微調(diào)，機(jī)器人在面對全新的位置漂移時，依然能憑借86.3%的平均成功率完成盲插 。

可以預(yù)見，“殘差糾偏”在面對物理世界不確定性時擁有巨大的泛化紅利。

06

別卷VLA，評價體系才關(guān)鍵

最后總結(jié)一下，我們之前報道過具身智能學(xué)者羅劍嵐團(tuán)隊提出的τ0-WM世界模型。當(dāng)時他們就指出：模仿學(xué)習(xí)確實能幫機(jī)器人從數(shù)據(jù)中找出基本特征，但如果沒有搜索、評估和強(qiáng)化學(xué)習(xí)（RL），它永遠(yuǎn)無法超越已有數(shù)據(jù)的局限。

當(dāng)前的具身圈，正在瘋狂地卷VLA大模型、卷萬小時真機(jī)遙操作數(shù)據(jù)、卷千億參數(shù)的Scaling Law。

在熱鬧的Demo背后，真正決定機(jī)械臂能否進(jìn)行高精度作業(yè)的，往往是那些被忽略的“底層字母”。

如果說大部分團(tuán)隊都在拼了命地卷“V（Vision視覺）”、“L（Language語言）”、“A（Action動作）”，那么FTC這篇ICML2026的最新成果，則是在默默地卷“C（Critic評價）”和“R（Residual控制解耦）”。

它給整個具身智能行業(yè)帶來了三點極具價值的“冷思考”：

1.別迷信全量端到端。把大范圍的“粗對準(zhǔn)”和最后一毫米的“精細(xì)力控”分段拆開來做，機(jī)器人落地反而更有效率。

2.別把人類專家當(dāng)免費陪練。人類的精力很貴，系統(tǒng)應(yīng)該通過安全干預(yù)窗來平滑過渡控制權(quán)，減少沒必要的人機(jī)對抗。

3.下一步的勝負(fù)手是真實世界的評價體系。誰能讓機(jī)器人在真機(jī)上試錯成本更低、把獎勵模型訓(xùn)得更準(zhǔn)，誰就能搶占先機(jī)。

說到底，只要用聰明的算法結(jié)構(gòu)去拆解物理規(guī)律，不靠海量數(shù)據(jù)硬灌，真實世界里的機(jī)械臂在半小時內(nèi)也能練出好手感。

該文章由香港中文大學(xué)（深圳）劉桂良團(tuán)隊聯(lián)合跨維智能提出。

簡介：劉桂良，現(xiàn)任香港中文大學(xué) (深圳) 助理教授、博士生導(dǎo)師，深圳河套區(qū)域研究院（SLAI）具身智能實驗室主任。本科畢業(yè)于華南理工大學(xué)，隨后在加拿大西蒙菲沙大學(xué)獲得計算機(jī)科學(xué)博士學(xué)位，并在加拿大滑鐵盧大學(xué)和 Vector Institute 完成博士后研究。他的研究主要聚焦于強(qiáng)化學(xué)習(xí)和具身決策。他在ICML, NeurIPS, ICLR, RSS, CVPR, TPAMI等多個頂會和頂刊發(fā)表50+篇論文。他的研究合作方包括百度研究院、華為諾亞方舟實驗室和 DexForce Research。個人主頁：https://guiliang.me/

論文標(biāo)題 | Focus-Then-Contact: Speeding Up Robotic Contact-Rich Task Learning with Affordance-Guided Real-World Residual Reinforcement Learning |

https://edem-ai.github.io/FTC-website/ |

最后送上一個彩蛋：該論文一作喬冠仁和AI科技評論的對話：

▎AI科技評論：網(wǎng)上到處都是機(jī)器人“炒菜、疊衣服”的炫酷視頻，為什么在你們這篇頂會論文里，還將機(jī)器人“插準(zhǔn)U盤”視為至關(guān)重要的挑戰(zhàn)？

冠仁：工業(yè)和家庭真正需要的，是機(jī)器人能不能在周圍環(huán)境可能發(fā)生改變和物體位置發(fā)生變化時，仍舊能穩(wěn)定完成任務(wù)。插U盤看起來簡單，但它本質(zhì)上是一個高精度、強(qiáng)接觸的任務(wù)。它考驗的不是機(jī)器人能不能演示一次，而是能不能在真實物理世界里通過反饋不斷修正誤差，最終按照100%成功率穩(wěn)定完成毫米級接觸操作。

▎AI科技評論：很多AI黨認(rèn)為，只要把機(jī)器人丟進(jìn)電腦虛擬引擎（仿真器）里訓(xùn)幾百萬次，到了現(xiàn)實中就無敵了。FTC團(tuán)隊偏要在真實物理世界里花“笨功夫”，這種認(rèn)知差別是怎么產(chǎn)生的？

冠仁：這個差別主要來自對物理世界復(fù)雜性的認(rèn)識不同。仿真也很重要，它能提供大量低成本數(shù)據(jù)，也適合做對于光照，不同桌布紋理等泛化性的工作。但真實世界的接觸任務(wù)里，很多插孔邊緣摩擦等關(guān)鍵因素很難被仿真準(zhǔn)確建模。我做實驗時是在一個周圍有很多雜物的工業(yè)測試區(qū)，并不是在一個干凈的實驗室里。當(dāng)時用的是一款工業(yè)協(xié)作臂，不是大家常用的franka，piper等，所以如果要用sim2real實現(xiàn)高成功率得先在仿真搭好環(huán)境，并且盡可能的減小與真實物理世界的gap，我認(rèn)為還是比較困難的。

▎AI科技評論：論文提到“平均只需 27.5 分鐘就可以教會機(jī)器人”，但普通消費者或工廠老板來說，只教半個小時并不簡單，我們離“開箱即用”的機(jī)器人還有多遠(yuǎn)？

冠仁：27.5分鐘的意義不是說機(jī)器人已經(jīng)完全開箱即用，而是說明真實世界強(qiáng)化學(xué)習(xí)的訓(xùn)練成本正在從不可接受下降到有工程意義。過去一個真實機(jī)器人任務(wù)可能需要大量人工調(diào)參、長時間采集數(shù)據(jù)，甚至一換環(huán)境就失效；而我們證明的是，在已有基礎(chǔ)策略和語義引導(dǎo)的幫助下，機(jī)器人可以用很短的真實交互時間完成接觸細(xì)節(jié)的自適應(yīng)。如果說要泛化到所有場景所有任務(wù)，這個我覺得會有很長的等待時間。如果是針對某一特定場景，比如零售或者物流場景落地，那我覺得這一兩年內(nèi)應(yīng)該就會攻克。

▎AI科技評論：具身領(lǐng)域有一種聲音，認(rèn)為“只要數(shù)據(jù)足夠多，沒有動作學(xué)不會”，F(xiàn)TC為何還執(zhí)著于在真實世界跑RL？

冠仁：我覺得大部分我們?nèi)粘＿b操的數(shù)據(jù)都太“干凈”了，因為都是提供的成功軌跡。我覺得真實世界跑RL主要還是在于它在和環(huán)境交互過程中如果有人介入會產(chǎn)生很多failure-recovery的軌跡。RL一開始學(xué)會有很多失敗嘗試，但是人工介入的引導(dǎo)相當(dāng)于告訴他當(dāng)出現(xiàn)失敗的時候應(yīng)該怎么恢復(fù)。這是他在特定任務(wù)和一定的活動空間范圍內(nèi)實現(xiàn)高成功率的一個重要保證。同時真機(jī)RL收斂以后rollout出來的數(shù)據(jù)也可以用于訓(xùn)練其他的VA/VLA模型，這一點相關(guān)文章已經(jīng)有過驗證。

▎AI科技評論：ChatGPT已經(jīng)能寫出頂級文章和代碼，但目前最頂尖的機(jī)器人，依舊在學(xué)習(xí)插插座，如果只是選一項，你認(rèn)為最卡脖子的地方在哪？

冠仁：我認(rèn)為是機(jī)器人缺少低成本、穩(wěn)定、可擴(kuò)展的真實世界閉環(huán)學(xué)習(xí)能力。語言模型的世界是數(shù)字化的，數(shù)據(jù)是結(jié)構(gòu)化的，反饋很容易獲得；但機(jī)器人的世界是物理的，每一次動作都有成本，物體會移動，接觸會產(chǎn)生力，失敗可能損壞設(shè)備，環(huán)境還會不斷變化，包括有些任務(wù)可能在上一輪訓(xùn)練結(jié)束后重置都有成本。所以機(jī)器人真正難的地方，不只是理解任務(wù)，而是把理解轉(zhuǎn)化成可靠的物理動作，并在失敗后通過真實反饋快速修正。

這也是FTC堅持真機(jī)強(qiáng)化學(xué)習(xí)的原因。我認(rèn)為，未來機(jī)器人不能只靠監(jiān)督學(xué)習(xí)模仿成功軌跡，也不能只靠仿真里想象自己怎么做，而必須具備在真實物理世界中試錯、糾偏和適應(yīng)的能力。

簡介：喬冠仁，香港中文大學(xué)（深圳）博士三年級，研究主要聚焦于強(qiáng)化學(xué)習(xí)和具身操作應(yīng)用。在ICML, NeurIPS, ICLR, ICRA等多個頂會共發(fā)表10+篇論文，入選京東TGT人才計劃實習(xí)。

個人主頁：https://qiaoguanren.github.io

近期icml和rss在即，我們建立了頂會交流群，冠仁也在群里，歡迎大家加群一起看論文，學(xué)知識。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實時論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進(jìn)群傳送門：掃碼進(jìn)群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。