RSS 2026現場直擊｜從雙臂協同到水下靈巧，機器人操作邁入「少樣本時代」

機器人操作正在從“數據饑渴”走向“樣本高效”。

作者丨陳淑瑜

編輯丨岑 峰

7月13日，2026年機器人領域頂級學術會議RSS（Robotics: Science and Systems）在澳大利亞悉尼正式開幕。

今年的 RSS 2026最終被主會接收并放進官方日程的論文僅僅 160 篇左右，極低的接受率說明了RSS的含金量一如既往的高，每一篇都經得起全場幾百位頂尖研究者的嚴苛推敲。

雷峰網&AI科技評論已派出報道小組抵達會議現場。在簡單的開幕式后，緊跟著的是“Manipulation 1: World Models & Memory”論文報告環節，來自全球頂尖實驗室的研究者們展示了機器人操作領域的最新突破。從雙臂協同、手術輔助到水下靈巧操作，一個共同的趨勢正在浮現：機器人正在擺脫對海量標注數據的依賴，邁向“少樣本、強泛化”的新階段。

研究者們不再死磕千萬次高昂的遙操作采集，而是各顯神通：有的從人類視頻里“白嫖”數據，有的用觸覺手套實現跨物種對齊，還有的在推理時加裝“安全護欄”。

以下是我們從該環節精選的 9 篇代表作，帶你一文看懂機器人如何以極低的成本，學會干最精細的活。如果你也想讓你的研究成果出現在這里，請與我們聯系。

01

打破“數據匱乏”，讓機器人向人類“借”經驗

既然真機數據難以海量采集，研究者們將目光投向了最豐富的資源庫——人類的日常行為。如何跨越“人與機器”的結構鴻溝，直接提取知識？

▎一次演示，生成千條訓練數據

BiDemoSyn: One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation

https://arxiv.org/abs/2512.09297

雙臂靈巧操作一直是機器人領域的硬骨頭。兩只手的協同遠比單手復雜，而高質量的演示數據又極其昂貴。現有的方案往往陷入兩難：遙操作采集數據可靠卻費時費力，仿真合成效率雖高卻難以跨越虛實鴻溝。華南理工大學的研究團隊試圖打破這一僵局。

他們提出了BiDemoSyn框架，核心思路是將雙臂操作任務拆解為“不變協調塊”與“可變物體適應”兩部分。前者負責捕捉雙臂間不隨任務改變的協同模式，后者則負責根據具體物體的形狀和位姿進行靈活調整。基于這種解耦，該框架通過視覺引導對齊和輕量級軌跡優化，僅需一段真實世界的示范視頻，便能在數小時內自動合成數千條物理可行的多樣化訓練數據。

在六個雙臂任務的實驗中，用BiDemoSyn數據訓練的策略不僅能魯棒泛化到新物體的位姿和形狀，還實現了零樣本跨本體遷移，這意味著即便更換機器人平臺，這套系統也能直接上手工作。我們離“教一次就能干活”的實用雙臂機器人又近了一步。

▎看人類視頻，機器人學會了用刀切蘋果

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos

https://arxiv.org/abs/2602.10105

互聯網上充斥著人類切蘋果、倒飲料、疊杯子等操作各種工具的視頻，但由于人類手部與機器人靈巧手在結構上差異巨大，這些視頻的訓練價值長期遭到忽視。這種“具身鴻溝”讓直接從人類視頻中預訓練變得極其困難。上海人工智能實驗室和清華大學的研究者決定正面攻克這一難題。

他們設計的DexImit是一個四階段的自動化生成管線：首先從任意視角重建精度極高的手-物交互三維結構；接著對復雜任務進行子任務分解與雙臂調度規劃；然后合成與人類演示高度一致的機器人軌跡；最后通過綜合數據增強確保其能零樣本部署到真實世界。

這套流程的革命性在于，它能直接吃透互聯網上的任意人類操作視頻甚至AI生成的視頻。從工具使用到精細操作，當靈巧手不再需要從頭采集昂貴的訓練數據，機器人“學會動手”的門檻被大幅降低了。

▎觸覺手套教機器人擰燈泡，無需配對數據

TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment

https://arxiv.org/abs/2602.13579

僅需人類戴上觸覺手套演示一次，機器人便能掌握擰燈泡的技巧，這在以往簡直是天方夜譚。穿戴設備采集的人類觸覺信號直觀豐富，但如何將其遷移到傳感器和本體結構截然不同的機器人上，一直是個痛點。現有方法大多要求設備高度一致且需要成對的訓練數據，嚴重限制了擴展性。

來自UC Berkeley和Meta等機構的研究者提出了令人耳目一新的TactAlign：用整流流（rectified flow）將人類和機器人的觸覺觀測映射到同一個共享潛在空間。最關鍵的是，這個對齊過程不需要配對數據集、人工標注或特權信息。對齊的“錨點”直接來源于手物交互中自然產生的偽配對。簡單來說，無論是人手還是機械手，在抓取同一物體時，其物理交互模式必然存在某種共性。

在接觸密集型任務上，TactAlign顯著提升了人機策略的遷移效果。在擰燈泡這種高靈巧任務中，僅需不到五分鐘的人類觸覺數據，就成功實現了零樣本遷移。

02

跨越“虛實與場景鴻溝”

解決了數據來源，下一個難題是“環境突變”。在仿真里學得好好的，到了真實世界就翻車；在實驗室里能抓水杯，到了水下或手術室就失控。如何讓機器人擁有抗干擾的泛化能力？

▎手術室里，機器人學會了看眼色行事

Supervised Mixture-of-Experts for Surgical Grasping and Retraction

https://arxiv.org/abs/2601.21971

手術機器人面臨的環境遠比工廠流水線復雜：組織會變形、視野會遮擋，任何一個小失誤都可能致命。傳統手術機器人嚴重依賴多相機系統和海量演示數據，導致技術落地異常困難。對此，德國國家腫瘤疾病中心的研究團隊給出了一個更輕量的答案。

他們提出了一種監督式混合專家（MoE）架構，能像插件一樣疊加在任意自主策略之上。令人驚訝的是，僅配合立體內窺鏡圖像作為唯一輸入，疊加MoE后的輕量級Action Chunking Transformer僅需不到150條演示數據，就能學會復雜的“腸道抓取與牽拉”長時序協作任務。在此過程中，機器人不僅要讀懂外科醫生的視覺提示，準確抓取可變形組織，還要保持穩定的牽拉。

更值得關注的是其泛化表現。面對新場景，通用視覺-語言-動作模型完全失效，標準ACT也頻頻掉鏈子；而MoE增強版本不僅在弱光、遮擋及全新抓取位置等干擾下保持穩健，還成功在離體豬組織上實現了零樣本泛化，甚至完成了體內豬手術的初步驗證。這無疑為手術機器人的臨床落地釋放了強烈的積極信號。

▎觸覺+視覺：讓機器人摸得準、刮得穩

Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation

https://arxiv.org/abs/2602.13833

使用工具看似簡單，實則需要解決“用哪里”（語義理解）和“用多大力”（物理精度）兩個層次的挑戰。當前的視覺-語言-動作模型擅長前者卻在力控上捉襟見肘，而純觸覺策略雖精度高卻不夠通用。更棘手的是，大規模采集真實觸覺數據的成本極高，且仿真與真實傳感器數據之間存在復雜的非線性變形，導致零樣本遷移幾乎難以實現。

新加坡A*STAR和NUS的研究團隊提出了Semantic-Contact Fields（SCFields），將視覺語義與密集接觸估計融合到統一的三維表示中。他們設計了一個兩階段的Sim-to-Real學習管線：先在大規模仿真數據上預訓練接觸先驗，再用幾何啟發式和力優化在少量真實數據上進行偽標注微調。

最終，這個力感知的表示被送入擴散策略作為觀測輸入。實驗證明，SCFields能在未見過的工具實例上實現類別級泛化，大幅超越純視覺和原始觸覺基線方法。用仿真批量學、用真實數據精調，正在成為觸覺操作的新范式。

▎水下抓取，不用下水采數據

UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

https://arxiv.org/abs/2603.27012

水下機器人操作面臨著獨特困境：水體會導致光線散射和顏色嚴重失真。如果要在多樣化場景中采集水下演示數據，不僅需要專業潛水設備和人員，成本更是天文數字。斯坦福大學和哥倫比亞大學的研究者想到了一個巧妙的迂回策略：在水上教，到水下用。

UMI-Underwater系統包含一種基于深度信息的可供性表示。由于深度圖在不同光照和水質條件下遠比RGB圖像穩定，它順理成章地成為了彌合陸地與水下域間差距的“通用語言”。系統在陸地手持演示數據上訓練模型，通過幾何對齊即可零樣本部署到水下。同時，該系統還配合了一個自監督數據采集管線，讓機器人自主在水下試錯并記錄成功案例。

泳池實驗顯示，該方法在水下抓取性能和魯棒性上全面超越了純RGB方法，甚至能泛化到僅在陸地數據中出現過的物體。海洋探索的自動化大門，正在以更低成本的方式徐徐打開。

03

重塑“底層邏輯”，用機制為模型兜底

除了數據和環境，大語言模型的架構直接套用在機器人上并不完美。研究者們開始回歸機器人的物理本質，探尋最優的數據配比、控制閉環與安全機制。

▎VLA模型該用什么數據？89個策略揭曉答案

A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation

https://arxiv.org/abs/2602.01067

視覺-語言-動作（VLA）模型是當前通用機器人策略的主流架構，但在共訓練的數據配比上一直缺乏系統性指導。除了機器人的本體數據，到底該摻雜視覺-語言數據、跨本體數據、人類視頻，還是離散動作token？Meta AI的研究團隊用一場大規模實證研究給出了定論。

這項研究規模驚人：利用4000小時操作數據和5000萬視覺-語言樣本，訓練了89個VLA策略，并進行了超過六萬次測試。結論非常清晰：視覺-語言數據和跨本體機器人數據堪稱“黃金搭檔”，兩者聯合共訓練能顯著提升模型對分布偏移、未見任務以及自然語言指令的泛化能力；相比之下，離散動作token則收效甚微。

研究還發現，僅用機器人數據訓練會嚴重退化大模型的視覺語言理解能力，但加入共訓練數據后即可有效恢復。這些翔實的結論，為社區構建下一代通用機器人策略提供了寶貴的“數據菜譜”。

▎兩次演示、九成成功率：把機器人“滑”進安全區

SID: Sliding into Distribution for Robust Few-Demonstration Manipulation

https://arxiv.org/abs/2605.13428

機器人操作最怕遇到突發狀況：物體位置變了、角度偏了或受到外界擾動。此時，僅靠幾次演示訓練出來的端到端策略幾乎必然會“掉出分布”，進而做出不可預測的危險動作。香港科技大學的研究團隊提出了一種新范式：與其死磕數據，不如在推理時主動把系統“拉回”安全區。

SID框架的核心是一個以物體為中心的運動場。該運動場通過學習規范化的演示，能在機器人偏離正常軌跡時提供大幅度的糾正運動，將系統逐步“滑”回可靠的操作區域。一旦接近目標，運動場會自然衰減，交由輕量級的自我中心執行策略完成精細操作。

這種“全局粗調+局部精調”的解耦設計，讓SID在僅有兩次演示的極限條件下依然穩健。在六個真實世界任務中，它在分布外初始條件下依然能保持約90%的成功率。這啟示我們：少樣本操作的瓶頸或許不在于策略不夠強，而是缺乏顯式管理分布偏移的機制。

▎讓靈巧手真正"感知"接觸：從多點觸覺到動作接地

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

https://arxiv.org/abs/2603.05687

多指靈巧手的接觸密集型操作始終是機器人領域的一大難題，這類任務的成敗高度依賴于多個接觸點的持續演化，而這些狀態對物體幾何和滑移極為敏感。以往的研究大多把觸覺當成“額外輸入”，既不顯式建模接觸狀態，也忽視了動作策略與底層控制器的動力學交互，導致策略給出的目標往往無法在物理世界執行。

來自UCSD、Brown和Sony AI的研究團隊提出了Contact-Grounded Policy（CGP）視覺-觸覺聯合策略框架。該框架包含兩個核心組件：其一是條件擴散模型，用于預測機器人狀態與觸覺反饋的耦合軌跡；其二是可學習的“接觸一致性映射”，它能將上述的聯合預測直接轉化為柔順控制器可執行的目標狀態，從而確保控制系統真正落實預測出的接觸意圖。

在配備高精度觸覺傳感器的真實和仿真機械手上，CGP在操控、抓取和工具使用等任務中均顯著優于現有基線。這項工作指明了方向：觸覺不應只是錦上添花的額外觀測，必須成為連接AI策略與物理現實的“接地”橋梁。

04

結語

三個方向，九篇論文，一條主線貫穿始終：機器人操作正在從“數據饑渴”走向“樣本高效”。

無論是BiDemoSyn通過一次演示合成數千條數據、SID用兩次演示實現九成成功率、DexImit從人類視頻中自動提取操作知識，還是CGP讓靈巧手真正感知接觸狀態，這些前沿探索都共同指向了一個未來：機器人再也不必在實驗室里苦熬千萬次演示。

雷峰網&AI科技評論將繼續在現場帶來更多RSS 2026的精彩內容，如果你想推薦RSS上的其他論文，歡迎聯系我們進一步交流探討 。

一個人讀論文太孤單，一群人刷頂會才好玩。

RSS 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Luyoyo_2026，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。