人手數據，如何重塑機器人基礎模型？專訪 LaST-HD 一作劉家銘

至簡動力聯合北大、港中文、乙太科技—不代替真機，人手與真機數據共生

作者丨鄧哲敏

編輯丨齊鋮湧

數據一直是具身智能最難啃的骨頭。目前幾條主流數據路線都存在明顯瓶頸。仿真數據采集效率高，卻始終受到虛實鴻溝限制。真機遙操作能夠獲得高質量數據，但采集成本高、效率低，而且大量數據與機器人本體深度綁定，難以復用。

至簡動力在蘇州交付的首批 100 臺 i7 Pro 機器人，已進入 CNC 上下料等工業場景部署，這批機器人采用的，是與行業主流有所不同的數據路線——人手數據。

圍繞數據路線之爭，AI科技評論對話至簡動力北大聯合實驗室RD負責人、北京大學博士生劉家銘。他最新發表的 LaST-HD 論文，由北京大學、香港中文大學、至簡動力、乙太科技等團隊聯合推出，通過讓機器人學習人手動作背后的物理規律，讓難以利用的人類操作經驗轉化為機器人技能。在這場對話中，劉家銘分享了交付背后的技術問題，也談了談他對具身領域模型與數據發展方向的判斷。

以下是AI科技評論與劉家銘的對話，經不改變原意的編輯整理：

01

人手數據不是來代替真機數據的

▎AI科技評論：最近 Human Data 是一個行業熱點。有人認為，這是機器人數據路線發生的一次轉向，你怎么看？

劉家銘：Human Data 其實不是今天才出現的新概念。三四年前，在 VLA 還沒有成為主流的時候，就已經有不少工作嘗試利用人手數據做模仿學習。真正變化的是，大模型出現之后，人手數據第一次有機會成為機器人基礎模型的重要組成部分。

過去幾年，行業一直更相信真機數據，因為機器人直接和真實物理世界交互，看起來更加原生。但真機數據也有很明顯的問題。首先就是成本。采集一條高質量遙操作數據，需要機器人、本體、操作員、場地等整套系統協同，采集效率遠低于人手數據。其次，它很難真正規模化。現在全球最先進的數據工廠，本質上還是不斷搭建新的實驗室場景。它可以不斷換桌子、換杯子、換家具，但始終很難像人一樣走到真實世界里采集數據。最后是真實世界的多樣性。很多動作，人一天會自然完成很多次；但如果交給機器人遙操作，效率會很低，有些動作甚至會因為本體限制而變得很別扭。所以 Human Data 真正帶來的，不只是成本下降，更重要的是，它讓機器人第一次有機會接觸真實世界中豐富、自然的人類行為。

▎AI科技評論：未來 Human Data 會取代機器人數據嗎？

劉家銘：我不這么看。Human Data 和機器人數據不是替代關系。我們的目標也不是讓機器人完全擬合人。機器人和人的硬件結構本來就不同，很多感知能力今天也還做不到完全一致。Human Data 更重要的意義，是把人作為最大的物理數據載體，幫助機器人理解物理世界。真正困難的，其實不是怎么采數據，而是怎么采到高質量、高diversity的數據，以及機器人怎么真正學會這些數據。

▎AI科技評論：過去很多工作都在研究怎么把人的動作映射到機器人，你們做 LaST-HD 卻提出讓機器人學習人手動作背后的物理規律，是認為過去的路走不通嗎？

劉家銘：因為我們覺得，真正需要對齊的不是動作，而是物理世界的變化。

過去幾年，行業已經嘗試了很多路線。有人做視覺對齊，把人手替換成機械臂；有人做動作重定向，希望把人的動作直接映射到機器人關節；也有工作通過更大的預訓練模型，讓模型自己去適應不同本體。這些方法都有價值，但它們關注的對象，本質上還是動作或者視覺。

我們后來發現，一個更值得關注的問題是：人和機器人雖然動作不同，但它們改變物理世界的方式是相似的。比如推一個杯子。人的手和機器人機械臂完全不一樣，運動軌跡也不同，但最終發生的事情是一致的：杯子向前移動，和桌面的接觸關系發生變化，里面的水也會隨著運動晃動。真正一致的，其實是物理世界。所以我們最后沒有去對齊動作，而是嘗試去學習這種共享的物理規律。

▎AI科技評論：你們自研的 OOL 手套現在采集了多少人手數據？

劉家銘：截止到 LaST-HD 這篇論文發布，公司層面預訓練中可用的人手數據是 2000 小時，這不算市面上開源的其他真機和人手數據。年底應該會到一兩萬小時。從數據量角度來說，我覺得要達到比較好的泛化，需要考慮三個問題：第一是質量，第二是多樣性，例如：同一個任務，同一個 position 收 30 條數據對預訓練反而是有害的，會讓模型過擬合；第三是數量，我們目前最大的訓練量是 2 萬多小時，模型已經出現了不錯的泛化能力，downstream finetuning 所需的數據量和探索空間都會變得更好。

佩戴OOL手套采集人手數據

02

VLA VS 世界模型

▎AI科技評論：行業里關于 VLA 和世界模型的爭論很激烈，有人認為 VLA 已死，你怎么看？

劉家銘：我其實不太喜歡把它們看成競爭關系。很多時候，它們解決的是同一個問題，只是角度不同。傳統的 Action Policy，需要自己完成從 0 到 100 分的預測。而 VLA 也好，WAM 也好，本質上都是在提前提供一部分物理先驗。比如視頻生成、世界模型，可以先把未來可能發生的狀態預測到五六十分；后面的 Action Policy，只需要完成剩下的部分。這樣，機器人學習的難度就會低很多。所以我一直覺得，沒有必要糾結到底是 VLA 還是 WAM。兩者都是為了提供更好的物理先驗、更好的推理能力。最終服務的，都是機器人對物理世界的理解。

▎AI科技評論：所以你不認為 VLA 走到了盡頭？

劉家銘：當前不少 VLA 工作表現有限，更多反映的是模型與訓練數據尚未充分、訓練策略不是很對，并非是 VLA 范式本身的能力上限。如果把 instruction following 和 physical reasoning 做好標注、真正訓練好，VLA 依然具備很強的能力。當然，世界模型擅長建模物理動態、時序依賴、歷史信息，這也很重要。但我覺得兩者不是對立的，而是可以在系統里共存。

▎AI科技評論：論文里提到的隱空間推理，是在這個思路下做的嗎？

劉家銘：對，我們在 LaST? 里給了幾個 motivation。第一，世界模型生成有用但慢，把它壓縮到隱空間里，推理效率會快很多。第二，隱空間自由度更高，可以融合3D信息、本體信息、觸覺信息，不只是視頻或文本。第三，人做大多數事情的時候，不需要想象出未來的狀態具體什么樣，更像是一種隱空間的學習。latent reasoning 在 VLM 和機器人基礎模型里，都是非常有前景的方向。

03

LaST 是一個系統

▎AI科技評論：你有三十多篇一作/共一論文，覆蓋了 VLA 、世界模型、強化學習等多個方向，你的博士研究主線是什么？

劉家銘：我一直研究的是同一個問題，就是如何讓機器人真正理解物理世界，并且能夠持續獲得泛化能力。機器人今天遇到的很多問題，其實不是單獨優化一個模型、一個算法就能解決的。數據決定機器人能夠學習什么；模型決定它如何理解物理世界；訓練策略決定它如何持續進化；本體則決定這些能力最終能否真正執行出來。這幾個部分其實是相互耦合的。所以我的博士課題一直都是圍繞開放世界機器人的一體化智能體展開，希望把數據、模型、訓練策略和本體放到同一個系統里面思考，而不是各自獨立優化。

▎AI科技評論：具身領域技術路線變化很快，很多人為了發論文不斷追逐熱點，不能顧及落地問題，而你的很多研究最終都進入了機器人量產流程。你做學術，是為了發論文，還是為了機器人量產？

劉家銘：我做學術不是為了發論文。Robotics 是應用研究，如果東西做出來不能用，那至少提出了一個好方向，這也挺好。但我們現在追求的論文，是以應用為導向的，想構建一個真正能夠持續學習、真正可落地的機器人系統。

比如 LaST-HD 這篇，我們的 Out-of-Lab 手套，不是為了發論文設計的，是因為我們發現機器人最大的瓶頸是高質量原生人類數據。Mixture-to-Human 訓練策略，也不是為了刷 benchmark ，而是希望機器人部署之后，能用少量人手數據快速適應新場景、新用戶。論文里肯定有一些驗證科學問題的設計，比如 latent alignment 怎么構建、為什么訓練策略有效，但更多的設計來自于真實機器人研發過程中的需求。

我比較喜歡的論文風格，像 shuran song 老師組的工作，是系統工程。真正的機器人基礎模型，不應該只關注模型，而應該同時考慮數據采集、模型、訓練、本體等一系列問題。LaST 系列也是朝這個方向走了一步。

▎AI科技評論：LaST 是一個系列？

劉家銘：對。很多人最近關注的是 LaST-HD ，但實際上它只是 LaST 系列中的一個環節。整個 LaST 系列，都是圍繞機器人如何學習這件事情不斷往前推進。LaST? 主要關注機器人基礎模型；LaST-R1 探索如何通過后訓練進一步提升模型能力；TwinRL 希望結合數字孿生，讓機器人能夠更高效地完成強化學習；LaST-HD 則關注如何利用人手數據，讓機器人學習人類豐富的操作經驗。最近我們還有一些新的工作，在真機上的表現已經比較不錯，可以期待一下。把這些工作放在一起，其實是在補機器人學習過程中的不同短板。

▎AI科技評論：至簡動力這次百臺交付對你意味著什么？

劉家銘：它驗證了我們這套從數據、模型、訓練策略到本體的一體化管線，是可以跑通的。至簡動力的量產主要由PD方向的同學推進，我這邊更多是前沿技術探索和技術支撐。但 LaST 系列的工作，從手套設計到物理對齊再到后訓練，最終都要在真機上驗證。百臺交付就是這個驗證節點。

04

靈巧手，學術與終局

▎AI科技評論：LaST-HD 里提到先用 latent alignment 做預訓練，再通過少量人手糾錯數據快速微調，這種策略是為了提升 benchmark 分數嗎？

劉家銘：后訓練這個設計其實更符合從工業界反推回來的思路。我們想探究一種全新的 ToC 范式——機器人離開實驗室、進入用戶家里之后，不停止學習，而是持續性地學習，越來越符合這個家庭和用戶的使用習慣。現在進家之后大概有三種范式。第一種是遙操，但遙操學到的是遙操員的習慣，不是用戶的習慣。你收拾碗的方式和遙操員不一樣，雖然準確度可能很高，但用戶希望機器人按自己的方式干活。第二種是全場景重建，然后在仿真里迭代，但這涉及隱私問題，而且 sim-to-real gap 依然存在。第三種就是我們想提的范式：用戶戴上輕量級手套，在家里按自己的習慣做幾遍，交給機器人做非常簡單的迭代更新，可能幾十分鐘，機器人不但把精度從 60 分提到 90 多，更重要的是學會了你的習慣，形成一個你獨屬的定制化機器人。

▎AI科技評論：這個愿景技術上怎么保證？

劉家銘：這完全取決于手套收集的數據質量。如果數據質量到位，少量高質量人手標注數據確實能快速幫助機器人適應新環境。我們在實驗室特定任務和特定場景下統計得到了 90%+ 的成功率，目的不是為了秀數字，而是驗證這種新范式的可能性——用戶戴上手套試教幾個小時甚至更短，機器人就能適應新環境、新場景、新任務。這個才是真正讓我興奮的點。

我覺得機器人進家是早晚的事，但真正重要的是進家之后比別人多想一步——用戶肯定希望機器人按自己的方式、自己的習慣干活，不希望按別人的方式。個性化是我們一直想注入給機器人的能力。

▎AI科技評論：你覺得靈巧手會在哪些場景優先落地？

劉家銘：未來一段時間，可能近幾年，靈巧手更優先落地于半開放環境——工業柔性制造、自動化實驗室、商業服務等。這些場景任務復雜，但環境相對可控，更適合高自由度機器人部署。如果沒有很好的靈巧手售后支持，我都不建議做靈巧手科研實驗——折手、斷手、冒煙基本是每周都要發生的事。

家庭場景肯定是最終目標，但進家之后面對的是完全開放的環境，不同家庭、不同用戶、不同操作習慣，高自由度加上高泛化難度，難上加難。這也是我們探究手套數據的意義——看看規模化之后，更好地與模型融合，能不能實現穩定、安全的操作。

▎AI科技評論：你覺得具身智能的終局比拼是什么？

劉家銘：我覺得不是 80% 和 81% 的內卷，而是最后 20% 的長尾與個性化。預訓練能把模型基礎能力拉到 80 分，大家都能做；我一直喜歡的一個概念是機器人千人千面，我們不光要在下游任務中賦予機器人百分百的精度，還有讓他學會你的操縱習慣與邏輯。場景自適應、持續學習、個性化記憶，才是拉開差距的關鍵。數據飛輪的關鍵不是采得多，是真實場景、持續回流、在線優化。誰能把這套閉環跑通，誰才能笑到最后。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。