對話 ICRA WBCD 衛冕冠軍陳翔宇：剛贏下比賽，就有工廠盯上了我們的機器人

具身智能落地，從一次直面真實產線的比賽開始

作者丨高景輝

編輯丨馬曉寧

具身智能“落地”的速度，似乎越來越快了。

今年以來，從 Figure 到智元的兩次公開直播可以看到，人形機器人廠商們漸漸地不再“悶頭測試”，而是把機器人“進廠打工”的真實情況公之于眾，讓技術直面工業場景真正的考驗。

而在象征學術最前沿的各大頂會上，這種重視落地的導向更為強烈。不久前剛落幕的 ICRA WBCD（全球雙臂機器人技能挑戰賽）中，更是把真實的產線“平移”到了大會現場，讓來自全球的 40 支隊伍挑戰產業落地的真實痛點。

以柔性物體操作任務為例，這一賽道高度還原服裝廠的真實工序，機器人需要把一沓褶皺、材質、光線各異的衣服拾起衣角、平整展開、套上印花機，對速度、成功率、糾錯能力均有要求，與一些 Demo 里簡單的“疊衣服”難度完全不在一個量級。

但正因為更難，最終突出重圍的選手也顯得更加可貴。今年 WBCD 柔性操作賽道的冠軍，是來自香港科技大學（廣州）的HCLab實驗室，這支隊伍的隊長陳翔宇，同樣也拿下了上一屆 WBCD 雙臂操作比賽的冠軍。

為什么他能連續兩次取得優勝？在賽場之外，具身智能離落地又還有多遠？帶著這些疑問，AI科技評論與陳翔宇展開了一次深度對話，看看行業的一線工作者如何回答他們遇到的“真問題”。

01

高難度賽題，還原真實工業場景

▎AI科技評論：先聊聊比賽本身吧。這是你第二次參加 WBCD 了，相比上次，這次有哪些明顯是不同？

陳翔宇：這次比賽有個明顯的特點是三地聯動。第一屆比賽主要在亞特蘭大，歐洲、國內的很多同學因為簽證問題沒法參與，所以這次設置了維也納、硅谷和上海三個賽區，讓全球的從業者都盡可能參與。

除了賽區規模的擴大，更核心的差異體現在大家的數據準備和技術成熟度上。第一屆在亞特蘭大現場時，因為是首次開賽，大家的設備調試和數據準備都非常倉促，行業里也普遍缺乏這種高壓實機競賽的經驗。在現場極其有限的時間里，純來自模型自主操作的方案很難直接跑通，所以在場隊伍基本都是用遙操作頂著完成的任務。

而到了第二屆，整個社區都吸取了去年的經驗，技術鏈路清晰了很多。主辦方和贊助商提前放出了 UMI 數據，這讓我們和不少隊伍能夠在賽前就提前使用 UMI 數據做模型的預訓練。

有了堅實的預訓練模型墊底，到了這屆比賽現場，我們就不需要重頭去死磕基礎的抓取和運動規律。系統搭建好后，我們只需要現場采集少樣本的真機示教數據進行微調，就能在極短時間內對新環境實現非常驚艷的自適應效果。可以說，從去年的“全員遙操作”演進到今年的“少樣本端到端自主控制”，這是具身智能技術在比賽中落地最直觀的跨越。

▎AI科技評論：去年的比賽經驗能不能復用到今年？

陳翔宇：有一部分可以復用。去年我們積累的經驗主要是怎么更方便高效地采集數據集，怎么快速搭建工程系統，畢竟比賽場景下所有設備都是全新的，大家之前都沒接觸過。第二屆我們就有了更豐富的數采經驗，知道怎么快速搭建系統，跑通從數據采集、模型訓練到推理的完整閉環，這是最關鍵的。

▎AI科技評論：這次比賽分為哪些賽道？

陳翔宇：一開始只有三個賽道：柔性物體操作、打包、生物實驗賽道。這次比賽規模比較大，聯動了維也納、硅谷、上海三個賽區，覆蓋了國內上下游企業，上游比如松靈、方舟、宇樹這類做硬件的廠商。宇樹中途看到活動后加入合作，新增了第四個人形機器人移動操作賽道，最終一共四個賽道。本次比賽共有 150 多支來自國內外不同機構和院校的隊伍報名，最終篩選出 40 支左右進入三地決賽。

▎AI科技評論：這次比賽有分組嗎？比如全自主組、遙操作組、半自主組。

陳翔宇：沒有分組。這次比賽自由度比較高，沒有嚴格的邊界，核心是符合工業產業的實際需求，只要能滿足場景需求，用什么方式都可以，算是一種結果導向。比賽的評判標準也不是用了模型就得分高，因為任務太難了，就算是用遙操作也很難完成，所以不區分遙操作和模型組。而且有些選手一開始打算用遙操作，中途發現可行的自主方案就臨時切換，分組也不利于比賽靈活開展。

▎AI科技評論：剛剛你提到任務很難，具體難在什么地方？

陳翔宇：比如我們參加的柔性物體操作賽道，真實調研過服裝廠的場景：工人需要把一沓不同褶皺、不同光線、不同溫度、不同材質的衣服，放到印花機上印花。這個過程要識別衣服，拾起衣角，像人一樣抓住兩邊衣角平整地套到印花機上，過程中還要糾錯調整平整度，印花完再連續處理下一件，比賽中完全還原真實工業場景。

▎AI科技評論：柔性操作需要末端觸覺數據嗎？

陳翔宇：比賽沒有強制要求，方案完全開放，甚至可以用靈巧手，只要能解決問題就行。我自己做這個方向，之前也考慮過加入觸覺。但團隊最終達成的共識是：回歸本質，用最簡單、最低成本的方法解決最實際的工業場景。

從工業落地視角來看，做這個“減法”是必然的選擇：

純視覺方案已足夠解決問題，盲目加入觸覺會引入不確定性，比如觸覺模型推理較慢，會拉長延遲導致機械臂頓挫；多模態高維數據還會引入微觀物理噪聲，干擾現有 VLA 模型的穩健收斂。工業落地必須直面極致的成本與耐用性考驗：目前主流視觸覺傳感器一個就要 2,000 多元，雙臂改裝成本高昂，對追求商業 ROI 的服裝廠來說太奢侈了。且觸覺傳感器多處于實驗室階段，高強度全天候運轉下的耐用性有待考證，維護成本不可控。具身智能的終局是拼誰能用最低的硬件代價實現最高的泛化。我們摒棄炫技、回歸本質，事實證明這個思路是正確的。

▎AI科技評論：這次比賽的硬件平臺是不是統一的？

陳翔宇：不完全統一。維也納和硅谷的柔性賽道統一用方舟無限的機械臂；上海賽區因為設備調配的問題，隊伍可以選擇松靈、i2rt 等不同的機械臂，而且上海賽區選手可以自帶機械臂參賽，維也納和硅谷都是隊伍到現場才發放設備?？紤]到硬件差異，目前都是分賽區排名。

▎AI科技評論：機械臂差異對比賽的影響體現在哪些方面？

陳翔宇：在部分任務上影響很大。柔性賽道還好，主要差異在機械臂的負載、臂展：比如臂展不夠就夠不到遠處的物體，需要調整操作策略和位姿；每個機械臂的電機參數不同，運行時的發熱情況也不一樣，有的機械臂長時間運行會因為過熱暫停，有的可以持續工作。

▎AI科技評論：夾爪可以用自己的嗎？還是統一提供？

陳翔宇：夾爪可以用自己的，也可以針對設備做合理改造。

▎AI科技評論：改造的具體界限是什么？有明確標準嗎？

陳翔宇：沒有太明確的界限，根據現場情況調整。目前大家的改造都在正常范圍內，像鉤子這類是不允許的；現場實際的改造基本都是用膠加固夾爪，提升抓取穩定性，這類改造賽前都會和各組溝通，大家認可后才會執行。比賽過程中如果有選手提出異議，主辦方也會再協調。因為現場突發情況很多，比如設備損壞、沒有配件之類的問題，都需要靈活處理。

▎AI科技評論：比賽主要考察哪些維度的模型能力？如何考出區分度？

陳翔宇：主要是通過“操作方式的得分系數加成”來拉開區分度。比賽非常鼓勵選手使用模型自主策略去完成全部任務，因此不同操作模式對應的評分系數有很大不同：現場遙操作系數最低；遠程遙操作的操作者看不到現場實體，只能通過攝像頭畫面操作，系數高一些；純模型自主操作系數最高，有非常顯著的系數加成。

▎AI科技評論：有沒有設計得比較好的評分機制？

陳翔宇：除了區分不同操作策略的系數，還會結合任務完成時間綜合評估。比賽規定有效任務執行時間是 10 分鐘，總時長限制 30 分鐘，給隊伍留出現場調試、處理問題的空間。 比如遙操作方案基礎分低，但執行流暢、速度快；模型自主方案系數高，但執行慢。綜合評估下來，每個賽區的評分標準保持一致，不管用什么策略，都按任務完成的成熟度打分，可以保證相對公平高效。

02

真正的較量，在數據層面就已展開

▎AI科技評論：你們隊伍是怎么組建的？有哪些成員，分別負責什么方向？

陳翔宇：這次比賽的隊伍主要是我們實驗室的同學，還有一些之前合作過的伙伴，基本以港科大廣州的學生為主，還有英偉達中國機器人團隊成員，AAAI 最佳論文獎得主，以及 RoboMaster 隊伍的成員。

陳翔宇（左下）和他的團隊

▎AI科技評論：你們的隊伍組建了多長時間？準備了多久？

陳翔宇：我們報名比賽之后就開始準備，但實際進入準備階段是今年 5 月中下旬，因為各類設備都沒到齊。我們 6 月 4 號上午比賽，6 月 3 號下午規則才最終確定，時間非常緊張。

▎AI科技評論：你們一開始對自己的定位是什么？最終結果有沒有超出你們的預期？

陳翔宇：結果完全符合預期。我們實驗室的研究方向和比賽賽題高度相關，港科廣長期聚焦真實工業場景，大家不傾向于刷榜單、做 Demo，平時和具身智能領域的企業合作較多，很了解實際工業場景的問題。這次的任務和我們日常做的方向相關性很強，技術棧也匹配，所以結果在預期之內。當然過程中也出現了很多不可控的變量，我們都一一克服了。

▎AI科技評論：這次比賽有不少數據贊助商，有用他們的 UMI 數據嗎？

陳翔宇：我們的數據分兩部分。比賽官方有簡智、鹿明、艾歐智能等贊助商提供的數據，但我們實際用得不多，我們使用了自研的UMI設備采集了一部分做預訓練，更多是自己采集數據。UMI 數據在比賽里是可選項，不是必須項。對我們隊伍來說，UMI 數據主要用來做測試和預訓練，現場階段都是直接用機械臂采集數據。

▎AI科技評論：整體大概需要多少小時的數據量？

陳翔宇：UMI 數據大概100 多小時，我們自己用機械臂采集的動覺示教數據大概10 到 20 個小時，軌跡大概 1000 多條。現場就是這個數據規模，用這些數據訓練模型，再配合策略，最終效果還不錯。

▎AI科技評論：今年開始大家都在聊 Ego 數據，UMI 提的人少了。你怎么看這兩種數據路線的選擇？UMI 是不是有局限性？

陳翔宇：我覺得這是兩種不同場景的選擇：Ego 數據更偏向數據廠商的需求，采集后可以適配靈巧手、二指夾爪等不同末端，具備跨本體的泛化性，但局限性是純視覺估算，存在精度不足的問題。

UMI 數據更適合已經確定末端構型的場景，比如確定用夾爪還是靈巧手，偏向精細工業作業場景，因為本體視角的觀測和位姿、夾爪 / 靈巧手的關節示數都是編碼器讀取的，精度一致，更適配工業場景。 目前來看，UMI 和 Ego 是針對不同場景的方案，兩個方向也都在持續探索。

我個人更傾向未來的方向是 Ego 數據：從第一性原理來說，人只有第一視角，用第一視角采集數據更符合人的自然直覺；未來如果要搭建數采工廠、招募人員批量采數據，頭戴相機的采集方式也更自然。UMI 更像是中間過渡狀態。

▎AI科技評論：UMI 數據在泛化性上是不是也有問題？

陳翔宇：對。UMI 數據更適配同構型的夾爪結構，采集端和使用端的機械臂末端結構一致。Ego 數據是通過識別人手手指距離轉換位姿，精度上有差異。兩者適用于不同場景。

▎AI科技評論：數據手套這種方案，是不是很容易損壞，報廢頻率很高？

陳翔宇：對。數據手套是個不錯的解決方案，比純視覺觀測手勢更精準，能更好地讀取手部彎曲狀態?，F在市面上的靈巧手自由度差異很大，有 6 自由度的，也有 21、22 自由度的，手套和 Ego 方案類似，能相對精準地捕捉手勢信息，遷移適配到不同自由度的靈巧手上。

但問題是人手和靈巧手的關節構型有差異，精細操作任務上還是會有偏差。而且目前的柔性材料只能說將將夠用，達不到工業級反復使用的標準，也沒有對應的行業標準，實際使用下來大概兩到三周就會損壞?，F在國內廠商的方案都是走低價路線，幾千到一萬塊一副，壞了就直接換，只能靠多備幾套來解決損耗問題。

▎AI科技評論：這樣成本不會很高嗎？

陳翔宇：現在具身智能還處于早期階段，還沒到考量成本的時候，核心是先拉通從采集到模型訓練的完整 Pipeline。等需求明確、數據采集的定義清晰，能夠批量采集的時候，才是壓縮成本、上規模的階段。

▎AI科技評論：這次比賽準備時間比較短，你們怎么保證數據質量？

陳翔宇：首先我們發現單一數據來源很難提升模型的質量和魯棒性，所以前期會采集多來源的數據，比如遙操作數據、UMI 數據，用來做預訓練。到了賽場，因為現場環境和實驗室不同，我們不光采集正確操作的數據，也會采集錯誤操作的數據，把糾錯能力交給模型自己學習。 所以比賽里我們的模型具備自動糾錯能力和未知場景泛化能力。所以我們能知道怎么在短時間內相對高效地采集數據，配合模型訓練技巧，讓模型在少樣本場景下，在垂直領域里有不錯的表現。

▎AI科技評論：你們用的是 VLA 模型嗎？其他隊伍有沒有用世界模型之類的？

陳翔宇：對，我們用 VLA。世界模型確實有隊伍用，但我們賽道用得不多，生物賽道有一些隊伍用了世界模型。

我個人覺得，世界模型的理念和愿景非常好，但它目前在具身操作領域的技術成熟度還處于比較早期的研究探索階段。可能因為這個技術方向太新了，它從數據集構建、模型訓練到推理部署的全流程優化技巧，行業內還沒有形成標準范式。

我們自己在實際測試時，也可能是我們調參的經驗不足，暫時還沒有發現它在當前任務下比 VLA 展現出更顯著的優勢。 相比之下，VLA 模型經過一年多的沉淀和演進，整個學術界和工業界都積累了非常成熟的調優技巧。在這次高壓的現場競賽中，從工程落地的確定性出發，VLA 是更穩妥也更容易發揮出性能極限的選擇。世界模型要真正釋放出它所勾勒的核心優勢，可能還需要給學術界和產業界更多的時間去沉淀和攻克工程細節。

▎AI科技評論：我看到有些方案用模塊化的小模型，你怎么看這種路線？

陳翔宇：相比之下模塊化方案更適合小場景。因為模塊化方案是感知、規劃、決策、執行解耦的，不同模塊之間的響應有延遲，很影響比賽執行的效率；而且某個模塊報錯就可能導致整個系統宕機。所以我們選擇了端到端方案，直接輸出控制指令，延遲更低。我們之前測試過模塊化設計，響應很慢，光感知環節就要幾分鐘，所以最終沒有采用。

03

透過一次比賽，

看到具身智能落地的可能性

▎AI科技評論：現場比賽開始后，規則有沒有一些臨時的調整？

陳翔宇：維也納賽區我們的流程都很正常，10 分鐘執行時間，30 多分鐘就全部完成了。上海賽區隨后出現了一些新情況：因為初版規則一開始沒限定總時長，只規定了單次 10 分鐘的執行時間，并且設置了兩輪標準，因此有的隊伍在現場花費了兩個多小時進行反復的重試和調整。

為了更真實地模擬工業生產中對時效性的嚴苛要求，縮短選手在現場的調試時間，并更加考驗模型在非理想狀態下的真實泛化與糾錯能力，主辦方在后續緊急補充了 30 分鐘總時長的限制。

這個規則調整非常及時，有效地避免了通過無限次人工干預去試錯，真正把考核焦點拉回到算法與模型的硬實力上，最大化地考驗了各支隊伍的真水平。

▎AI科技評論：比賽過程中你們的進展符合預期嗎？有沒有意料之外的情況？

陳翔宇：有很多意料之外的情況。比如某些原因導致不同賽道拿到機械臂的時間不一致，賽道之間很難協調，各賽道的機械臂狀態也有差異，需要我們隨時調整。

再比如 UMI 數據原本是備選項，有些專門做模型的隊伍需要靠 UMI 數據做預訓練，但不同 UMI 廠商的數據標準不統一，數據交付延遲，延誤了隊伍的訓練時間，有些甚至不得不退賽。但這也正好體現了比賽的初衷：綜合考驗隊伍從工程系統搭建，數據采集，到模型訓練、推理的全流程能力，而不是只會用現成數據訓模型。

還有算力的問題。我們找過國內算力廠商幫忙適配，但維也納和硅谷賽區沒法直接使用國內算力，海外也沒找到合適的服務器，最后海外賽區的隊伍要把數據傳回國內再訓練，國內隊伍可以直接用本地服務器，兩邊有差異。

▎AI科技評論：賽后復盤的時候，你們覺得自己做得最好的地方是什么？

陳翔宇：我們最滿意的一點是，我們只做了小范圍的后訓練，就讓 VLA 模型具備了很好的泛化和糾錯能力。我們之前一直很擔心環境變化的影響，比如白天采集的數據晚上不能用，以及實驗室的場景到現場不適用。

比如我們實驗室用的是黑色桌布，現場是白色桌子，白色 T 恤放在白桌上肉眼都很難區分。但實際測試下來，用黑色桌布采集的預訓練數據，在現場依然能實現泛化，模型可以很好地區分白色衣服和白色桌面。我們只錄入了一部分糾錯數據，在比賽前臨時修改規則的情況下，模型依然能適配不同擺放位置的衣服，第一次抓取失敗后也能快速反應進行第二次抓取。

▎AI科技評論：有點涌現的感覺。

陳翔宇：對。所以我們后續打算把從數采到模型訓練、推理的閉環做得更完善，嘗試提升數據量之后，模型會不會有更好的自主思考效果。比如 Generalist 團隊的研究提到，一開始只用左手加載數據訓練，數據量夠了之后，模型會自主學會用右手完成任務。我們感覺已經看到了這種可能性，后續會持續嘗試，我們的路線也借鑒了他們的思路。

▎AI科技評論：Generalist 的 demo 有抗干擾設計，這次比賽有干擾項嗎？

陳翔宇：這次沒有專門設置人為干擾，干擾更多來自任務本身：衣服的衣角會以不同褶皺、不同狀態、不同位置擺放。主辦方本來考慮過加抗擾動測試，但實際工業場景里不會有太多人為干預，只需要工人把衣服放到工位上即可，所以就沒設置額外干擾，沒有為了比賽而比賽。

▎AI科技評論：這種泛化糾錯能力，對真實產線的應用意義是什么？可以直接遷移到真實產線嗎？

陳翔宇：我們的方案初步驗證了兩點：一是跑通了從數據采集到落地的完整流程；二是驗證了針對不同結構的衣服，采集一定量的數據，就能實現顏色、尺寸層面的小范圍泛化。

賽后我們學校有服裝廠的合作方，看到比賽結果后很感興趣，想合作落地相關方案。工廠用機械臂替代人工做這類重復勞動，能大幅提升效率、降低成本和重復勞動的損耗。接下來我們要提升不同顏色、不同大小衣服的泛化能力，覆蓋更多場景。

▎AI科技評論：你們真的到產線考察過嗎？

陳翔宇：我自己沒有去過。比賽前組委會會放出過他們在美國、國內工廠實拍的畫面，跟我們解釋賽題的設計依據，比賽任務就是還原真實的工業需求。賽后是學校的老師對接了服裝廠的合作，場景和比賽基本一致。

▎AI科技評論：像疊衣服這類任務，傳統工業機器人做不了嗎？

陳翔宇：側重點不同，傳統方案也能做。比如硅谷的 Dyna ，還有一些工業 3D視覺公司，前年就實現了類似任務。但我感覺這些更多是驗證方法有效性，沒有太多和服裝廠的落地合作，更多應用在物流分揀的包裹適配場景。 疊衣服之前的應用場景大多是酒店、醫院疊衣服、疊病號服，但我沒聽到過比較好的落地效果。

▎AI科技評論：產線對響應速度要求非常高，這種場景的 ROI 是不是很難跑通？

陳翔宇：我覺得首先工業機械臂比較笨重，負載、電壓要求都不太適配這類民用場景，而且如果要實現移動操作——不止是靜止放衣服，還要移動取料再放回工位，工業機械臂更不適用，我們評估協作機械臂就足夠完成任務。

其次從時長來看，工廠兩班倒大概工作 12 小時，機械臂可以 24 小時全天候運轉，核心是解決電機散熱問題，優化電機性能就能持續運行。

另外我認為未來的技術趨勢是：第一步先通過數據訓練，讓模型具備固定場景的推理能力；第二步是推理過程中像在線強化學習一樣，在線調整策略、收集數據。單純靠人力批量采集數據不是完全正確的路線，更合理的模式是前期先教給模型基礎規則，讓模型像人一樣通過類似強化學習的方式自主探索，理解獎懲機制，自我調整優化。

工業場景里，哪怕前期效果不好，也可以讓模型邊運行邊采集數據、邊學習調整，持續自我進化，最終滿足真實工業需求。假設未來解決了散熱等所有問題，機械臂可以 7×24 小時工作，哪怕單步速度慢一點，整體效率也很可觀。而且只要流程跑通，后續一定會有模型加速方案，最終效率能超過人工。

▎AI科技評論：相比前陣子智元的直播，這個比賽的任務會更難一點嗎？

陳翔宇：我覺得不能簡單用“更難”來概括，兩者的任務難度方向其實完全不同。

智元的方案更側重于考驗機器人在標準化工業產線中動作執行的精密程度。在這種剛性裝配或抓取任務中，機器人操作的加工件相對固定，工況變化較少，但對絕對運動精度的要求達到了毫米級甚至微米級，這非?？简灡倔w控制的確定性。

我們柔性操作的賽道：它面對的物體不確定性更多。比如服裝廠的場景里，衣服的材質、顏色、花紋是完全不限定的，且衣服本身極易發生無規律的形變，這對大模型的視覺泛化和空間智能提出了極高要求。不過，因為是布料操作，它在客觀上對絕對精度的要求并沒有傳統剛性工業件那么嚴苛。

智元的方案做得非常好，驗證了工業機器人在標準產線落地的可能性，非常值得我們學習。我們兩邊其實是在具身智能落地的兩個不同維度——“極致的行動精度”與“極致的物體泛化度”上，各自做出了有價值的探索。

▎AI科技評論：這次比賽你們有沒有量化的成果指標？

陳翔宇：指標方面，我們更希望符合實際工業場景中人的工作效率。所以核心指標就是讓模型的推理表現無限接近人類工人的作業速度和成功率。

為了實現這一目標，我們在測試與優化上下了很大功夫：

模型選型與長程任務優化：我們測試了不同數據量和不同模型的效果。但最終發現 VLA 模型的表現更優。因為加入語言描述后，模型對長程（Long-horizon）任務的理解能力顯著增強，在精細調整階段的效果也更好。

數據量的邊界測試：實際測試下來，大約 10 個小時的數據量就能訓練出效果相當不錯的模型，不過在這個數據量下，模型的顏色泛化能力還會稍顯不足。

混合數據策略帶來“意外之喜”：在數據質量方面，我們主動混合了高效完成的“優質數據”以及完成度一般的“一般數據”。最終我們驚訝地發現，加入適量的“壞數據”不僅不會破壞訓練，反而顯著提升了模型應對復雜工況的容錯與反應能力。當模型在現場遇到類似偏差時，它會展現出自主調整和優化完成效果的自愈力。

基于以上的組合優化，我們最終成功將單個任務的完成時間壓縮到了 20 秒左右，且全流程成功率穩定在 90% 以上。這個效率和穩定度，已經非常接近真實產線上熟練工人的作業節奏，初步跑通了工業落地的可行性指標。

▎AI科技評論：現在有些比賽都是純仿真環境，你覺得這類比賽有實際意義嗎？

陳翔宇：我個人偏向真機派，純仿真比賽的實際意義有限。從技術發展路徑來看，自動駕駛也不是靠仿真數據跑通的，特斯拉 FSD 是靠全真機數據驗證落地的。 但我不否認仿真數據的價值：仿真數據是一種驗證手段，可以簡單驗證模型從數據采集到訓練的有效性，適合不方便部署真機模型的場景做初步驗證。

另外可以用 Real to Sim to Real 的路線，通過掃描、算法把物體還原到仿真器里做渲染，生成高還原度的仿真數據做數據增廣，是重要的數據補充來源。

很多參賽選手沒有條件搭建和比賽一致的真機環境，只能用仿真器訓練，這類仿真賽事更多是鍛煉選手跑通仿真評測閉環的能力，或者讓選手了解、試用相關算法，有它的定位。長遠來看，仿真數據是數據金字塔里的重要一環，是技術發展的一個階段。

▎AI科技評論：最后再延伸一點，你如何看待不同數據的配比問題？

陳翔宇：采集什么樣的數據集、怎么高效采集，一直是學界的核心問題，本質上大家都是在探索高效采集基線數據、訓練機器人 “大腦” 的方式，沒有絕對的對錯。 比如英偉達發布的 EgoSacle 論文，做數據金字塔方案，就是希望利用海量的網絡視頻數據，不浪費現有數據資源，再針對具體場景補充真機數據，訓練效果比單一視頻數據好很多。

我們實際測試也發現，真實數據 + 視頻數據 + 仿真數據混合訓練，模型效果會提升很多。仿真器廠商的探索是有價值的，但要分任務和場景?，F在仿真器公司和實驗室都在攻克難題，比如柔性物體操作的仿真，提出了各種物理模擬方法，但不管是世界模型還是仿真器，目前都沒法完全模擬真實場景，沒法完全復現柔性體、流體的物理運動規律。

仿真數據是很好的訓練數據來源，但我認為都只是中間態的數據方案，不是最終形態?，F在沒人知道最優的數據采集方式是什么，大家都在探索，應該給不同公司、實驗室探索的空間，說不定哪天就有突破了。

（注：以上內容來自參賽選手口述，不代表WBCD官方觀點）

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。