訓(xùn)練世界模型，開(kāi)始從人類(lèi)的肌肉和腦子里偷師了

允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

具身智能數(shù)據(jù)的競(jìng)爭(zhēng)，正在從“量大管飽”進(jìn)入下一關(guān)。

過(guò)去一年，第一視角視頻成了機(jī)器人訓(xùn)練的主流燃料。人戴上相機(jī)做飯、整理桌面、開(kāi)抽屜，就能產(chǎn)出大量操作樣本。

數(shù)據(jù)量的問(wèn)題初步緩解，但一個(gè)更深的缺口浮出來(lái)了：

這些視頻只記錄了人做了什么，沒(méi)有記錄人為什么這樣做，更沒(méi)記錄動(dòng)作執(zhí)行中大腦和身體如何實(shí)時(shí)修正。

FaceMind臉譜心智想填的，就是這個(gè)缺口。

這家由兩位95后博士創(chuàng)立的公司，提出了一套全新的Ego-NeuroLoop數(shù)據(jù)范式。

它同時(shí)采集四類(lèi)信號(hào)，把人類(lèi)完成一個(gè)動(dòng)作時(shí)“看哪里、準(zhǔn)備做什么、肌肉怎么發(fā)力、反饋怎么修正”的完整閉環(huán)，壓進(jìn)同一條時(shí)間軸。

配套的硬件方案NeuroMatrix負(fù)責(zé)降低采集門(mén)檻，信號(hào)處理層NeuroBooster負(fù)責(zé)把噪聲拉滿的原始數(shù)據(jù)對(duì)齊成模型能“吃”的格式。

△圖片為AI生成

而這一整套思路的起點(diǎn)，來(lái)自神經(jīng)科學(xué)里一條被反復(fù)驗(yàn)證的理論：貝葉斯大腦。

貝葉斯大腦：大腦一直在預(yù)測(cè)世界

神經(jīng)科學(xué)里有一條被反復(fù)驗(yàn)證的理論，叫“貝葉斯大腦”，常和預(yù)測(cè)處理、自由能原則放在一起討論。

它的核心思想是，大腦不是被動(dòng)接收信息的容器，它一直在主動(dòng)預(yù)測(cè)。基于過(guò)去經(jīng)驗(yàn)和當(dāng)前上下文，大腦會(huì)對(duì)外部世界和身體狀態(tài)生成概率化預(yù)期，再拿感官反饋去校準(zhǔn)。

△圖片為AI生成

你下一秒會(huì)看到什么、手伸出去會(huì)碰到什么，目標(biāo)還在不在剛才那個(gè)位置，大腦全在提前算。

真實(shí)感官輸入回來(lái)后，預(yù)測(cè)和現(xiàn)實(shí)一對(duì)比，差值就成了預(yù)測(cè)誤差。誤差推著內(nèi)部模型往前更新。

拿AI領(lǐng)域的概念類(lèi)比，大腦本身就在跑一套世界模型。

AI里的世界模型研究環(huán)境如何隨動(dòng)作變化，大腦做的事很像，只不過(guò)人類(lèi)這套系統(tǒng)天然和身體長(zhǎng)在一起。視覺(jué)、視線、觸覺(jué)、本體感覺(jué)、肌肉反饋、注意力、誤差信號(hào)，全跑在同一條鏈路上。

具身智能想學(xué)的，恰恰是這個(gè)。

機(jī)器人要進(jìn)入廚房、倉(cāng)庫(kù)、實(shí)驗(yàn)室、家庭這樣的真實(shí)場(chǎng)景，光有視覺(jué)識(shí)別和動(dòng)作模仿還不夠。

真實(shí)世界會(huì)滑、會(huì)擋、會(huì)變、會(huì)突然打斷任務(wù)。目標(biāo)怎么選，動(dòng)作什么時(shí)候啟動(dòng)，偏差出現(xiàn)后怎么修正，失敗了怎么換策略，這些能力單靠一段視頻學(xué)不到。

具身智能真正缺的，不是更像錄像機(jī)的數(shù)據(jù)，是更像大腦運(yùn)行日志的數(shù)據(jù)

攝像頭拍到了手，但拍不到大腦

過(guò)去一年，ego-centric、human-centric數(shù)據(jù)成為具身智能的主流燃料。

機(jī)器人真機(jī)數(shù)據(jù)采集成本高、速度慢、設(shè)備貴，場(chǎng)景覆蓋有限。

相比之下，人類(lèi)第一視角數(shù)據(jù)的采集門(mén)檻低得多，一個(gè)人戴上相機(jī)做飯、整理桌面、開(kāi)抽屜、拿工具，就能產(chǎn)出大量原始任務(wù)素材。

這類(lèi)數(shù)據(jù)能記錄環(huán)境里有什么，物體怎么變化，手和物體如何接觸，任務(wù)最后有沒(méi)有完成。對(duì)模型來(lái)說(shuō)，這些都是真實(shí)世界操作的基礎(chǔ)材料。

但第一視角視頻有一個(gè)天然邊界：它主要記錄人做了什么

• 攝像頭能看到手伸向杯子，卻看不到人為什么先看杯沿
• 能看到杯子被拿起來(lái)，卻看不到動(dòng)作準(zhǔn)備何時(shí)出現(xiàn)
• 能看到手指接觸物體，卻看不到肌肉發(fā)力如何變化
• 能看到任務(wù)成功或失敗，卻看不到反饋誤差怎樣觸發(fā)下一步修正

現(xiàn)有human-centric數(shù)據(jù)更像一個(gè)行為結(jié)果庫(kù)，記錄的是動(dòng)作軌跡和任務(wù)結(jié)果。

具身智能真正需要學(xué)的東西，是行為生成機(jī)制——目標(biāo)如何被發(fā)現(xiàn)，注意力如何切換，意圖如何形成，肌肉如何執(zhí)行，反饋怎么改變動(dòng)作。

如果大腦是一套預(yù)測(cè)式世界模型，訓(xùn)練數(shù)據(jù)就要盡可能記錄這套模型的運(yùn)行過(guò)程。不只是“人看到了什么、手做了什么”，還要覆蓋“人如何預(yù)測(cè)、如何行動(dòng)、如何反饋、如何更新”。

FaceMind臉譜心智想填的就是這個(gè)缺口。

這家公司由兩位95后博士陸弘遠(yuǎn)、韋怡然創(chuàng)立，早期從端側(cè)全模態(tài)模型切入，隨后把研究重心轉(zhuǎn)向更底層的世界模型方向。

△臉譜心智Founder陸弘遠(yuǎn)

但他們更關(guān)鍵的切入點(diǎn)，是把貝葉斯大腦理論轉(zhuǎn)譯成具身智能的數(shù)據(jù)問(wèn)題。

神經(jīng)科學(xué)認(rèn)為，大腦通過(guò)內(nèi)部模型預(yù)測(cè)世界，用反饋誤差更新模型；AI里的世界模型，也想讓智能體理解環(huán)境如何隨動(dòng)作變化。

具身智能要把兩者接起來(lái)，就需要一類(lèi)新數(shù)據(jù)，以此來(lái)記錄人類(lèi)大腦、身體和環(huán)境如何形成閉環(huán)

Ego-NeuroLoop就是在這個(gè)背景下出現(xiàn)的。

它不是單純多采一點(diǎn)視頻，也不是把人類(lèi)動(dòng)作再標(biāo)一遍標(biāo)簽。

它要采的是人類(lèi)完成任務(wù)時(shí)的閉環(huán)過(guò)程：人看哪里，什么時(shí)候準(zhǔn)備動(dòng)作，肌肉如何啟動(dòng)，反饋怎樣出現(xiàn)，動(dòng)作又如何被修正。

貝葉斯大腦里的“預(yù)測(cè)、誤差、更新”機(jī)制，正在借由Ego-NeuroLoop變成機(jī)器人可以學(xué)習(xí)的數(shù)據(jù)資產(chǎn)。

給大腦和肌肉也裝上攝像頭

Ego-NeuroLoop把人類(lèi)操作過(guò)程拆成四類(lèi)同步信號(hào)：world camera、gaze、EEG和sEMG，分別對(duì)應(yīng)外部環(huán)境、注意力、神經(jīng)狀態(tài)和肌肉執(zhí)行

△圖片為AI生成

其中，world camera記錄環(huán)境

桌面上有什么，目標(biāo)物體在哪，手和物體怎么接觸，任務(wù)走到了哪一步。這一層提供的是世界模型的外部輸入

gaze記錄視線

人做動(dòng)作之前，眼睛往往先到。先看目標(biāo)，再看可抓取區(qū)域，必要時(shí)掃一眼障礙物或下一步的放置位置。視線軌跡能幫模型從復(fù)雜環(huán)境里篩出當(dāng)前真正相關(guān)的信息。

EEG補(bǔ)的則是動(dòng)作發(fā)生之前那段“前奏”。

腦電讀不出完整想法，但動(dòng)作準(zhǔn)備、注意狀態(tài)、任務(wù)切換、誤差感知這些信號(hào)它都能捕捉。

手還沒(méi)動(dòng)，神經(jīng)系統(tǒng)已經(jīng)進(jìn)入準(zhǔn)備狀態(tài)，這個(gè)時(shí)間差只有EEG能記錄。

sEMG把動(dòng)作落到肌肉層面。

手臂、手腕、手指什么時(shí)候激活，發(fā)力怎么變化，動(dòng)作修正發(fā)生在哪個(gè)階段。相比只看手部軌跡，sEMG多給出的是執(zhí)行力度和控制細(xì)節(jié)。

四類(lèi)信號(hào)放到同一條時(shí)間軸上，一個(gè)動(dòng)作就從一段軌跡變成一條完整鏈路——

目標(biāo)被發(fā)現(xiàn)，注意力聚焦，神經(jīng)系統(tǒng)進(jìn)入準(zhǔn)備，肌肉開(kāi)始激活，手接觸物體，反饋回流，力度和軌跡被重新調(diào)整。

模型從這類(lèi)數(shù)據(jù)里學(xué)到的，不只是“人怎么做”，還有“人憑什么做對(duì)的”。

先在實(shí)驗(yàn)室畫(huà)滿地圖，再把設(shè)備做小

數(shù)據(jù)定義好了，得先采得到。

FaceMind給出的硬件方案叫NeuroMatrix，負(fù)責(zé)同步采集視覺(jué)、視線、EEG、sEMG四類(lèi)信號(hào)。

△圖片為AI生成

這里最大的現(xiàn)實(shí)問(wèn)題，是成本和部署難度。

高精度腦電、肌電和視線追蹤設(shè)備往往更適合實(shí)驗(yàn)室環(huán)境，通道多、成本高、佩戴復(fù)雜，很難直接鋪到真實(shí)世界的大規(guī)模任務(wù)里。

NeuroMatrix的思路，是先用高精度版本建立信號(hào)地圖

高精度階段拿到的是完整的腦電、肌電、視線和視覺(jué)數(shù)據(jù)。

系統(tǒng)在這一步分析動(dòng)作意圖和腦區(qū)信號(hào)的對(duì)應(yīng)關(guān)系，搞清楚哪些頭皮電極通道、哪些肌肉區(qū)域、哪些視覺(jué)目標(biāo)之間存在穩(wěn)定關(guān)聯(lián)。

地圖畫(huà)完之后，硬件設(shè)計(jì)圍繞關(guān)鍵位置收縮，減少電極數(shù)量，壓縮傳感器點(diǎn)位，把設(shè)備往更輕、更便宜、更容易戴上就走的方向做。

這一步?jīng)Q定數(shù)據(jù)生產(chǎn)能鋪多遠(yuǎn)。

具身智能需要長(zhǎng)期、穩(wěn)定、貼近真實(shí)場(chǎng)景的數(shù)據(jù)供應(yīng)，少量實(shí)驗(yàn)室級(jí)樣本撐不起通用機(jī)器人訓(xùn)練。

采集門(mén)檻不降下來(lái)，人類(lèi)閉環(huán)操作數(shù)據(jù)就沒(méi)法進(jìn)入更高頻、更大規(guī)模的生產(chǎn)階段。

四路信號(hào)，互相兜底

采到的數(shù)據(jù)還不能直接用，因?yàn)檫@些信號(hào)都不干凈。

EEG容易受到電極接觸、頭動(dòng)、眨眼和環(huán)境干擾影響；sEMG會(huì)受到佩戴偏移、肌肉串?dāng)_和動(dòng)作幅度影響；gaze可能漂移或短時(shí)丟失；視覺(jué)數(shù)據(jù)也躲不開(kāi)遮擋、模糊和視角變化。

更麻煩的是，多模態(tài)數(shù)據(jù)之間的時(shí)間同步問(wèn)題，原始信號(hào)很難直接變成訓(xùn)練樣本。

FaceMind給出的第二層，是NeuroBooster

它是一個(gè)面向神經(jīng)和身體信號(hào)的多模態(tài)基座模型，能把粗糙、異步、信噪比低的原始數(shù)據(jù)，整理成一條模型能消費(fèi)的閉環(huán)時(shí)間軸。

一個(gè)類(lèi)比可能更好理解，VLM對(duì)齊的是圖像和文本，NeuroBooster對(duì)齊的是視覺(jué)、視線、EEG、sEMG。

這套系統(tǒng)的關(guān)鍵在于模態(tài)互補(bǔ)

• EEG信號(hào)弱的時(shí)候，gaze和sEMG可以補(bǔ)充目標(biāo)與執(zhí)行信息；
• sEMG噪聲大時(shí)，視覺(jué)和EEG可以幫助判斷動(dòng)作處在哪個(gè)階段；
• gaze漂移時(shí)，world camera和手部狀態(tài)可以把上下文拉回來(lái)；
• 視覺(jué)被遮擋時(shí)，神經(jīng)和肌肉信號(hào)照樣能保留意圖與執(zhí)行線索。

經(jīng)過(guò)時(shí)間對(duì)齊、信號(hào)配對(duì)、增強(qiáng)重建和結(jié)構(gòu)化輸出后，模型拿到的不再是一堆孤立傳感器記錄，而是一條更完整的操作鏈路：看到了什么，注意哪里，準(zhǔn)備做什么，如何發(fā)力，反饋如何出現(xiàn)，下一步怎樣調(diào)整。

數(shù)據(jù)競(jìng)爭(zhēng)會(huì)進(jìn)入閉環(huán)質(zhì)量階段

具身智能數(shù)據(jù)的競(jìng)爭(zhēng)，過(guò)去一直圍繞規(guī)模、場(chǎng)景、動(dòng)作展開(kāi)。

誰(shuí)數(shù)據(jù)量大，誰(shuí)覆蓋任務(wù)多，誰(shuí)的動(dòng)作樣本豐富，誰(shuí)就更有機(jī)會(huì)訓(xùn)練出強(qiáng)策略模型。

下一輪競(jìng)爭(zhēng)的核心指標(biāo)不一樣了：閉環(huán)質(zhì)量

同樣是拿杯子這個(gè)動(dòng)作，一段普通視頻給模型提供的是軌跡，手從哪里來(lái)，到哪里去，杯子最后有沒(méi)有被拿起來(lái)。

而臉譜心智Ego-NeuroLoop提供的是更細(xì)的過(guò)程，目標(biāo)如何被發(fā)現(xiàn)，注意力怎樣轉(zhuǎn)移，動(dòng)作準(zhǔn)備何時(shí)出現(xiàn)，肌肉什么時(shí)候發(fā)力，接觸之后反饋怎樣改變了后續(xù)動(dòng)作。

兩種數(shù)據(jù)喂出來(lái)的模型，能力邊界差在哪？

只學(xué)軌跡，模型容易停在表層模仿，擅長(zhǎng)復(fù)現(xiàn)，給它見(jiàn)過(guò)的場(chǎng)景它能照著做一遍，但物體一滑、光線一變、任務(wù)被打斷，它沒(méi)有內(nèi)部狀態(tài)去判斷偏差出現(xiàn)在哪個(gè)環(huán)節(jié)。

學(xué)過(guò)閉環(huán)過(guò)程的模型則多了一層?xùn)|西：它見(jiàn)過(guò)人類(lèi)在同樣的偏差面前怎么調(diào)整發(fā)力、怎么重新分配注意力、怎么切換策略，它有機(jī)會(huì)把這些修正邏輯遷移到自己的決策里。

從這個(gè)角度看，Ego-NeuroLoop的意義在于把訓(xùn)練數(shù)據(jù)從“行為庫(kù)”推向“閉環(huán)庫(kù)”。

它記錄人類(lèi)做了什么，也記錄大腦、身體和環(huán)境怎么協(xié)同把事情做成

機(jī)器人缺的世界模型，長(zhǎng)在人類(lèi)大腦里

機(jī)器人缺的世界模型，可能藏在人類(lèi)大腦里。

更準(zhǔn)確地說(shuō)，藏在大腦、身體和環(huán)境的連續(xù)交互里

貝葉斯大腦理論給出了一個(gè)框架：大腦通過(guò)內(nèi)部模型預(yù)測(cè)世界，拿感官輸入校準(zhǔn)預(yù)測(cè)，用誤差推動(dòng)模型更新。

具身智能要走向真實(shí)操作，需要的是同一套能力。機(jī)器人不能只看見(jiàn)世界，還得預(yù)測(cè)世界；不能只執(zhí)行動(dòng)作，還得根據(jù)反饋更新下一步動(dòng)作。

FaceMind的做法，是沿著這個(gè)框架從數(shù)據(jù)端一路鋪到模型端

Ego-NeuroLoop定義了新的數(shù)據(jù)范式，NeuroMatrix把多模態(tài)信號(hào)采集的門(mén)檻降下來(lái)，NeuroBooster把低成本信號(hào)對(duì)齊增強(qiáng)成模型能用的格式。

模型側(cè)也有對(duì)應(yīng)動(dòng)作，F(xiàn)aceMind此前發(fā)布的Looped World Models（循環(huán)世界模型），用參數(shù)共享的transformer block對(duì)環(huán)境狀態(tài)做迭代式更新，讓世界模型在內(nèi)部完成多輪修正。

數(shù)據(jù)側(cè)采閉環(huán)，模型側(cè)跑閉環(huán)，兩頭接上了。

這條路線真正在賭的一件事是，機(jī)器人要更像人一樣完成任務(wù)，瓶頸不只在模型架構(gòu)，也在訓(xùn)練數(shù)據(jù)到底記錄了人類(lèi)操作的哪一層。

軌跡、結(jié)果、成功率，這些是表層。

預(yù)測(cè)、反饋、修正，這些或許才是控制策略真正生長(zhǎng)的土壤。