比視覺(jué)更快，比語(yǔ)言更直接：機(jī)器人正在重建人與人之間的觸覺(jué)連接 | Science Robotics 封面文章

過(guò)去幾十年，人機(jī)協(xié)同的發(fā)展，幾乎都建立在兩個(gè)感官之上：視覺(jué)和聽(tīng)覺(jué)。

無(wú)論是工業(yè)機(jī)器人協(xié)作、遠(yuǎn)程操控，還是人與人的聯(lián)合作業(yè)，人們習(xí)慣通過(guò)"看見(jiàn)對(duì)方"和"聽(tīng)見(jiàn)對(duì)方"來(lái)完成配合。但真正發(fā)生在身體里的另一種信息，卻長(zhǎng)期沒(méi)有進(jìn)入主流的人機(jī)交互體系——觸覺(jué)。

事實(shí)上，當(dāng)兩個(gè)人共同完成一項(xiàng)動(dòng)作時(shí)，真正決定協(xié)同質(zhì)量的，并不僅僅是誰(shuí)先看到、誰(shuí)先聽(tīng)到，而是雙方是否能夠?qū)崟r(shí)感知彼此動(dòng)作中的力量、速度和細(xì)微偏差。這類(lèi)信息很難通過(guò)視覺(jué)完整表達(dá)，卻天然存在于人與人直接接觸時(shí)產(chǎn)生的觸覺(jué)反饋之中。

來(lái)自羅馬生物醫(yī)學(xué)自由大學(xué)（Università Campus Bio-Medico di Roma）Francesco Di Tommaso團(tuán)隊(duì)發(fā)表于《Science Robotics》的一項(xiàng)研究，試圖回答一個(gè)更加基礎(chǔ)的問(wèn)題：如果機(jī)器人能夠在人與人之間建立一條實(shí)時(shí)觸覺(jué)通道，是否能夠比視覺(jué)更有效地幫助人們完成協(xié)同任務(wù)？

他們沒(méi)有選擇工業(yè)流水線(xiàn)，也沒(méi)有選擇實(shí)驗(yàn)室里的標(biāo)準(zhǔn)軌跡，而是選擇了一項(xiàng)遠(yuǎn)比機(jī)械運(yùn)動(dòng)復(fù)雜得多的任務(wù)——雙人小提琴合奏。

01

為什么觸覺(jué)一直缺席？

在人類(lèi)神經(jīng)系統(tǒng)中，觸覺(jué)承擔(dān)著一種特殊的信息傳遞功能。

視覺(jué)能夠告訴我們"對(duì)方在哪里"，聽(tīng)覺(jué)能夠告訴我們"發(fā)生了什么"，而觸覺(jué)能夠直接傳遞運(yùn)動(dòng)中的機(jī)械信息，例如力量、阻力、加速度以及動(dòng)作誤差。

這種信息幾乎不需要復(fù)雜認(rèn)知處理，身體便能夠立即作出調(diào)整。

這也是為什么，兩個(gè)人抬同一張桌子時(shí)，即使彼此一句話(huà)不說(shuō)，也能夠自然調(diào)整步伐；兩位舞者身體輕輕接觸，就能完成復(fù)雜配合；醫(yī)生在手術(shù)過(guò)程中，通過(guò)器械傳來(lái)的阻力變化判斷組織狀態(tài)。

然而，在絕大多數(shù)機(jī)器人系統(tǒng)中，這種天然存在于人體之間的信息幾乎消失了。

過(guò)去大量關(guān)于觸覺(jué)反饋的研究，大多停留在實(shí)驗(yàn)室環(huán)境，例如按照固定軌跡移動(dòng)、按照節(jié)拍同步擺動(dòng)等高度結(jié)構(gòu)化任務(wù)。這些實(shí)驗(yàn)雖然證明觸覺(jué)能夠提升協(xié)同性，卻很難說(shuō)明它是否能夠真正適用于更加開(kāi)放、更自然、更復(fù)雜的人類(lèi)聯(lián)合行動(dòng)。

因此，這項(xiàng)工作的意義，并不僅僅是增加了一種新的反饋方式，而是在探索一種新的協(xié)同機(jī)制：機(jī)器人是否可以成為人與人之間感覺(jué)信息的"中介"。

圖 外骨骼系統(tǒng)概覽

02

機(jī)器人沒(méi)有連接兩個(gè)人

卻讓兩個(gè)人"感覺(jué)到了彼此"

為了驗(yàn)證這一問(wèn)題，研究團(tuán)隊(duì)開(kāi)發(fā)了一套雙向觸覺(jué)交互系統(tǒng)。

整個(gè)系統(tǒng)由兩套上肢動(dòng)力外骨骼組成，分別佩戴在兩位演奏者身上。每套設(shè)備能夠?qū)崟r(shí)采集肩關(guān)節(jié)和肘關(guān)節(jié)運(yùn)動(dòng)，并根據(jù)另一位演奏者當(dāng)前動(dòng)作計(jì)算對(duì)應(yīng)的反饋力矩，再通過(guò)外骨骼重新作用到使用者手臂。

這種反饋并不是簡(jiǎn)單的振動(dòng)提醒。

研究人員構(gòu)建了一種與兩人動(dòng)作偏差成比例變化的粘彈性力場(chǎng)（Viscoelastic Torque Field）。換句話(huà)說(shuō)，兩位演奏者動(dòng)作越一致，反饋越小；動(dòng)作偏差越大，系統(tǒng)產(chǎn)生的機(jī)械約束也越明顯。

整個(gè)過(guò)程中，兩個(gè)人之間沒(méi)有任何物理連接，也無(wú)需主動(dòng)交流，卻能夠持續(xù)感知彼此動(dòng)作變化。

為了保證交互自然性，系統(tǒng)采用串聯(lián)彈性驅(qū)動(dòng)器（SEA）提供柔順輸出，同時(shí)設(shè)計(jì)了肩部重力補(bǔ)償機(jī)構(gòu)以及多自由度可調(diào)結(jié)構(gòu)，使機(jī)器人能夠盡可能與人體運(yùn)動(dòng)保持一致。控制系統(tǒng)則采用高層、中層和底層三級(jí)控制架構(gòu)，實(shí)現(xiàn)透明模式與雙向觸覺(jué)模式之間的實(shí)時(shí)切換。

從本質(zhì)上說(shuō)，這套系統(tǒng)并不是在控制人的動(dòng)作，而是在重建人與人之間原本不存在的"機(jī)械聯(lián)系"。

03

一場(chǎng)關(guān)于協(xié)同的實(shí)驗(yàn)

為了避免實(shí)驗(yàn)過(guò)于理想化，研究團(tuán)隊(duì)共招募40名小提琴演奏者，包括專(zhuān)業(yè)與業(yè)余演奏者，共組成20組二重奏。

實(shí)驗(yàn)過(guò)程中，兩位演奏者分別完成四種不同信息反饋條件下的演奏：僅聽(tīng)覺(jué)（A）、聽(tīng)覺(jué)加觸覺(jué)（AH）、聽(tīng)覺(jué)加視覺(jué)（AV）以及聽(tīng)覺(jué)、視覺(jué)和觸覺(jué)同時(shí)存在（AVH）。

圖 實(shí)驗(yàn)配置概覽

為了進(jìn)一步突出不同感覺(jué)通道的作用，在部分實(shí)驗(yàn)中，兩位演奏者之間還通過(guò)幕布完全遮擋視線(xiàn)，使視覺(jué)信息無(wú)法參與協(xié)同。整個(gè)過(guò)程中，動(dòng)作捕捉系統(tǒng)和音頻采集系統(tǒng)同步記錄關(guān)節(jié)運(yùn)動(dòng)、琴弓軌跡以及最終演奏質(zhì)量。

相比很多機(jī)器人實(shí)驗(yàn)關(guān)注任務(wù)是否完成，這項(xiàng)研究更加關(guān)注人與人之間"配合得是否更自然"。

因此，研究團(tuán)隊(duì)分別從運(yùn)動(dòng)學(xué)和聲學(xué)兩個(gè)層面對(duì)協(xié)同效果進(jìn)行了量化分析。

運(yùn)動(dòng)學(xué)方面，通過(guò)主成分分析（PCA）和偏最小二乘法（PLS）提取動(dòng)作主導(dǎo)特征，分別計(jì)算空間協(xié)同性和時(shí)間協(xié)同性；聲學(xué)方面，則利用頻譜重心和小波相干分析評(píng)價(jià)音色一致性以及動(dòng)態(tài)一致性。

04

觸覺(jué)沒(méi)有替代視覺(jué)，而是補(bǔ)充了視覺(jué)

無(wú)論是在關(guān)節(jié)運(yùn)動(dòng)還是琴弓運(yùn)動(dòng)層面，引入觸覺(jué)反饋后，兩位演奏者之間的空間偏差均明顯減小，動(dòng)作同步程度進(jìn)一步提高。

更重要的是，在時(shí)間協(xié)同性指標(biāo)上，觸覺(jué)反饋同樣持續(xù)表現(xiàn)出優(yōu)勢(shì)。

這意味著，觸覺(jué)不僅幫助演奏者知道"應(yīng)該往哪里動(dòng)"，更幫助他們知道"什么時(shí)候一起動(dòng)"。

圖 聲學(xué)特征分析結(jié)果

相比之下，在音樂(lè)最終表現(xiàn)方面，觸覺(jué)并未明顯改變音色特征，卻顯著提升了兩位演奏者在響度變化上的一致性，也就是說(shuō)，雙方對(duì)于音樂(lè)強(qiáng)弱變化的把握更加同步。

尤其值得注意的是，當(dāng)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)同時(shí)存在（AVH）時(shí)，各項(xiàng)指標(biāo)通常達(dá)到最佳表現(xiàn)。

這一結(jié)果說(shuō)明，觸覺(jué)并不會(huì)干擾已有感覺(jué)系統(tǒng)，而是能夠作為一種新的信息維度，與視覺(jué)和聽(tīng)覺(jué)共同參與聯(lián)合行動(dòng)。

長(zhǎng)期以來(lái)，人們對(duì)于外骨骼的理解主要集中在"增強(qiáng)力量"和"輔助運(yùn)動(dòng)"。無(wú)論工業(yè)外骨骼還是康復(fù)機(jī)器人，其目標(biāo)大多是幫助一個(gè)人完成動(dòng)作。

而這項(xiàng)研究提出了一種完全不同的思路：機(jī)器人不僅能夠連接人與機(jī)器，也能夠連接人與人。

未來(lái)，外骨骼或許不只是運(yùn)動(dòng)輔助設(shè)備，還可能成為一種感覺(jué)信息傳遞平臺(tái)，在人與人之間建立新的交互方式。

這種能力意味著，它未來(lái)不僅可以應(yīng)用于音樂(lè)訓(xùn)練，也可能擴(kuò)展至康復(fù)訓(xùn)練、遠(yuǎn)程操作、技能傳授乃至跨空間協(xié)同等更加廣泛的場(chǎng)景。例如，康復(fù)治療師可以通過(guò)機(jī)器人實(shí)時(shí)將動(dòng)作信息傳遞給患者；經(jīng)驗(yàn)豐富的工匠可以把細(xì)微操作感覺(jué)傳遞給學(xué)徒；遠(yuǎn)程機(jī)器人操作者之間也能夠建立近似面對(duì)面的身體協(xié)同。

從這個(gè)意義上說(shuō)，這項(xiàng)工作真正驗(yàn)證的，是一種新的協(xié)同范式：機(jī)器人可以不只是人的工具，也可以成為人與人之間的感覺(jué)中介。

腦機(jī)接口社區(qū)是國(guó)內(nèi)首家腦機(jī)接口(BCI)產(chǎn)業(yè)服務(wù)平臺(tái)。主要為企業(yè)、科研團(tuán)隊(duì)、投資機(jī)構(gòu)和從業(yè)者提供以下服務(wù)：

宣傳報(bào)道：圖文、短視頻、直播形式報(bào)道企業(yè)動(dòng)態(tài)、技術(shù)解讀、產(chǎn)品介紹等內(nèi)容，提升曝光和行業(yè)影響力。

資源對(duì)接：根據(jù)需求匹配資本、供應(yīng)鏈、臨床機(jī)構(gòu)、渠道方等資源，完成真實(shí)對(duì)接，促進(jìn)合作。

成果轉(zhuǎn)化：協(xié)助技術(shù)團(tuán)隊(duì)尋找產(chǎn)業(yè)方、投資人及落地場(chǎng)景，推動(dòng)技術(shù)到產(chǎn)品的轉(zhuǎn)化。

活動(dòng)策劃執(zhí)行：承接線(xiàn)上線(xiàn)下路演、沙龍、論壇等活動(dòng)的策劃與執(zhí)行。

其他定制需求：包括報(bào)告定制、市場(chǎng)調(diào)研、人才招聘支持等個(gè)性化服務(wù)。

合作洽談，請(qǐng)聯(lián)系微信：ZuoLeiLeiya

（備注：姓名-單位-合作）

投稿丨成為創(chuàng)作者，請(qǐng)聯(lián)系微信：RoseBCI

不錯(cuò)過(guò)每一條腦機(jī)前沿進(jìn)展

一鍵三連「分享」、「點(diǎn)贊」和「在看」

歡迎在評(píng)論區(qū)聊聊