Science Advances | “心智描述”技術(shù)可從腦部掃描中讀取人類思維

利用先進(jìn)技術(shù)讀取腦部活動(dòng)并非新概念。然而，大多數(shù)技術(shù)都側(cè)重于識(shí)別與人所見或所想的物體或動(dòng)作相關(guān)的單個(gè)詞語(yǔ)，或?qū)⑴c口語(yǔ)詞匯相對(duì)應(yīng)的腦信號(hào)進(jìn)行匹配。一些方法使用了描述數(shù)據(jù)庫(kù)或深度神經(jīng)網(wǎng)絡(luò)，但這些方法受限于數(shù)據(jù)庫(kù)的詞匯覆蓋范圍，或引入了大腦中不存在的信息。生成對(duì)復(fù)雜視覺感知或思維的詳細(xì)、結(jié)構(gòu)化描述仍然是一項(xiàng)挑戰(zhàn)。

最近發(fā)表在《Science Advances》上的一項(xiàng)研究采用了一種新的方法。參與該研究的研究人員開發(fā)了一種他們稱之為“心智描述”的技術(shù)，該技術(shù)使用迭代優(yōu)化過程，其中掩碼語(yǔ)言模型（MLM）通過將文本特征與大腦解碼的特征進(jìn)行對(duì)齊來生成文本描述。

該技術(shù)還結(jié)合了線性模型，這些模型經(jīng)過訓(xùn)練，可以使用功能磁共振成像（fMRI）的腦部活動(dòng)來解碼來自深度語(yǔ)言模型的語(yǔ)義特征。最終結(jié)果是對(duì)參與者大腦中看到的內(nèi)容進(jìn)行詳細(xì)的文本描述。

基于人類感知生成視頻字幕

在實(shí)驗(yàn)的第一部分，六名受試者觀看了 2196 個(gè)短視頻，同時(shí)使用功能磁共振成像 (fMRI) 掃描他們的大腦活動(dòng)。這些視頻包含各種隨機(jī)的物體、場(chǎng)景、動(dòng)作和事件，六名受試者包括以日語(yǔ)為母語(yǔ)者和非英語(yǔ)母語(yǔ)者。

心智字幕生成。我們的方法分為兩個(gè)階段。(A) 首先，我們使用一個(gè)預(yù)先訓(xùn)練好的線性語(yǔ)言模型（凍結(jié)模型）訓(xùn)練線性解碼模型，將受試者觀看視頻時(shí)測(cè)量的全腦功能磁共振成像（fMRI）活動(dòng)解碼為視頻字幕的語(yǔ)義特征。(B) 然后，我們使用這些模型解碼由新的視頻刺激或基于回憶的視頻心理意象誘發(fā)的腦活動(dòng)，并通過詞語(yǔ)替換和插值，將候選描述的特征與腦解碼特征進(jìn)行迭代優(yōu)化，同時(shí)利用另一個(gè)預(yù)先訓(xùn)練好的掩碼語(yǔ)言模型（MLM；凍結(jié)模型）。

這些視頻此前已由其他觀眾進(jìn)行過類似眾包的文本標(biāo)注，并由預(yù)訓(xùn)練的語(yǔ)言模型 DeBERTa-large 進(jìn)行處理，提取特定特征。這些特征與大腦活動(dòng)相匹配，并通過名為 RoBERTa-large 的多語(yǔ)言語(yǔ)言模型 (MLM) 的迭代過程生成文本。

“最初，視頻描述零散且缺乏清晰的含義。然而，通過迭代優(yōu)化，這些描述自然而然地演化成一個(gè)連貫的結(jié)構(gòu)，并有效地捕捉了所觀看視頻的關(guān)鍵方面。值得注意的是，最終的描述準(zhǔn)確地反映了視頻內(nèi)容，包括觀看事件的動(dòng)態(tài)變化。此外，即使未能正確識(shí)別特定物體，描述仍然成功地傳達(dá)了多個(gè)物體之間的互動(dòng)，”研究作者解釋道。

隨后，研究團(tuán)隊(duì)將生成的描述與不同數(shù)量的候選視頻的正確和錯(cuò)誤字幕進(jìn)行比較，以確定準(zhǔn)確率，結(jié)果約為 50%。他們指出，這一準(zhǔn)確率超過了其他現(xiàn)有方法，并預(yù)示著未來改進(jìn)的潛力。

讀取記憶

之后，研究人員讓這六名參與者在功能磁共振成像（fMRI）掃描下回憶視頻，以測(cè)試該方法讀取記憶（而非視覺體驗(yàn)）的能力。實(shí)驗(yàn)的這一部分結(jié)果也令人鼓舞。

“分析成功生成了能夠準(zhǔn)確反映回憶視頻內(nèi)容的描述，盡管準(zhǔn)確率因人而異。這些描述與回憶視頻的字幕更為相似，而非與無關(guān)內(nèi)容相似。熟練的受試者在識(shí)別100個(gè)候選視頻中的回憶視頻時(shí)，準(zhǔn)確率接近40%。”研究作者寫道。

生成瀏覽內(nèi)容描述

對(duì)于語(yǔ)言能力減弱或喪失的人，例如中風(fēng)患者，這項(xiàng)新技術(shù)最終可能成為恢復(fù)溝通的一種途徑。該系統(tǒng)已被證明能夠捕捉更深層次的含義和關(guān)系，而不僅僅是簡(jiǎn)單的詞語(yǔ)聯(lián)想，這使得這些患者能夠比其他一些腦機(jī)接口方法更好地恢復(fù)溝通能力。不過，在達(dá)到這一目標(biāo)之前，還需要進(jìn)一步優(yōu)化。

倫理考量和未來方向

盡管能夠讀取人類思想的腦電波字幕設(shè)備有一些較為積極的應(yīng)用，但人們對(duì)于隱私和腦電波轉(zhuǎn)文字技術(shù)的潛在濫用問題，無疑存在合理的擔(dān)憂。

參與這項(xiàng)研究的研究人員指出，在使用讀心術(shù)時(shí)，知情同意仍然是一項(xiàng)重要的倫理考量。在這些技術(shù)得到更廣泛的應(yīng)用之前，關(guān)于心理隱私和腦機(jī)接口未來發(fā)展的重要問題亟待解決。

盡管如此，這項(xiàng)研究為科學(xué)研究大腦如何表征復(fù)雜體驗(yàn)提供了一種新的工具，并可能造福于非語(yǔ)言人士。

研究作者寫道：“我們的方法兼顧了可解釋性、普適性和性能，建立了一個(gè)透明的框架，用于將非語(yǔ)言思維解碼為語(yǔ)言，并為系統(tǒng)地研究結(jié)構(gòu)化語(yǔ)義如何在人腦中編碼鋪平了道路。”

Tomoyasu Horikawa, Mind captioning: Evolving descriptive text of mental content from human brain activity, Science Advances (2025). DOI: 10.1126/sciadv.adw1464

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！

歡迎加入腦機(jī)接口AI星球

獲取更多腦機(jī)接口+AI等領(lǐng)域的知識(shí)和資源。

歡迎來稿

1.歡迎來稿。投稿咨詢，請(qǐng)聯(lián)系微信：RoseBCI

點(diǎn)擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請(qǐng)聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點(diǎn)贊」和「在看」

不錯(cuò)過每一條腦機(jī)前沿進(jìn)展