AAAI 2026 | 上海交大鄭偉龍團(tuán)隊(duì)提出MindCross：快速適應(yīng)新被試的跨被試腦信號(hào)解碼視頻框架

圖1. 跨被試腦解碼示意圖

近年來腦機(jī)接口(BCI)技術(shù)飛速發(fā)展，從腦信號(hào)解碼視頻成為了其中一個(gè)熱點(diǎn)問題。近期，上海交通大學(xué)鄭偉龍團(tuán)隊(duì)提出了一種基于共享-特定結(jié)構(gòu)的快速適應(yīng)新被試的跨被試腦信號(hào)解碼視頻框架MindCross, 相關(guān)成果發(fā)表于人工智能頂級(jí)會(huì)議（CCF-A類AAAI 2026上，標(biāo)題為“MindCross: Fast New Subject Adaptation with Limited Data for Cross-subject Video Reconstruction from Brain Signals”。如圖1所示，現(xiàn)有的腦解碼框架主要基于被試依賴范式，需要采集每個(gè)受試者大量的腦數(shù)據(jù)，導(dǎo)致難以快速適應(yīng)一個(gè)數(shù)據(jù)較少的新被試，畢竟腦視頻數(shù)據(jù)的采集成本高昂，而MindCross為所有被試訓(xùn)練一個(gè)通用模型，該模型能夠快速適應(yīng)數(shù)據(jù)有限的新被試。

圖2.MindCross框架：包括訓(xùn)練、校準(zhǔn)和測(cè)試三個(gè)階段

如圖2所示， MindCross包含三個(gè)階段：訓(xùn)練、校準(zhǔn)和測(cè)試。在訓(xùn)練階段，使用所有N個(gè)被試的數(shù)據(jù)訓(xùn)練N個(gè)特定編碼器和一個(gè)共享編碼器。如果出現(xiàn)數(shù)據(jù)有限的新受試者，則在校準(zhǔn)階段訓(xùn)練一個(gè)新的特定編碼器，同時(shí)MindCross中的其他模塊則保持凍結(jié)狀態(tài)。也就是說，校準(zhǔn)階段只更新新的特定編碼器和重構(gòu)器，從而大大加速了適應(yīng)新被試的調(diào)試速度。在測(cè)試階段，新受試者的最終輸出由其自身的特定編碼器和一個(gè)Top-K協(xié)作模塊獲得。

從表1可以看出MindCross方法在語義層面上僅使用一個(gè)模型，即可達(dá)到與基于每個(gè)被試每個(gè)模型的方法相當(dāng)?shù)男阅埽⑶衣詢?yōu)于其余跨被試解碼方法。表2更是說明了在適應(yīng)數(shù)據(jù)較少的新被試時(shí)，MindCross顯著減少了適應(yīng)時(shí)間和更新參數(shù)（尤其是在受試者數(shù)量較大時(shí)），同時(shí)優(yōu)于或與基線持平，證明了MindCross在新受試者適應(yīng)方面的優(yōu)越性。圖3和圖4展示了一些定性結(jié)果的比較。

表1.MindCross與其他方法在腦解碼方面的定量比較。

圖3.EEG-to-video定性的重建結(jié)果比較

圖4.fMRI-to-video定性的重建結(jié)果比較

表2.新被試適應(yīng)比較，用時(shí)和更新參數(shù)量。

MindCross旨在從原始腦信號(hào)中分離出與受試者相關(guān)的成分和受試者不變的成分。圖5左邊展示了這19名受試者的原始腦數(shù)據(jù)，他們的腦數(shù)據(jù)彼此之間存在顯著差異。經(jīng)過 MindCross 處理后，受試者相關(guān)成分和受試者不變成分被成功提取，如圖4右邊所示。

圖5.學(xué)習(xí)特征可視化

這項(xiàng)研究由鄭偉龍老師指導(dǎo)，博士生劉軒豪擔(dān)任論文第一作者，劉彥楷，周天逸，和呂寶糧等老師和同學(xué)也為論文工作做出了重要貢獻(xiàn)。

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！

歡迎加入腦機(jī)接口AI星球

獲取更多腦機(jī)接口+AI等領(lǐng)域的知識(shí)和資源。

歡迎來稿

1.歡迎來稿。投稿咨詢，請(qǐng)聯(lián)系微信：RoseBCI

點(diǎn)擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請(qǐng)聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點(diǎn)贊」和「在看」

不錯(cuò)過每一條腦機(jī)前沿進(jìn)展