CVPR 2026 Oral | CineBrain：你的大腦不僅可以看到畫面，還能"聽出"畫面

你有沒有在追劇時發現，自己不僅在看畫面，還在"聽"出畫面？這背后是什么機制呢？

實際上，人類對真實世界的感知往往來自視覺與聽覺的同步融合。那一個關鍵問題是：能否從視覺和聽覺感知過程中根據不同的信號重建自然動態視頻？

復旦大學大數據學院付彥偉教授團隊的一項研究成果《CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing》入選 CVPR 2026 Oral和Best Paper Award Candidate，同時入選CVPR Daily雜志封面論文。

該項成果首次實現了從同步fMRI與EEG信號中重建連續動態視頻。他們不僅證明大腦是一個天然的"多模態融合引擎"，還發現了一個反直覺的現象：聽覺皮層的激活能顯著提高視覺重建的準確率。

換句話說，你"聽"得越清楚，AI就越能猜中你"看"到了什么。

圖1 CineBrain數據集同步采集fMRI與EEG

傳統神經解碼的盲區：無聲的"讀心術"

過去十年，科學家在"讀心"這件事上取得了驚人進展。從fMRI信號重建靜態圖像，到從EEG波形還原動態視頻，神經解碼（Neural Decoding）似乎正在一步步逼近科幻。

但現有研究存在一個巨大的盲區：它們大多只關注單一模態——要么只用fMRI，要么只用EEG；而且刺激材料也往往是純視覺的，完全忽略了聲音。

這帶來兩個致命缺陷。

首先，fMRI擁有毫米級的空間分辨率，能精確定位視覺皮層哪塊區域在活躍，但血氧信號（BOLD）的反應慢得像快遞物流，通常滯后數秒；EEG能捕捉毫秒級的電生理波動，但空間分辨率低，就像在一公里外聽演唱會，知道有人在唱歌，卻分不清臺上是誰。只用其中任何一種，都像是試圖用單眼看3D電影——信息永遠缺了一維。

其次，人類的感知從來就不是"靜音播放"。聲音會強烈調制視覺處理，影響你的注意、情緒和對場景的理解。經典的McGurk效應早已證明：當聽覺"ba"與視覺"ga"同時出現時，你甚至會感知到一個從未存在的"da"。如果忽略聽覺輸入，任何試圖從大腦還原視覺體驗的嘗試，都注定是一場"無聲電影"式的殘缺重播。

CineBrain：在磁共振里追了六小時劇

為了填補這一空白，研究團隊招募了6名健康被試（2男4女，年齡21–26歲），讓他們在3T磁共振儀內觀看總計約6小時的《生活大爆炸》劇集。這不是隨機選擇：敘事驅動的內容能天然維持注意力，并誘發復雜的腦動態。

實驗采用定制的非磁性EEG帽和耳機，在采集高分辨率全腦fMRI（2 mm各向同性，TR = 800 ms）的同時，以1000 Hz采樣率記錄64通道EEG信號，并同步采集心電（ECG）。

最終數據集包含約162,000幀fMRI數據、2,160分鐘EEG記錄，以及對應的540分鐘視頻和音頻刺激。每個被試觀看20集，每集18分鐘，視頻被切分為4秒片段用于訓練與測試。這是首個在自然視聽敘事條件下同步記錄fMRI與EEG的大規模數據集。

圖2 不同被試的fMRI與EEG響應可視化

CineSync：讓左右腦"各說各話"，再匯總成交

但數據只是起點，真正的挑戰在于如何"翻譯"這些信號。研究團隊提出了CineSync，一個專為多模態腦信號設計的視頻重建框架。

CineSync的核心是一個雙Transformer融合編碼器（Multi-Modal Fusion Encoder, MFE）。研究團隊系統比較了五種融合策略——從簡單的特征拼接，到交叉注意力，再到獨立編碼后融合。實驗結果揭示了一個關鍵洞察：fMRI與EEG的表征差異極大，過早的深度融合反而會互相干擾。就像把古典樂和電子樂強行混音，可能兩敗俱傷。

因此，MFE讓fMRI和EEG各自通過獨立的Transformer進行編碼，僅在最后階段通過融合MLP匯聚信息。為了打通"腦信號"與"視頻語義"的鴻溝，團隊引入了多級對比學習（Multi-level Contrastive Learning）：fMRI和EEG的類別標記（class token）不僅要與視頻嵌入對齊，還要與文本描述對齊，甚至彼此之間也要對齊。這種"三角對齊"策略確保腦表征錨定在人類可理解的語義空間。

圖3 五種多模態編碼器架構對比

解碼部分則采用了神經潛在解碼器（Neuro Latent Decoder, NLD），基于CogVideoX-5B擴散模型，并通過LoRA微調。融合后的腦特征zb替代了原本的文字提示，注入去噪過程，將隨機噪聲逐步轉化為480 × 720的連續視頻幀。

最令人意外的發現：聽覺皮層在"幫"視覺皮層作弊

最令人意外的結果出現在消融實驗中。當研究團隊僅在fMRI輸入中加入聽覺相關腦區（Auditory ROIs）——包括A1、STGa、STS等聽覺與多感官整合區——同時保留全部EEG數據時，重建質量出現了顯著提升。

這個被稱為CineSync*的變體，在50-way語義準確率上達到了0.336，FVD（Fréchet Video Distance）降至44.77，均優于僅使用視覺腦區的版本。

這意味著什么？你的大腦在"看"電視劇時，聽覺皮層并不是在旁觀的吃瓜群眾，而是在積極參與視覺場景的構建。

聲音提供了時間線索、空間線索和語義上下文，幫助視覺系統更精準地預測下一幀畫面。當AI在解碼你的腦信號時，這些聽覺區域的激活就像額外的"提示詞"，讓重建的視頻不僅在像素上更接近真實，在語義上也更連貫。

圖4 實驗所選視覺與聽覺腦區

從個體一致性到跨被試泛化

研究團隊還展示了CineSync強大的跨被試泛化能力。面對相同刺激時，不同被試重建出的視頻幀在語義內容上高度一致——盡管每個人的腦激活模式存在個體差異。這表明CineBrain數據集具有極高的信噪比和跨模態對齊質量。

為什么融合fMRI與EEG如此有效？這背后是一種時空互補的物理現實。fMRI告訴你"哪些腦區在亮"，EEG告訴你"什么時候在亮"。

當Sheldon在屏幕上突然提高音量，EEG能在毫秒級捕捉到聽覺皮層的誘發電位，而fMRI則揭示了這種聲音變化如何同步調制了腹側視覺流（Ventral Visual Stream）的激活強度。CineSync正是利用了這種"快與慢"的協奏，才得以重建出時間連貫、語義準確的動態影像。

圖5 CineSync與基線方法的重建質量對比

下一代腦機接口需要"多模態思維"

這項研究對AI和腦機接口（BCI）領域有直接的工程啟示。當前大多數AI視覺系統本質上仍是"單模態被動感知"：攝像頭收集光子，麥克風收集聲波，兩者在算法層面后期拼接。

但CineBrain揭示的生物現實是：感知在神經層面就已經是多模態融合的了。如果未來的腦機接口或具身智能系統想要真正"讀懂"人類意圖，它們必須學會同時處理并整合多種感官信號。

圖6 CineSync框架總覽

CineBrain不僅支持視頻重建，還為聽覺解碼、EEG-to-fMRI跨模態翻譯、以及刺激-腦響應建模等下游任務提供了基準。想象一下，未來一個癱瘓患者只需觀看一部電影，非侵入式的腦信號采集設備就能同時讀取他的視覺與聽覺體驗，甚至重建出他腦海中"看到"和"聽到"的世界。

更深層的認知啟示在于，這項研究再次挑戰了"大腦是被動信息處理器"的傳統觀點。大腦不是一臺等待輸入的攝像機，而是一個主動的多模態預測機器。視覺與聽覺的邊界在皮層深處是模糊的，它們共同編織出我們稱之為"現實"的連貫敘事。正如這項研究所暗示的：要解碼人類的感知，你必須先承認——我們從來都不是用眼睛在看，而是用整個大腦在體驗。

參考：https://arxiv.org/abs/2503.06940

腦機接口社區是國內首家腦機接口(BCI)產業服務平臺。主要為企業、科研團隊、投資機構和從業者提供以下服務：

宣傳報道：圖文、短視頻、直播形式報道企業動態、技術解讀、產品介紹等內容，提升曝光和行業影響力。

資源對接：根據需求匹配資本、供應鏈、臨床機構、渠道方等資源，完成真實對接，促進合作。

成果轉化：協助技術團隊尋找產業方、投資人及落地場景，推動技術到產品的轉化。

活動策劃執行：承接線上線下路演、沙龍、論壇等活動的策劃與執行。

其他定制需求：包括報告定制、市場調研、人才招聘支持等個性化服務。

合作洽談，請聯系微信：ZuoLeiLeiya

（備注：姓名-單位-合作）

投稿丨成為創作者，請聯系微信：RoseBCI

不錯過每一條腦機前沿進展

一鍵三連「分享」、「點贊」和「在看」

歡迎在評論區聊聊