西安理工大學羅靖：基于鏡像中心損失的雙尺度雙Softmax Transformer用于運動想象識別中的多源主體遷移學習

近期，西安理工大學羅靖副教授團隊提出了一種基于鏡像中心損失的雙尺度雙 Softmax Transformer（MCDDT），用于跨多源被試的運動想象識別遷移學習。該項研 究以《MCDDT: Mirror Center Loss-Based Dual-Scale Dual-Softmax Transformer for Multisource Subjects Transfer Learning in Motor Imagery Recognition》為題發表在了國際期刊《IEEE Transactions on Instrumentation and Measurement》上。

J. Luo et al., "MCDDT: Mirror Center Loss-Based Dual-Scale Dual-Softmax Transformer for Multisource Subjects Transfer Learning in Motor Imagery Recognition," in IEEE Transactions on Instrumentation and Measurement, vol. 74, pp. 1-14, 2025, Art no. 2543314, doi: 10.1109/TIM.2025.3598395.

01

引言

運動想象（Motor Imagery, MI）是腦–機接口（BCI）中的經典范式。EEG 信號識別的準確性直接決定了基于 BCI 的康復系統的性能。然而，目標被試的可用樣本量通常有限，這顯著制約了模型的表現。因此，從源被試數據中遷移知識，成為提升識別模型精度的重要策略。但在 MI-EEG 識別中的遷移學習仍面臨兩個核心挑戰：

（1）如何提升模型在感覺運動皮層中對神經活動的空間定位能力。

（2）如何在源被試分布差異較大的情況下實現知識遷移。

為應對上述問題，本文提出了一種基于鏡像中心損失的雙尺度雙 Softmax Transformer（MCDDT），用于跨多源被試的 MI 識別遷移學習。本文的主要貢獻如下：

（1）鏡像中心損失（Mirror Center Loss）： 通過最小化同側神經活動特征間的距離并最大化對側神經活動特征的距離，引導模型學習更精準的神經活動定位能力。該損失函數能夠提升特征的判別性，從而增強 MI 識別性能。

（2）雙尺度 Transformer 模型： 利用雙尺度 Transformer 融合多時間分辨率下的特征，從而有效應對 MI-EEG 信號中存在的個體化時間差異，提升模型對被試特定時序特征的建模能力。

（3）雙 Softmax 結構： 在預訓練階段同時預測被試標簽與 MI 標簽，使模型能夠學習多個被試特定的判別性特征子域，從而在后續的微調階段具備更強的適應性。

02

方法

2.1 總體概述

本文的目標是基于多源被試的 MI-EEG 信號，通過遷移學習實現高精度識別。具體而言，所提出的 MCDDT 模型首先利用來自多個源被試的 MI-EEG 信號進行預訓練，再使用目標被試的信號進行微調。MCDDT 的整體架構如圖 1 所示，主要由三個部分組成：特征提取模塊、雙尺度自注意力模塊以及分類模塊。在分類模塊中引入了鏡像中心損失，以提升模型對神經活動定位的能力。

圖1 MCDDT 整體架構圖

2.2 鏡像中心損失

ERD的出現代表大腦皮層的活動，其空間位置對于 MI 識別至關重要。例如，若 ERD 出現在大腦左側初級運動皮層，往往意味著右手運動想象的發生，反之亦然。然而，由于 EEG 信號中并不存在 ERD 空間位置的真實標注，無法通過監督學習直接訓練 ERD 定位模型。為此，本文提出了鏡像中心損失，以半監督的方式增強模型對 ERD 的空間定位能力。在缺乏 ERD 位置標簽的情況下，僅依賴 MI 標簽來提升 ERD 定位性能，因此這一方法可視為半監督學習。鏡像中心損失通過比較鏡像 EEG 與原始 EEG 信號，使模型能夠學習對 ERD 空間位置敏感的特征。具體而言，該損失函數在特征空間內拉近相同側 ERD 的 EEG 特征，同時推遠對側ERD 的 EEG 特征，如圖 1 所示。

2.2.1 鏡像EEG信號

鏡像 EEG 信號通過交換 EEG 數據中左右半球的通道生成，如圖 2 所示。鑒于 ERD/ERS 的側化特性是區分左右手 MI 的關鍵指標，當交換 EEG 左右半球的通道時，ERD/ERS 模式會在與原始 EEG 信號相對的半球上出現。因此，與左/右手想象相關的類別標簽也必須隨之互換。

2.2.2 鏡像中心損失

圖2 鏡像 EEG 信號的生成

圖3 基于數據集2a構建的用于生成鏡像EEG信號的置換矩陣

傳統的中心損失（Center Loss）的目標是增強深度學習模型的判別能力，常用于人臉識別等任務。其基本思想是在特征空間內最小化樣本特征與其類別中心的距離。鏡像中心損失是在中心損失的基礎上進行改進，專為 MI 識別而設計。該方法通過最小化同側神經活動特征與類別中心的距離，并最大化對側神經活動特征與類別中心的距離，來提升 MI 模型的判別能力。鏡像中心損失定義如下：

其中，與 分別表示第 個 EEG 及其鏡像 EEG 的特征向量，表示其類別中心，為當前批次樣本數，為調節不同類別間特征距離的超參數。式中的 表示原始 EEG 特征與類別中心的距離，目標是最小化這一距離以促進類內緊湊性；表示鏡像 EEG 特征與類別中心的距離，由于鏡像樣本類別與 相反，因此該距離應被最大化，以增強類間分離度。

這一雙目標優化有效地引導模型提取更加判別性的特征，使其能夠進行更為準確的分類。同時，超參數 提供了靈活性，用于在兩類距離項之間進行權衡。公式中的 函數保證了損失值非負，并僅在類間分離不足時累積損失，避免當類間距離過大時鏡像中心損失對總損失函數造成過度影響。

在理想情況下，類別中心 應隨著深度特征的變化而更新，即每一輪迭代都需考慮整個訓練集中各類別的平均特征，但這在實際中效率極低。為此，本文將類別中心 作為可訓練參數，并在反向傳播過程中進行更新。值得注意的是，僅類內距離項參與類別中心的更新。其梯度計算公式如下：

通過同時利用原始 EEG 與鏡像 EEG 對模型進行微調，引入鏡像中心損失能夠在無需依賴 ERD 空間位置標注的情況下，以半監督的方式增強模型對 ERD 的空間定位能力。

2.3 雙尺度雙 Softmax Transformer

本節提出的雙尺度雙 Softmax Transformer旨在應對跨被試 MI-EEG 遷移學習中的個體差異問題。

2.3.1 基于 CNN 的特征提取模塊

預處理后的 EEG 信號首先輸入至基于 CNN 的特征提取模塊。該模塊的第一步是進行時域卷積（），卷積核大小為 10×1。隨后，為了模擬CSP 空間濾波器，使用空間卷積（），卷積核大小為 1×E，用于整合所有通道的信息。最后，通過批歸一化（）與最大池化（）層進一步降低特征維度。

2.3.2 雙尺度自注意力模塊

現有的基于 Transformer 的 EEG 解碼方法通常在固定尺度下處理特征。然而，由于不同被試在判別性特征的時間尺度上存在顯著差異，如果直接將統一時間分辨率的特征輸入至自注意力層，往往難以捕捉多尺度的任務相關信息，從而限制模型性能。為此，本文提出雙尺度自注意力模塊，以更有效地利用不同時間分辨率下的特征。該模塊在短時間窗口中捕捉快速變化的瞬時神經動態，同時利用長時間窗口建模更穩定的模式及全局時間依賴關系。整體結構如圖 1 所示。

分支 I：聚焦于捕捉高時間分辨率特征 token 的依賴關系。

分支 II:旨在捕捉低時間分辨率下各個 token 之間的依賴關系。

這種設計有助于兩個分支提取具有不同時間分辨率的特征，從而提供一種高度適應性的特征表示。最終，這兩個分支的輸出特征將進行求和，形成雙尺度自注意力模塊的最終輸出。

2.3.3 雙 Softmax 分類模塊

提取到的特征將被直接輸入到兩個并行的 Softmax（SM）層中，如圖1所示。雙 Softmax 層的輸出分別對應于運動想象（MI）類別與被試來源的預測概率。

其中，SM 表示 Softmax 層， 和 分別表示對不同運動想象（MI）類別和被試的預測概率。當輸入一個包含 62 個通道、1000 個采樣點的腦電信號（如 OpenBMI 數據集中的數據）時。

2.4 模型訓練

所提出的 MCDDT 模型通過來自多個源被試的 MI-EEG 信號進行預訓練，并通過目標被試的信號進行微調。

2.4.1 預訓練階段

在預訓練階段，大多數現有的 MI-EEG 分類遷移學習方法將來自不同被試的 EEG 數據視為單一來源，盡管這些數據之間存在顯著的分布差異，從而生成統一的特征表示。這些基于單一源的數據方法，在微調過程中無法通過選擇相似的子域并舍棄不同的子域來高效地遷移知識。為了解決這一問題，本文將每個被試的 EEG 信號視為一個單獨的子域，并且并行雙 Softmax 分類模塊同時實現 MI 和被試（子域標簽）的分離。

在預訓練階段，利用來自多個源被試的 EEG 數據。為了實現被試特定的表示學習，每個被試被分配一個獨特的被試身份標簽。因此，損失函數被定義為兩個交叉熵損失的和：一個用于 MI 分類，另一個用于被試分類。選取在驗證集上同時在兩個任務（MI 和被試標簽）中獲得最高預測準確率的預訓練模型，用于后續的微調。整體損失函數定義如下：

其中， 和 分別表示 MI 和被試的預測概率， 和 為 MI 和被試的標簽。

2.4.2 微調階段

目標被試的原始 EEG 信號與鏡像 EEG 信號用于微調預訓練模型。除了鏡像中心損失外，還應用了對 MI 的 Softmax 交叉熵損失，以實現監督的 MI 識別訓練：

在微調階段，舍棄了被試分類的 Softmax。最終的微調損失是鏡像中心損失與分類損失的和：

其中，是權重系數。

03

實驗

我們在兩個公開的 MI 識別數據集上評估了所提出的 MCDDT 模型：BCI 競賽 IV 數據集 2a（2a）和 OpenBMI 數據集（BMI）。詳細實驗設置見論文。

3.1 平均分類準確率

首先將MCDDT與SOTA算法的實驗結果進行比較，在預訓練數據不含目標被試的設置下，MCDDT 平均準確率達到 89.52%（2a）、91.05%（BMI-21）、81.25%（BMI-54），顯著優于ShallowConvNet、EEGNet、ATCNet、ADFCNN 等主流方法，證明了模型的良好泛化能力。如表1所示。

表1 MCDDT與SOTA算法的實驗結果比較

3.2 消融實驗

我們進行了全面的消融實驗，以驗證所提出的雙尺度 Transformer、雙 Softmax 結構和鏡像中心損失的有效性。這些實驗評估了不同網絡配置的性能。具體而言，我們測試了單分支網絡，即“分支 I”和“分支 II”；雙分支Transformer 網絡“Dual-Branch”；雙尺度雙 Softmax Transformer 網絡“DDT”；以及我們提出的“MCDDT”。

現有被試和未見過被試兩種設置下的消融實驗結果見表 2。根據這些表中的數據，我們可以得出以下結論：

1）雙分支模型優于單分支結構模型。這表明，雙尺度 Transformer 模型能夠有效地整合具有多時間分辨率的特征。

2）DDT 模型表現優于雙分支模型，這證明了雙 Softmax 結構能夠在遷移學習過程中增強模型的適應性。

3）MCDDT（結合鏡像中心損失）表現最佳。這歸因于其增強 ERD 空間定位的能力。

表2 消融實驗結果

其中，Dscale 表示雙尺度結構，Dsoftmax表示雙Softmax結構，MCL 表示鏡像中心損失；?表示啟用該模塊，×表示未啟用。

3.3 特征可視化

為了驗證鏡像中心損失的作用，我們使用 t-SNE 可視化對比了微調 DDT 模型時是否引入該損失的特征分布。如圖 3 所示，不使用鏡像中心損失時，左右手類別特征相互接近；引入后，特征分離更明顯，類間邊界更清晰，證明該方法提升了 ERD 空間定位能力。

此外，我們還對比了預訓練階段有無雙 Softmax 結構的特征分布（圖 4）。結果表明，未使用時不同被試的特征嚴重重疊，任務類別混合；引入雙 Softmax 后，被試特征聚類明顯，任務類別可分性增強，驗證了“任務-被試雙重監督”策略的有效性。

圖3 對比微調 DDT 模型時是否引入鏡像對比損失的特征分布

圖4 對比預訓練階段有無雙 Softmax 結構的特征分布

04

總結

在本文中，我們提出了一種MCDDT模型，以應對從多個源受試者的不同EEG分布中進行遷移學習所面臨的挑戰。具體而言，研究工作包含以下三方面：首先，雙尺度Transformer模型融合了多時間分辨率的特征，通過增強模型捕捉受試者特異性時間特征的能力，解決了MI-EEG信號在時間維度上的個體差異問題。其次，雙Softmax結構使模型能夠獲取運動想象任務專屬的受試者特異性鑒別特征，從而提升了遷移學習過程中的適應性。第三，鏡像中心損失通過最小化同類原始腦電圖信號與鏡像腦電圖信號的特征距離，以半監督方式增強了模型對事件相關去同步的空間定位能力。 在兩個公開數據集上的實驗結果表明，與SOTA模型相比，MCDDT模型實現了更優的準確率，這驗證了其創新組件（包括雙尺度結構、雙Softmax機制和鏡像中心損失）的有效性。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口AI星球

獲取更多腦機接口+AI等領域的知識和資源。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展