北理工團隊提出一種神經解剖學啟發的腦機混合智能魯棒聲目標檢測方法

近日，北京理工大學機械與車輛學院畢路拯教授團隊以“Neuroanatomy-Informed Brain-Machine Hybrid Intelligence for Robust Acoustic Target Detection”為題提出了一種神經解剖學啟發的腦機混合智能魯棒聲目標檢測方法，該論文已在《Cyborg and Bionic Systems》出版（DOI: 10.34133/cbsystems.0438）。論文第一作者為其團隊博士研究生史健廷。

論文摘要

聲音目標檢測（Sound target detection , STD）在現代聲學傳感系統中具有關鍵作用。然而現有自動化STD方法在低信噪比條件下或處理未見聲音類別時，表現出較差的魯棒性和有限的泛化能力。為突破這些局限，該團隊首次提出基于腦機接口（BCI）的STD方法，利用聽覺刺激誘發的神經響應進行檢測。針對聲音目標感知任務的EEG解碼，團隊提出了三區域時空動態注意力網絡（Triple-Region Spatiotemporal Dynamics Attention Network, Tri-SDANet），通過整合源自表征分析的神經解剖學先驗知識，在復雜聽覺場景中既提升了解碼精度，且提供了可解釋性。鑒于獨立BCI系統存在固有缺陷（特別是高誤報率），該團隊進一步開發了基于置信度的自適應腦機融合策略，智能整合BCI與傳統聲學檢測模型的決策結果。這種混合方法有效融合了神經感知與聲學特征學習的互補優勢。通過16名參與者的實驗驗證表明：Tri-SDANet在復雜聲學條件下的神經解碼性能達到領先水平；混合系統在低SNR環境下保持可靠檢測性能的同時，對全新的目標類別展現出卓越的泛化能力。此外，源分析揭示了與目標感知相關的獨特大腦激活模式，為模型設計提供了神經科學依據。本研究開創了神經-聲學融合的魯棒聲音目標檢測新范式，通過無創神經信號與人工智能的結合，為現實應用提供了具有普適性的解決方案。

01

研究背景及主要內容

聲音目標檢測（STD）是一種利用聲學傳感器探測環境中目標存在的偵察方法。聲學傳感器具有成本低廉、維護簡便的優勢，且聲學信號相比光學和雷達反射信號更不易被遮擋，使得STD在安防保護、環境偵察等領域具有廣闊應用前景，近年來受到學術界廣泛關注。

當前研究主要將STD視為機器學習中的分類問題，已有諸多相關工作提出了STD方法與系統。但研究表明現有STD方法的魯棒性存在缺陷。現有方法在受控條件下通常具有良好的識別效率和準確率，但在實際場景中，由于環境因素和檢測目標的變化，關鍵參數（如目標聲信號的信噪比和聲強）會發生劇烈變化，導致這些方法難以適應實際問題的條件。因此，完全自主的STD系統仍面臨諸多挑戰，某些情況下仍需人工參與，此時人工識別準確率高于機器學習算法。神經科學、心理學和聽覺科學領域的大量研究已證實人類聽覺系統具有強魯棒性和泛化能力，但人工識別處理速度慢，難以應對海量數據處理需求，無法滿足實時STD系統要求。

圖1 模擬復雜聲學場景的目標檢測實驗范式

腦機接口(BCI)是一種可直接"翻譯"大腦活動來操作外部設備的新型人機交互方式。研究表明通過解碼人類搜尋目標時的腦電(EEG)信號，BCI具備檢測圖像、視頻或聲音目標的能力。團隊前期研究采用傳統SVM算法作為EEG解碼器開展初步探索，證實了基于聽覺BCI的STD系統在復雜聲學場景中的可行性。實驗表明即使SNR降至-10dB，人類檢測能力仍保持穩定。但現有EEG解碼方法多為通用型或針對非聽覺任務設計，專門針對復雜聽覺場景目標識別的算法較少。更緊迫的問題是EEG信號的非穩態特性導致單獨使用BCI時虛警率(FAR)較高，且BCI方法仍無法解決人類疲勞問題，這極大限制了其實際應用效果。

圖2 三區域時空動態注意力網絡（Tri-SDANet）

針對上述局限，本文首先對離線實驗EEG數據進行源分析，揭示復雜聽覺場景中聲音目標感知相關的神經激活模式，為理解人腦在噪聲條件下處理聽覺目標的神經機制提供新見解。進而提出了新的EEG解碼網絡——三區時空動態注意力網絡(Tri-SDANet)，該網絡將源分析獲得的神經解剖學先驗融入任務導向的模型架構：不同于傳統均勻處理EEG通道的架構，Tri-SDANet采用基于神經解剖學的空間分區策略，將EEG電極劃分為三個功能特異腦區，每個腦區采用具有生物學意義感受野的專用時空卷積分支建模；為捕捉聽覺目標檢測的時序動態特征，模型采用多尺度時間卷積和動態注意力加權機制，選擇性增強早期、中期和晚期處理階段的神經特征；新增時序門控模塊自適應調節區域特異性激活，突出任務相關時段。這種設計提升了特征可解釋性和任務相關性，從而顯著增強復雜聽覺場景下的解碼精度。在BCI離線實驗數據集上，Tri-SDANet在本文所構建的聲音目標感知任務上相比現有最優模型在多項評估指標上均表現出優勢。

圖3 基于置信度的自適應腦機融合策略

進一步地，為緩解單獨使用BCI的高虛警率和傳統STD系統在低SNR及陌生環境下的性能退化問題，本文提出置信度驅動的腦機混合智能框架。不同于簡單的分數融合方案，該方法引入基于置信區間優化的決策機制，僅在自動檢測器表現不確定時自適應整合BCI輸出，通過多目標評價函數平衡正確檢測與錯誤抑制，實現按需調用神經解碼，在降低人工負荷的同時增強系統魯棒性和泛化能力。在構建的流式檢測實驗中表明，該混合框架有效融合了BCI與自動檢測方法的優勢并規避各自缺陷，尤其在挑戰性低SNR場景和未見目標類型條件下展現出卓越性能。

圖4 流式檢測實驗范式（測試場景）

02

研究結果

與其他先進算法相比，Tri-SDANet在復雜聽覺解碼任務中實現了最高的整體平衡性能。消融研究進一步證實，每個模型組件都對解碼準確性和可靠性有積極貢獻。

為了測試系統在低信噪比場景的魯棒性與面對新類型目標的泛化性能，本文建立了更加復雜的流式實驗作為測試場景。實驗數據表明，Tri-SDANet模型在測試場景中展現出優勢，在單獨使用BCI的情況下，平均召回率達到84.20%±2.53%，誤報率為10.74%±2.51%。這一結果驗證了基于聽覺腦機接口的STD系統的可行性，達到了預期目標。然而，由于腦電信號的非平穩性和低信噪比特性，即便采用先進算法取得了性能提升，其提升幅度仍有限。腦機接口的高誤報率問題導致其無法作為獨立的STD系統使用。而自動檢測算法在測試場景下，在與訓練集分布相似的數據集中召回率為94.17%，并且在高信噪比和低信噪比目標上均表現出較高的檢測性能。對于未出現在訓練集中的數據集，自動算法的召回率急劇下降，尤其在低信噪比情況下，召回率僅為40%。值得注意的是，自動檢測模塊能夠保持極低的虛警率。

圖5 聲音目標感知的EEG源分析結果

腦機融合系統則充分利用了雙方優勢，獲得了可靠的最終性能。與自動檢測模塊相比，檢測召回率顯著提升，尤其是針對新型目標。最終，腦機混合系統的平均召回率達到88.84%。與BCI系統相比，召回率有所提升，主要體現在中的與訓練集分布相似的無人機類型能夠保持自動檢測模塊的高召回率，且虛警率較BCI方法顯著下降，腦機融合系統的平均虛警率僅為2.5%。

圖6 單獨使用BCI的測試結果（虛警率高）

圖7 單獨使用自動檢測算法的測試結果（泛化能力弱）

圖8 腦機融合系統的測試結果

03

研究貢獻及前景

本研究為開發更具魯棒性和泛化性的聲音目標檢測系統提供了新的思路，為人機混合檢測奠定了理論基礎。開創了神經-聲學融合的魯棒聲音目標檢測新范式，通過無創神經信號與人工智能的結合，為現實應用提供了具有普適性的解決方案。

04

更多研究成果

為了推進腦機接口和腦控機器邁向真實的應用場景，北京理工大學畢路拯教授團隊一直致力于自然場景下的腦機接口、腦機混合智能和腦機協同控制的理論、方法和應用研究。在腦機接口方面，該團隊關于考慮注意狀態的運動意圖分層解碼模型曾發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》，關于單手和雙手協同運動的神經解碼成果曾發表于生物醫學工程領域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《》，所提出的神經活動驅動的深度學習解碼模型曾發表發表于國際期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》。關于不同注意力狀態下運動意圖的魯棒神經解碼研究曾發表于生物醫學工程領域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《》，該論文也獲得2022世界機器人大賽-BCI腦控機器人大賽一青年論文比賽一等獎（唯一），關于非侵入式神經信號的連續運動解碼曾發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》，所創建的自然場景下聲音目標探測的聽覺腦機接口曾發表發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》。在腦機協同控制方面，該團隊所創建的多任務操控的腦機協同控制方法并應用于智能車輛的研究曾發表在被國際頂級期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，參考《》，創建的腦機協同控制框架以及在腦空智能車輛上的應用研究曾發表于國際頂級期刊《IEEE Transactions on Intelligent Transportation Systems》，參考《》，所提出的基于魯棒非線性模型預測的腦機協同控制方法以及在腦空移動機器人上的應用研究曾發表于國際頂級期刊《IEEE Transactions on Cybernetics》，參考《》。此外，該團隊首創的腦控空地協同多無人系統入選2023年世界機器人大賽十大創新成果。在腦機混合智能感知方面，提出了面向低質量視頻目標檢測的魯棒腦機接口，發表于《Cyborg and Bionic Systems》，參考《》該論文也獲得2024世界機器人大賽-BCI腦控機器人大賽一青年論文比賽特等獎（第一名）。

05

團隊與作者簡介

北京理工大學智能人機系統團隊隸屬于北京理工大學機械與車輛學院機電系統與裝備研究所。團隊由5名教師和30余名博士后、博士和碩士研究生組成，負責人為畢路拯教授。團隊主要研究方向包括腦機接口與腦控智能機器、多機器人協同、類腦觸覺與聽覺、多模態智能感知等。團隊在包括國際權威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等發表論文120余篇。獲授權國家發明專利30多項。獲北京市自然科學獎二等獎、教育部自然科學獎二等獎，中國仿真學會自然科學獎二等獎、中國電子學會科技進步二等獎。獲得2024和2022年世界機器人大會-BCI腦控機器人大賽-青年論文比賽第一名（唯一）。獲第九屆中國國際“互聯網+”大學生創新創業大賽金獎；首屆“京彩大創”北京大學生創新創業總決賽季軍和第八屆中國國際“互聯網+”大學生創新創業大賽全國銅獎；2023年挑戰杯全國銀獎。

畢路拯教授簡介

畢路拯現為北京理工大學機械與車輛學院教授、博士生導師、機電系統與裝備研究所所長。擔任中國人類工效學學會人機工程專委會副主任委員、中國腦機接口產業聯盟數據與基礎軟件工作組副主席、中國計算機學會智能汽車分會專委會常委委員等。任中科院一區TOP期刊Expert Systems with Applications和Cyborg and Bionic Systems等期刊的AE。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口AI星球

獲取更多腦機接口+AI等領域的知識和資源。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展