近日，北京理工大學機械與車輛學院畢路拯教授團隊以“Robust Sound Target Detection Based on Encoding and Decoding models between Sound and EEG Signals”為題提出了一種腦機接口驅動的魯棒聲音目標檢測方法，該論文被人工智能國際頂級期刊《Expert Systems with Applications》錄取。論文第一作者為其團隊碩士研究生徐新博。

論文摘要

近年來，聲音檢測在工業監測、醫學診斷和軍事探測等領域備受關注。然而，現有的檢測模型在魯棒和泛化方面面臨重大挑戰。為了應對這些挑戰，本研究開發了一種腦機接口驅動的全自主檢測模型，該模型基于加權損失函數的模型優化策略，以平衡模型的神經可解釋性與聲音識別能力，從而提高檢測性能。實驗結果表明，所提出的模型比基線具有更強的魯棒性和泛化能力，尤其在低信噪比條件下。本研究首次使用腦機接口技術發展自主聲音檢測模型，并考慮了聽覺系統中的認知功能實現仿生的聲音檢測，大大推進了基于腦機接口的檢測在真實場景中的應用。此外，本研究為使用腦機接口技術利用人類智能拓展了新思路，為腦機接口與人工智能二者的技術融合提供了新方案。

研究背景及主要內容

本研究針對當前檢測算法在多干擾、低信噪比聲學場景下存在的低魯棒、弱泛化等瓶頸問題，發展了聽覺腦機接口驅動的自主聲音檢測方法。通過自然場景下的目標檢測的腦電實驗范式采集被試在聽到目標和非目標聲音刺激誘發的腦電信號，并使用聲音刺激和對應的腦電信號構建聲音-腦電數據集用于模型的訓練。所提出的檢測模型主要由兩部分組成，將聲音映射至腦電的編碼器與識別腦電中信息的解碼器。其中，編碼器仿照聽覺系統結構，模擬了聽覺系統在聲音感知中對信號的頻率分解、信息編碼與信息傳遞的處理模式，將輸入的聲音信號編碼為人工腦電信號，從而實現了使用模型替代人在腦機接口檢測系統中的作用；解碼器由深度卷積層、可分離卷積層及全連接層組成，實現了從人工腦電信號中識別目標信息的功能。此外，傳統基于深度學習的檢測模型往往只關注最終的輸出結果與真實標簽之間的損失，導致模型成為一個“黑箱”。由于實際測試中的數據分布往往與訓練數據不同，這類模型常因缺乏可解釋性，沒有足夠的泛化能力，達不到令人滿意的效果。針對這一問題，本研究提出了一種基于權重損失函數的聯合優化策略，通過計算訓練過程中真實和人工腦電信號之間的誤差，在關注檢測結果同時調整模型對聽覺系統的擬合能力。提高了模型的可解釋性，從而提高了其在測試中的性能。

研究結果

本研究中，聽覺編碼器生成的人工腦電信號存在與真實腦電信號類似的神經表征，證明了所提出編碼器能夠有效的學習和擬合聲音和腦電之間的關系。此外，本研究在-20 到5 dB 的低信噪比條件下測試了模型，并通過引入與訓練數據分布存在差異的新目標來衡量模型的泛化能力。結果表明，模型相較于基線模型更好的魯棒性，且信噪比越低，模型性能提升越明顯，在 -20 至 -15 dB提升了5.18%。此外，模型在測試集上表現出更強的泛化能力，尤其當測試樣本與訓練樣本差異較大時，準確率相較于基線提升了6.3%。

研究貢獻及前景

本研究所提出的方法保留了基于腦機接口的檢測的優點的同時，取代了檢測系統中的人，發展為一個全自主系統，更適合在現實場景中長時間部署使用（如區域安全監控、動物監測和工廠機器故障檢測）。所提出模型在低信噪比條件下展現出優異性能，為在具有多干擾和高噪聲水平的聲學場景中進行有效檢測奠定了堅實的基礎。此外，這項工作為使用腦機接口技術利用人類智能拓展了新思路，為腦機接口與人工智能二者的技術融合提供了新方案。

更多研究成果

為了推進腦機接口和腦控機器邁向真實的應用場景，北京理工大學畢路拯教授團隊一直致力于自然場景下的腦機接口、腦機混合智能和腦機協同控制的理論、方法和應用研究。在腦機接口方面，該團隊關于考慮注意狀態的運動意圖分層解碼模型曾發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》，關于單手和雙手協同運動的神經解碼成果曾發表于生物醫學工程領域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《》，所提出的神經活動驅動的深度學習解碼模型曾發表發表于國際期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》。關于不同注意力狀態下運動意圖的魯棒神經解碼研究曾發表于生物醫學工程領域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《》，該論文也獲得2022世界機器人大賽-BCI腦控機器人大賽一青年論文比賽一等獎（唯一），關于非侵入式神經信號的連續運動解碼曾發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》，所創建的自然場景下聲音目標探測的聽覺腦機接口曾發表發表于國際頂級期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《》。在腦機協同控制方面，該團隊所創建的多任務操控的腦機協同控制方法并應用于智能車輛的研究曾發表在被國際頂級期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》，參考《》，創建的腦機協同控制框架以及在腦空智能車輛上的應用研究曾發表于國際頂級期刊《IEEE Transactions on Intelligent Transportation Systems》，參考《》，所提出的基于魯棒非線性模型預測的腦機協同控制方法以及在腦空移動機器人上的應用研究曾發表于國際頂級期刊《IEEE Transactions on Cybernetics》，參考《》。此外，該團隊首創的腦控空地協同多無人系統入選2023年世界機器人大賽十大創新成果。在腦機混合智能感知方面，提出了面向低質量視頻目標檢測的魯棒腦機接口，發表于《Cyborg and Bionic Systems》，參考《》該論文也獲得2024世界機器人大賽-BCI腦控機器人大賽一青年論文比賽特等獎（第一名）。

團隊與作者簡介

北京理工大學智能人機系統團隊隸屬于北京理工大學機械與車輛學院機電系統與裝備研究所。團隊由5名教師和30余名博士和碩士研究生組成，負責人為畢路拯教授。團隊主要研究方向包括腦機接口與腦控智能機器、多機器人協同與多模態智能感知等。團隊在國際權威期刊IEEE TCYB, TBME, TITS, TSMCS, TNSRE和THMS等發表論文120余篇（含IEEE Trans 30多篇）。獲授權國家發明專利30多項。獲教育部自然科學獎二等獎1項，中國仿真學會自然科學獎二等獎1項，中國電子學會科技進步二等獎1項。獲得2022年世界機器人大會-BCI腦控機器人大賽-青年論文比賽一等獎（第一名）和2024年世界機器人大會-BCI腦控機器人大賽-青年論文比賽特等獎（第一名）。獲第九屆中國國際“互聯網+”大學生創新創業大賽金獎；首屆“京彩大創”北京大學生創新創業總決賽季軍和第八屆中國國際“互聯網+”大學生創新創業大賽全國銅獎；2023年挑戰杯全國二等獎，2024年挑戰杯全國銀獎。

畢路拯教授簡介

畢路拯現為北京理工大學機械與車輛學院教授、博士生導師、機電系統與裝備研究所所長。擔任中國人類工效學學會人機工程專委會副主任委員，中國腦機接口產業聯盟數據與基礎軟件工作組副主席、中國計算機學會智能汽車分會專委會常委委員、中國人工智能學會腦機融合與生物機器智能專委會委員、中國仿真學會智能優化與調度專業委員會委員、世界機器人大賽-BCI腦控機器人專家組成員。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展