腦機接口(BCI)將大腦與執(zhí)行器通過計算機連接，推動了相關(guān)研究的進展。多種非侵入性腦信號讀取技術(shù)，如腦電圖（EEG）、功能性磁共振成像(fMRI)和功能性近紅外光譜（fNIRS），常用于此領(lǐng)域。運動想象(MI)在大多數(shù)心理活動中具有重要研究價值，因此MI信號的特征提取和分類尤為關(guān)鍵。常用機器學(xué)習算法，如樹分類器、K最近鄰(KNN)、線性判別分析(LDA)和支持向量機(SVM)，在2類MI任務(wù)中表現(xiàn)出最高95%的分類準確率，優(yōu)化技術(shù)進一步提高了分類精度。針對單一模態(tài)的智能算法研究也有助于提高分類準確性，并已擴展到MI與心算等心理活動的多類分類。盡管單一模態(tài)有其優(yōu)缺點，結(jié)合兩種模態(tài)的混合BCI可彌補其局限性。

混合BCI在多類數(shù)據(jù)分類中表現(xiàn)出較好性能，尤其是結(jié)合了EEG和fNIRS的兩個非侵入式BCI模塊。在其他心理活動信號中，對對側(cè)和同側(cè)運動運動進行分類具有挑戰(zhàn)性。當前研究集中在深度學(xué)習方法，如卷積神經(jīng)網(wǎng)絡(luò)(CNN)和雙向長短期記憶(Bi-LSTM)，用于分類CORE數(shù)據(jù)集中的右手、左手、右臂和左臂的四類運動。通過準確度、F1分數(shù)、精確度、召回率、AUC和ROC曲線等指標評估模型表現(xiàn)。CNN和混合CNN模型的準確率分別為98.3%和99%。

01

方法

數(shù)據(jù)集描述數(shù)據(jù)增強和預(yù)處理

如圖1所示，Buccino等二十人提供的數(shù)據(jù)集記錄了運動執(zhí)行中的EEG和fNIRS。實驗包括15名年齡在22至54歲的健康男性受試者，完成4種上肢任務(wù)。

任務(wù)為左/右臂/手屈曲，采集系統(tǒng)有21個EEG和34個fNIRS通道，采樣頻率分別為250Hz和10.42Hz。每次任務(wù)12秒，其中6秒休息、6秒運動，每個類別25次試驗。運動表現(xiàn)的6秒增強用于處理。由于數(shù)據(jù)集有限，采用時間切片和重疊方法進行數(shù)據(jù)增強。任務(wù)后第一秒跳過，休息期第一秒占用。如圖2所示，時間切片為3秒。為增加輸入數(shù)據(jù)，加入數(shù)據(jù)冗余。腦電圖數(shù)據(jù)在μ波段（8-13Hz）和beta波段（13-30Hz）濾波，濾波階數(shù)為5。

圖1 方法論框圖

特征提取

空間濾波是另一種常見的特征提取方法，能夠保留空間信息。通過常見的空間模式(CSP)算法實現(xiàn)，尤其在兩類問題中（多類CSP、薄型ICA-CSP）應(yīng)用較多。該算法旨在最大化信號中兩個類的方差比。

圖2 數(shù)據(jù)增強的示意框圖。

具有雙向長短期記憶的混合CNN（Bi-LSTM）

Bi-LSTM是前向和后向LSTM的組合，用于提取時間信息。CNN擅長提取空間特征，特別是在fNIRS中表現(xiàn)良好。結(jié)合CNN和Bi-LSTM可以同時提取時間和空間特征，從而改善EEG和fNIRS數(shù)據(jù)的分類性能。模型架構(gòu)如圖3所示，包括兩層CNN（每層有128個濾波器）用于提取局部特征，再通過Bi-LSTM層進行時序建模，最后通過全連接層和Softmax進行分類。數(shù)據(jù)通過零填充對齊，并采用了dropout、Max/Average池化和整流線性單元（ReLU）/指數(shù)線性單元（ELU）激活函數(shù)。該模型運行100個時期，并進行了五倍交叉驗證。

圖3 混合CNN模型框架

02

結(jié)果與討論

本研究使用的CORE數(shù)據(jù)集包括在執(zhí)行左手、右手、左臂和右臂運動任務(wù)時，同時記錄的EEG和fNIRS數(shù)據(jù)。fNIRS的特征由MBLL提取的含氧和脫氧血液濃度變化構(gòu)成。應(yīng)用于EEG的Thin-ICA提供了獨立成分作為特征。然而，像CSP這樣的特征提取方法不適用于fNIRS數(shù)據(jù)，因為它會導(dǎo)致過度擬合。特征提取會降低CNN的效果，導(dǎo)致準確率僅為60%。但當使用MBLL將fNIRS數(shù)據(jù)表示為HbO和HbR的光密度變化時，性能顯著提高至90%。EEG和fNIRS的數(shù)據(jù)預(yù)處理均為帶通濾波。

圖4 混合 CNN 對原始輸入數(shù)據(jù)的性能——準確率（左）、混淆矩陣（右）。

數(shù)據(jù)按60:40比例劃分用于訓(xùn)練和測試，如圖4所示，混合CNN模型的準確率為84.3%。由于數(shù)據(jù)不足，每個時期訓(xùn)練20個批次。通過增加3次冗余數(shù)據(jù)，提升了模型性能。使用五倍交叉驗證，訓(xùn)練時每個時期60個批次，結(jié)果顯示使用最大池化和ReLU激活函數(shù)的混合CNN模型準確率提升至99%，損失為0.045。然而，數(shù)據(jù)不足時，模型準確率較低，冗余數(shù)據(jù)增加后，初期可能過擬合，但訓(xùn)練100個epoch后實現(xiàn)泛化。為避免計算復(fù)雜度，CNN、BiLSTM和密集層限制為兩層。

為了確保更快的收斂，實驗中采用了ELU激活函數(shù)，并結(jié)合了平均池化和最大池化，如圖5所示。ELU相比ReLU具有更快的收斂速度，因為它對負值輸入提供非零輸出，而ReLU對負值輸出為零。為了提高泛化性能，采用了零掩蔽處理，減少了零填充的影響。經(jīng)過五倍交叉驗證，訓(xùn)練過程中的誤差有所波動，但隨著訓(xùn)練進展，性能趨于穩(wěn)定。零掩蔽顯著減少了假陽性和假陰性，并提高了分類準確性。

圖5 具有 ELU 激活和零掩蔽的混合CNN在平均池化（a）和最大池化（b）中的表現(xiàn)。具有最大池化和零掩蔽的 ELU 激活的混淆矩陣（c）。

與5層CNN模型相比，混合CNN模型（結(jié)合CNN和Bi-LSTM層）不僅提高了分類準確率，還能更有效地提取時空特征。此外，混合CNN模型訓(xùn)練時間較短，因為CNN層數(shù)較少。與傳統(tǒng)機器學(xué)習方法（如LDA和SVM）相比，研究中的模型表現(xiàn)出更高的準確率，尤其在對側(cè)和同側(cè)肢體運動分類上，達到了99%的準確率，超過了以往的研究成果。

03

結(jié)論

研究旨在解決對側(cè)和同側(cè)數(shù)據(jù)分類問題，通過正確提取空間和時間模式來實現(xiàn)。研究人員開發(fā)了一種結(jié)合CNN和Bi-LSTM的深度學(xué)習模型，能夠識別空間和時間模式。結(jié)果表明，與單獨使用CNN模型相比，具有2個CNN和2個雙向LSTM層的混合CNN模型具有更好的分類性能。此外，采用ELU激活和最大池化對輸入數(shù)據(jù)進行零填充，有助于模型平滑泛化并加速收斂。通過最少的預(yù)處理、特征提取和2個CNN層，混合CNN模型實現(xiàn)了99%的分類準確率。

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時刪侵！

歡迎加入腦機接口社區(qū)交流群，

探討腦機接口領(lǐng)域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業(yè)/專業(yè)】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯(lián)系微信：RoseBCI

點擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展