近期，成都信息工程大學計算機學院智能神經信息編解碼實驗室的郜東瑞團隊有效利用EEG信號的時-頻-空特征，提出了一個名為CSF-GTNet的疲勞檢測新框架?？蚣苤性O計了高斯時域網絡和純卷積空頻域網絡，不僅在理論上具有先進性，而且在多個疲勞數據集上展示出良好的分類性能和較強的可解釋性。

成都信息工程大學計算機學院郜東瑞副教授為論文的第一作者，碩士研究生李芃銳為第二作者，成都信息工程大學為第一作者單位和通訊單位。

該論文發表在IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS。題目為《CSF-GTNet: A Novel Multi-Dimensional Feature Fusion Network Based on Convnext-GeLU-BiLSTM for EEG-Signals-Enabled Fatigue Driving Detection》

疲勞導致的駕駛員警覺性和判斷能力下降是交通事故發生的重要原因，因此設計能夠準確反映駕駛員大腦警覺性的疲勞檢測技術對于減少交通事故具有重要意義。腦電信號被認為是一種有效的疲勞檢測手段，能夠直觀反映駕駛員的精神狀態。然而，監測駕駛員的精神狀態面臨一些挑戰。一個挑戰是從復雜和不穩定的EEG信號中全面提取特征，并在多維度上分析數據。另一個挑戰是探索不同被試和模型學習到的特征之間的關系。

數據收集與預處理

該研究使用到兩個數據集，一個是實驗室采集的，一個是公開的SEED-VIG。

實驗室的數據是在模擬駕駛艙中采集的，并通過了道德倫理審核。共有10名被試參與了實驗，年齡在23-24歲之間，并且都持有駕照。數據采集設備采用國際公認的BP采集設備。除一個參考電極外，可同時獲得31個電極通道的數據，采樣頻率為1000 Hz。每個參與者的模擬駕駛時間設定為1 h，駕駛前后，所有受試者都要休息5分鐘，并填寫疲勞自測表和鄧迪壓力表。該數據的標簽參考SEED-VIG的標簽方法。通過我們采集的人臉視頻的身體特征評價方法，可以觀察10秒內眨眼和閉眼時間占總時間的比例來判斷他們是否疲勞。PERCLOS廣泛用于圖像研究。這也是國際上高度認可的評估疲勞的方法。

SEED-VIG數據集是通過隨機選擇23名受試者并在完全模擬的駕駛艙中進行實驗來收集的。為每個受試者收集腦電圖和眼電圖。但該團隊只研究駕駛員在正常和疲勞狀態下腦電信號的變化，所以只選取腦電信號。由于每個受試者進行實驗和數據收集的時間為118分鐘，總共7080秒，每秒的采樣頻率為200 Hz，因此將有1416000個采樣點。另外，每個主體都有一個標簽文件，他們使用的標簽方法是通過PERCLOS指示器。數據集每8秒選擇一個標簽，標簽值在(0，1)之間。數值越小，受試者的疲勞程度越低。每個受試者被標記了885個標簽，根據PERCLOS值分為三類。

帶通濾波器是高通和低通濾波器協同工作的結果，可以有效濾除信號中的噪聲，獲得有用的信息。此外，大多數工作也使用帶通濾波器得到五個頻帶。因此，本文在兩個數據集上的預處理均采用帶通濾波器將腦電信號濾波出五個頻帶，即Delta(0–4Hz)、Theta(4–8Hz)、Alpha(8–12Hz)、Beta(12–30Hz)和Gamma(30–50Hz)，以減少噪聲對最終檢測效果的影響。然后，使用微分熵（DE）來提取人工特征用于后續的研究。

方法

如圖1所示，CSF-GTNet主要由純卷積空頻域網絡（CSFNet）和高斯時域網絡（GTNet）構成，接下來將詳細介紹這兩個模塊。

圖1 腦疲勞檢測的實驗框架

1. 純卷積空頻域網絡（CSFNet）：受提出的Convnext的啟發，本文改進了可用于處理EEG空頻特征的CSFNet模型。該模塊包括輸入模型、特征提取模塊和輸出模塊。輸入層的卷積塊包含96個大小為4×4的卷積核，然后對特征執行批量操作。Layernorm的設計用于穩定特征分布情況。輸入層的作用是將我們的5通道特征轉換成96通道特征。特征提取層由多個下采樣和階段模塊組成。下采樣中卷積核的大小是2×2，階段卷積核的大小是7×7。細節如圖2和圖3所示。這里我們介紹卷積層的計算過程。定義輸入特征X = (X1,X2,…,XN)和輸入特征的尺寸為(C,H,W)，其中N表示batch_size的大小，C表示輸入的通道尺寸，H表示特征高度，W表示特征寬度。卷積層的計算公式如下。

其中G代表激活函數，Wc代表權重值。

圖2 下采樣模塊。輸入特征通過4*4的卷積圖層后，將通過2*2的卷積圖層進行降采樣。

圖3 階段模塊。輸入特征經過由多個殘差模塊組成的三個序貫網絡，能夠充分保留原有信息，并持續獲得新信息。

i）分塊設計：在分塊模塊中，研究團隊使用了深度可分離卷積層來降低模型的復雜度，提高模型的性能。同時使用BatchNorm和LayerNorm使模型訓練過程更加穩定。整個結構結合ResNext模塊在學習過程中創建身份映射。它可以提高神經網絡的深度自適應能力，避免在訓練過程中出現模型性能退化。

ii）降采樣設計：降采樣模塊由n (1 ≤ n ≤ 3)個卷積模塊組成。第一個卷積核的大小為4×4，后續卷積核的大小為2×2，用于空間下采樣。在特征提取過程中構建下采樣圖層可以避免模型過擬合，同時盡可能減小數據大小以提取有用的特征信息。此外，添加BatchNorm和LayerNorm可以穩定模型訓練時間。

iii）階段設計：階段模塊由n個網絡層的堆棧組成。每個網絡層由幾個塊模塊組成。每個塊模塊的卷積核的輸入和輸出通道的數量是相同的。第一網絡層包含n個塊模塊，卷積層的輸入輸出通道為192個。第二個網絡層具有n×n個塊模塊，其卷積層的輸入和輸出通道數為384。第三網絡層包含n×n×n塊模塊，其卷積核的輸入輸出通道數為96 / 192 / 384。如前所述，每個分塊模塊都是殘差連接的。

2. 高斯時域網絡（GTNet）：對于時間序列特征提取的研究，GRU和LSTM從最初的RNN發展而來。他們可以提取比RNN更有用的時間序列特征。然而，LSTM只能記住“上面”的信息，不能掌握完整的數據序列。使用BiLSTM時，梯度有時會消失，顯著影響檢測效果。因此，他們通過GeLU激活函數計算和處理輸出特征來改進BiLSTM。然后得到一個新的模型，命名為GeLU-BiLSTM。激活變換操作隨機地依賴于特征輸入，有效地避免了梯度消失。具體地，為前向傳播層構造輸出序列Pi，根據輸入序列的1-n計算和處理該輸出序列Pi。反向傳播層產生一個輸出序列Pi’，根據輸入序列的n-1進行計算和處理。然后，通過GeLU激活函數G實現輸出結果。激活函數的公式如下所示。

因此，結果如下所示。

最后，他們融合了CSFNet和GTNet的輸出特征，并概括為：

其中O1表示GTNet輸出的特征，O2表示CSFNet輸出的特征，Concat描述了將兩個網絡輸出的特征相連接。再通過均方誤差函數來計算分類損失：

其中yi代表實際值，yi’表示預測值，m表示數據的大小。

研究結果分析

本文重點研究了基于時-頻-空特征的EEG疲勞檢測問題，CSF-GTNet框架以提升EEG疲勞檢測性能為目標，通過設計純卷積空頻域網絡和高斯時域網絡對EEG信號的高維空間和時間序列進行有效建模，并且GeLU激活函數的引入優化了多維特征的更新學習。因此，該框架很好的解決了從復雜且不穩定的EEG信號中全面分析多維度特征的問題。此外，研究團隊針對每個被試進行了詳細的特征解釋與分析，并驗證了該框架的合理性。

為了全面評估提出的模型，他們首先討論了模塊消融對模型效果的影響，再分別說明提出的模型在混合實驗和跨被試實驗中是否優于現有的先進技術，最后分析模型學習到的通道和頻帶特征。

圖4 時域模型比較

圖4顯示了時間序列網絡對大腦疲勞檢測的影響。他們將常用的處理時間序列的模型，包括BiRNN，BiLSTM，BiGRU，reLU-BiLSTM，tanh-BiLSTM和eLU-BiLSTM，與改進的GTNet模型進行了比較。通過比較，可以發現增強后的BiLSTM和BiGRU效果比原來的BiRNN要好。此外，最近改進的reLU-BiLSTM可以更好地把握時間特征序列。此外，eluBiLSTM比ReLU-BiLSTM具有更好的改善效果。然后，改進的GTNet的效果要比elu-BiLSTM好，說明加入GeLU激活函數可以顯著改善模型的檢測疲勞。最后，GTNet模型達到了最高的精度，顯示了在添加GeLU之后分類性能的提高。

表1和表2顯示了提出的模型在自制數據集和基于不同層數的SEED-VIG數據集上的檢測性能。在前面已經介紹過stages模塊中的每個網絡層都有幾個基本模塊，所以在這里，Convnext1表示(n = 1)，Convnext2表示(n = 2)，Convnext3表示(n = 3)。從結果可以發現，CSFNet網絡的表現優于GTNet，平均準確率可以分別達到82%和79%，分別比GTNet高出10%和9%左右。兩者結合得到的網絡CSF-GTNet的檢測準確率可以達到85.16%和81.48%，比CSFNet提高了3%左右。可以看出，提出的多維特征融合網絡在兩個數據集上都表現良好。

表1模型不同層數在自制數據集上的效果

表2 模型不同層數在SEED-VIG數據集上的效果

表3和表4顯示了提出的模型和現有的深度學習方法之間的比較，在自制和SEED-VIG數據集上具有更好的性能。然而，腦電圖數據并不是線性分布的。從表3和表4可以知道，現有的深度學習模型，包括ST_Encoding_CNN，CNN-Attention，CNN-LSTM，BiLSTM，ESTCNN，EEGNet和Interpretable_CNN都有比較良好的效果。值得注意的是，本文呢提出的CSF-GTNet在兩個數據集上的檢測效果都優于上述方法，平均準確率比其他方法高3%，最高達到85.16%和81.48%。這表明提出的方法能夠有效地分析腦電信號數據，準確地完成二分類檢測任務，具有較好的性能。這說明提出的模型適用于大腦疲勞檢測。而且，融合時域特征和空頻域特征進行檢測的思路是正確的。

表3 提出的模型和其它方法在自制數據集上的檢測效果比較

表4 提出的模型和其它方法在SEED-VIG數據集上的檢測效果比較

圖5和圖6分別顯示了提出的模型和現有深度學習方法在兩個數據集上的跨被試實驗的結果。他們參考前面的混合實驗結果作為參考，然后與跨被試實驗的結果進行比較。通過數據分析，可以發現提出的CSF-GTNet對單個被試的測試結果的準確率低于混合實驗。總體平均結果為71.86%和70.99%，分別比混合調查結果低約13%和10.5%。提出的方法對個別被試的檢測效果較差。比如在自制的數據集中，10號被試的檢測準確率只有43.47%。在SEED-VIG數據集中，被試22的檢測準確率僅為46.27%。提出的方法通常表現出優異的檢測效果，比現有的深度學習方法高出約2%。這也證明了提出的方法在兩個數據集上的檢測效果都有很好的魯棒性。綜上所述，對于自制和SEED-VIG數據集，提出的CSF-GTNet在跨主題實驗中表現良好，具有良好的魯棒性。

圖5 在自制數據集上的跨被試檢測效果

圖6 在SEED-VIG數據集上的跨被試檢測效果

如圖7所示，就警戒狀態而言，有多個被試，如(a)、(b)、(h)、(j)，顯示大腦額葉最活躍，是在警戒狀態下由眼球運動產生的。處于警戒狀態的人類信號可能包含許多偽影。這是人的眼球運動和肌電信號對腦電信號的影響。它們產生的這些偽跡是腦電信號警覺性的典型特征。此外，還發現FT9、TP9、FT10和TP10的外周通道電極在其余受試者中更活躍。此外，還發現了一個有趣的模式，其中電極活動和警覺性與四個電極所在的顳葉區域密切相關。在額葉表現出注意力的受試者也在顳葉表現出注意力，這比其他區域的通道發揮了更顯著的作用。一個可能的原因是，人類大腦的顳葉區域控制著平衡、情緒和注意力等精神活動。皮層信號比中央區更精確，能更好地反映警覺狀態。

在疲勞狀態下，如圖7(e)、(f)、(I)、(j)，發現他們的O1、Oz和O2電極在枕葉區域最活躍。此外，枕葉和頂葉區域的電極通道，如FC1，FC2，CP1和CP2，在其他受試者疲勞時也很活躍。這種現象可能是因為當人處于疲勞狀態時，眼球運動的頻率降低。此外，它還影響人們控制注意力和情緒等精神活動的能力。

然而，他們也發現受試者在警覺狀態下表現出類似疲勞的特征。例如，在圖7(h)中，受試者在額葉和顳葉活躍，枕葉被認為是典型的疲勞特征?？赡艿脑蚴鞘茉囌咭呀浱幱谠缙谄跔顟B，但看起來仍處于正常狀態。因此，在捕獲測試狀態時會出現誤判。此外，個別受試者在疲勞狀態下也表現出了警覺狀態的特征。例如，如圖7(a)、(c)所示，當兩個受試者處于疲勞狀態時，額葉區域更加活躍。出現這種情況的原因可能是外部環境和實驗過程中被試的身體狀態使得采集的數據有噪聲，干擾了模型的學習特性。

圖7 基自制數據集，模型學習的31個電極通道的特征激活值以腦拓撲圖的形式可視化。

此外，他們形象地展示了不同的頻帶在清醒和疲勞狀態下的區別，如圖8所示。當受試者處于警覺狀態時，θ、α和β波段的激活值較小。當他們處于疲勞狀態時，上述三個頻帶的激活值顯著增加。這一結論與之前的研究相同。他們還發現γ帶前后激活值變化劇烈，這也可以作為疲勞判斷的依據。此外，受試者7的四個頻帶的激活值高于疲勞狀態下的所有其他受試者?？赡艿脑蚴窃撌茉囌叩钠诔潭认鄬Ω?/p>

接著，他們還對每個受試者的警覺和疲勞狀態的特征激活值進行了T檢驗。P值小于0.05的兩個數據組可被視為顯著不同。如表5所示，大多數受試者的P值小于0.05，表明提出的模型可以更好地區分清醒和疲勞狀態。然而，受試者1和5的計算結果沒有顯示出顯著差異。這也反映了受試者之間的差異使得模型很難完全區分警戒和疲勞狀態。

圖8可視化模型為每個受試者在警覺和疲勞狀態下學習的每個頻帶的激活值。

表5對每個受試者的警覺和疲勞狀態進行T檢驗

總結

基于EEG信號的時域和空頻域，提出了一種新的多維特征融合網絡模型(CSF-GTNet)。提出的模型通過模型消融實驗、對比實驗、跨被試實驗和可解釋性實驗來檢驗性能。實驗結果表明，該方法優于現有方法，證明了該模型具有更好的分類效果和泛化能力。他們的研究不僅解決了傳統機器學習方法和現有深度學習方法在處理復雜數據方面的缺點，而且通過可視化模型學習的特征，更好地驗證了提出的模型的優越性。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展