穩態視覺誘發電位（SSVEP）可以通過傳統機器學習算法或深度學習網絡進行解碼。結合這兩種方法有望利用各自的優勢來提高基于SSVEP的腦機接口（BCI）的性能。然而，目前尚未建立一種高效的策略來整合這兩種方法。

近期，清華大學高小榕教授及合作團隊提出一種新型的腦機接口分類框架，稱為 eTRCA + sbCNN。新型框架結合了傳統機器學習算法中的任務相關集合成分分析（eTRCA）和深度學習網絡中的子帶卷積神經網絡（sbCNN）來識SSVEP信號的頻率。eTRCA有較強的特征提取能力，而sbCNN在處理復雜信號時表現出色，研究發現通過模型組合能夠提升SSVEP-BCI系統的分類性能。相關研究成果于2025年1月2日發表于《Scientific Report》期刊。

方法

eTRCA + sbCNN 框架的流程如圖 1 所示，主要包括以下幾個步驟：數據預處理、eTRCA 和 sbCNN 的模型訓練與測試、eTRCA 和 sbCNN 的試驗分類、兩個分類得分向量的融合，以及最終的頻率識別。

Fig1. eTRCA + sbCNN 框架的算法流程圖。

sbCNN子帶卷積神經網絡

1.網絡結構與參數

sbCNN 是一個端到端的系統，它接收三個子帶的時間濾波信號。其網絡架構如圖 2a 所示，主要由四個卷積層和一個全連接層組成。第一個卷積層用于子帶組合，第二個卷積層用于通道組合，第三和第四個卷積層用于特征提取，最后一個全連接層通過選擇最后一個 softmax 函數返回的概率最高的頻率來預測刺激頻率。整個 sbCNN 網絡共有 12 層，具體參數如圖 2b 所示。

Fig2. (a) sbCNN 網絡結構；(b) sbCNN 網絡參數。

2.模型訓練與分類

訓練數據來自兩個公開的SSVEP的數據集，分別為Benchmark 數據集和BETA 數據集。sbCNN 的訓練過程分為兩個階段（見圖3）。第一階段使用所有受試者的訓練數據；第二階段僅使用測試受試者的訓練數據。對于兩個階段的訓練，當達到最大迭代次數時停止訓練。Benchmark和BETA 數據集的最大迭代次數分別為 1000 和 800。第二階段訓練完成后，得到受試者特定的模型net，然后使用該模型對測試數據進行分類。

Fig3. sbCNN 的模型訓練和分類方法

eTRCA任務相關集合成分分析

TRCA 是識別 SSVEP 信號最常用的算法之一。它通過最大限度地還原任務相關成分來創建空間濾波器。eTRCA是 TRCA 的擴展版本，第 k 個子波段的集合空間濾波器由來自所有刺激的空間濾波器連接而成。與 sbCNN 的訓練方法不同，eTRCA 使用受試者特定的訓練數據。具體的訓練與分類過程如圖 4 所示。

Fig4. eTRCA的模型訓練和分類方法

數據預處理

此研究選擇Benchmark 和BETA 數據集的 9 個枕葉電極（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2）的EEG數據進行分析。原始EEG數據采樣率降至 250 Hz。對于每個試次，數據被分別切片為兩個時間窗口：[0.64 s, (0.64?+?d) s] 和 [0.63 s, (0.63?+?d) s] ，分別用于Benchmark和BETA數據集。**注**：d 代表用于頻率識別的數據長度。

eTRCA + sbCNN框架的性能通過與eTRCA和sbCNN的對比進行評估。比較的指標包括分類準確率、信息傳輸率（ITR）、特征分布和混淆矩陣，評估過程涉及不同的數據長度、通道數以及訓練試次數。此外，研究學者還將eTRCA + sbCNN的表現與多種先進的傳統機器學習（ML）和深度學習（DL）模型進行了對比，以驗證其優勢。

**注**：分類準確率指正確識別的測試試次數與總測試試次數的比值，ITR則表示每單位時間內通信系統傳輸的信息量，與刺激的檢測數量和準確性正相關，而與檢測時間負相關。ITR更能反映SSVE-BCI系統在實際應用中的性能。

結果

圖5展示了在兩個數據集中，使用不同長度的數據（從0.2秒至1秒，步長為0.2秒）時得到的分類準確率和ITR。兩個數據集的通道數量均設為9，Benchmark數據集的訓練塊數量為5，BETA數據集為3。

結果發現，隨著數據長度的增加，三種模型的分類準確率均有所提高，而ITR則先隨著數據長度增加達到峰值，而后隨著數據長度增加下降。重要的是，除了0.2秒數據長度外，eTRCA + sbCNN在其它所有數據長度下的準確率和ITR均顯著優于eTRCA和sbCNN。在0.2秒時，eTRCA + sbCNN與sbCNN在準確率上無顯著差異，原因是eTRCA在此長度下表現不佳，未能充分發揮兩者的互補性。

Fig5. 基于Benchmark數據集，a,c分別為五個數據長度下三個模型的分類準確率和 ITR；基于BETA 數據集，b,d分別為五個數據長度下三個模型的分類準確率和 ITR。

圖6展示了在兩個數據集中，使用不同通道組（每組包含3至9個通道，步長為2）時的分類準確率和ITR。兩個數據集的數據長度固定為0.6秒。為了簡化研究，每組通道按順序從9個通道中選擇。

結果發現，隨著用于頻率識別的通道數量的增加，三個模型的準確率和ITR均呈現上升趨勢。然而，eTRCA + sbCNN在5、7和9個通道下的表現顯著優于eTRCA和sbCNN。但在3個通道時，其表現顯著低于sbCNN，或與sbCNN無顯著差異。這些結果說明，當通道數量超過3時，模型組合能有效提升BCI性能。這可能是過少的EEG通道會削弱eTRCA算法性能，從而影響組合效果造成的。

Fig6. 基于Benchmark數據集，a,c分別為四組通道下三個模型的分類準確率和 ITR；基于BETA 數據集，b,d分別為四組通道下三個模型的分類準確率和 ITR。

混淆矩陣和模型比較

隨后，研究人員基于Benchmark數據集計算了eTRCA?+?sbCNN模型的混淆矩陣。如圖7所示，每個刺激頻率或者刺激類別的正確識別率很高，而且不同刺激之間的準確率沒有太大差異。

此外，為進一步驗證 eTRCA + sbCNN 的性能，研究人員將eTRCA + sbCNN與其它先進的 ML 算法和 DL 網絡（(a) CCA; (b) FBCCA; (c) TRCA; (d) compact-CNN; (e) conv-CA; (f)bi-SiamCA）進行了比較。結果發現，無論是分類精確率還是ITR，eTRCA?+?sbCNN均顯著優于其它算法。

Fig7. 在數據長度為 1.0 秒的Benchmark數據集中，35個被試的eTRCA + sbCNN 模型的平均混淆矩陣。

總結

此研究提出了一種基于模型組合的新型分類方法，eTRCA?+?sbCNN框架。研究人員通過將eTRCA和sbCNN兩種先進模型的特征向量相加，并評估了不同數據長度、通道子集和訓練塊的分類準確率及ITR。研究結果表明，eTRCA + sbCNN框架顯著優于單獨的eTRCA、sbCNN以及其它傳統機器學習或深度學習模型。這種模型組合的優勢來源于eTRCA與sbCNN模型的互補性。sbCNN通過深度學習完全數據驅動，能夠提取通用特征；而eTRCA則基于特定BCI范式的神經生理學原理，能夠提取范式相關的特征。此框架為結合傳統機器學習與深度學習模型提供了一個有效路徑，未來有望為SSVEP-BCI中的EEG信號解碼提供潛在有效的解決方案。

Reference:

https://www.nature.com/articles/s41598-024-84534-6

翻譯整理：BrainGeek

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展