杭州電子科技大學腦機協同智能孔萬增教授團隊最新研究成果Time-Frequency Jointed Imperceptible Adversarial Attack to Brainprint Recognition with Deep Learning Models發表在國際會議IEEE International Conference on Multimedia and Expo 2024（CCF-B類會議oral）上。IEEE國際多媒體與博覽會（ICME）是自2000年以來由IEEE四大協會聯合主辦的旗艦多媒體會議，旨在從研究和開發的角度促進多媒體技術、系統和應用領域最新進展的交流與分享。該論文提出了一種針對腦紋識別的基于時域和頻域聯合攻擊的隱秘對抗性攻擊方法（TFAttack），這種方法結合了小波變換在時頻域轉換中的優勢，實現了更為隱秘且有效的對抗樣本生成。

圖 1 全文官方鏈接：https://doi.org/10.1109/ICME57554.2024.10688012

基于EEG的腦電圖識別與深度學習模型在生物特征識別中受到了廣泛關注。然而研究表明，使用EEG輸入的深度學習模型對對抗性攻擊具有脆弱性。在本文中，我們引入了一種新穎的對抗攻擊方法，通過采用小波變換聯合地攻擊時間域和頻率域的EEG信號。不同于大多數僅針對時間域EEG信號的現有方法，我們的方法不僅利用了時間域攻擊的強大對抗性，還受益于頻率域攻擊固有的不可察覺性，從而在攻擊性能和不可察覺性之間實現了更好的平衡。本文在白盒和灰盒場景中進行了廣泛的實驗，結果表明，本文的攻擊方法在三個數據集和三種深度學習模型上達到了最先進的攻擊性能。同時，被攻擊的信號中的擾動對人類視覺系統來說幾乎不可察覺。

研究背景

基于腦電圖（EEG）信號的腦紋識別逐漸引起了越來越多的關注，成為一種生物特征識別技術。各種基于卷積的深度神經網絡（如EEGNet、DeepConvNet和ShallowConvNet）被用來捕捉EEG特征，這些特征能夠放大個體間的差異，最小化個體內的差異，從而在跨任務和跨時段的身份識別中實現卓越的性能。這些模型還可以減輕任務相關信息對EEG特征的影響，從而進行身份識別。深度學習模型在腦紋識別中取得了最先進的性能，消除了手動特征提取的需求，實現了端到端的腦紋識別。值得注意的是，EEGNet、DeepConvNet和ShallowConvNet是典型的腦電深度學習模型。它們具有提取時空EEG特征卷積核，并被廣泛用作各種模型的骨干架構。

然而最近的研究表明，基于EEG的腦機接口（BCI）對對抗攻擊具有脆弱性。深度學習模型可能會被對抗性樣本欺騙，導致模型性能顯著下降，甚至可能對用戶造成傷害或疲勞。通過劫持EEG信號，攻擊者可以破壞基于穩態視覺誘發電位的打字機的操作或控制輪椅，導致意外的字符輸入或危險的運動，危及用戶安全。對抗攻擊還可能阻礙腦紋識別在安全敏感場景中的應用，攻擊者可以阻止合法用戶訪問系統，非法修改關鍵數據，給組織或個人造成損害。據我們所知，目前尚無關于腦紋識別對抗性攻擊的研究，這強調了此類研究的緊迫性和重要性。

研究概述

為了應對上述挑戰，本文提出了一種基于時頻域的不可察覺對抗攻擊方法（TFAttack）用于腦紋識別，見圖2。TFAttack采用小波變換來滿足EEG信號在時間域和頻率域之間的轉換，并兼容反向傳播。首先，使用小波變換將輸入的EEG時間域信號轉換為頻率域，然后通過逆小波變換恢復到時間域。隨后，利用目標模型從時間域信號進行推理，計算其對抗損失，導出頻率域信號的梯度，優化頻率域擾動。為了進一步優化對抗攻擊的效率，TFAttack采用了一種交替策略，在時間域和頻率域之間優化對抗擾動。

在時域中，傳統的對抗性攻擊方法通過直接對輸入信號添加擾動來生成對抗性樣本。TAttack 的擾動迭代公式是：

其中：是目標模型，是損失函數（如交叉熵損失），是真實標簽，是步長，用于控制擾動幅度，表示對輸入信號的梯度。頻域攻擊通過小波變換（Wavelet Transform）以及逆小波變換（Inverse Wavelet Transform）將信號在時域和頻域之間互相轉換。FAttack的擾動迭代公式為：

其中和分別為離散小波變換和逆離散小波變換。TFAttack將TAttack和FAttack兩者聯合，輪流對時域和頻域信號進行攻擊，擾動迭代公式為：

研究貢獻包括：

1. 本研究在腦紋識別領域率先探討了對抗攻擊相關的研究，揭示了現有系統中的潛在安全漏洞。

2.本文提出的TFAttack利用了時間域和頻率域數據，生成了強大且不可察覺的對抗樣本。

3.本文在三個數據集和三種深度學習模型上進行了實驗，所提出的方法在白盒和灰盒場景中實現了最先進的攻擊性能。

圖 2 TFAttack的框架圖。中間部分是提出的TFAttack的流程圖，它是TAttack（上部分）和FAttack（下部分）的結合。TAttack在時間域直接更新原始EEG樣本上的擾動，而FAttack首先使用離散小波變換（DWT）將樣本轉換到頻率域，在頻率域更新擾動，然后通過逆離散小波變換（IDWT）得到對抗樣本。對于TFAttack，本文采用TAttack和FAttack輪流攻擊EEG樣本，首先由TAttack在時間域對信號進行攻擊，然后由FAttack在頻率域進行攻擊。

實驗分析

本文在三個數據集上開展了實驗：SEED情感數據集（15名受試者），MTED多任務EEG數據集（30名受試者）和EEGMMI數據集（109名受試者）。對于所有數據集，本文從每個樣本中提取5秒的數據作為腦電圖數據，并應用1-79Hz的帶通濾波器進行預處理。

本文主要選擇攻擊成功率（ASR）來衡量成功攻擊的樣本占總樣本的比例。關于攻擊的不可察覺性，本文采用DTW分數、L2范數和余弦相似度來測量對抗樣本對人類視覺系統（HVS）的可見性。L2范數測量像素級別的差異，但HVS對時間序列數據的模式/形狀更為敏感。因此，本文還采用DTW分數作為感知距離之一，它更好地反映了HVS的偏好。本文選擇了三種專門為EEG解碼設計的流行深度學習模型作為受害者模型：EEGNet、ShallowConvNet和DeepConvNet。所有三個模型均在三個數據集上進行了訓練和測試，準確性數據在補充材料中展示。

白盒攻擊實驗：

在本實驗中，本文驗證了TFAttack生成的對抗樣本的攻擊強度和不可察覺性。在EEGMMI、SEED和MTED數據集上進行了白盒攻擊，并將TFAttack與FGSM、BIM、PGD和C&W等方法進行了比較。與其他攻擊方法相比，TFAttack的L2和DTW得分最低，余弦相似度最高，并且在所有三個數據集上都有顯著的攻擊效果。同時，TFAttack在SEED、MTED和EEGMMI數據集上具有最高的攻擊成功率（ASR），這表明TFAttack比其他攻擊方法更有效。

攻擊遷移實驗：

為了研究提出的TFAttack生成的對抗樣本的可遷移性，本文還在EEGMMI數據集上進行了灰盒攻擊實驗。在灰盒攻擊場景中，攻擊者擁有目標模型的數據集，并使用替代模型生成對抗樣本。因此，本文首先使用EEGMMI的訓練集訓練了三個替代模型，然后使用FGSM、PGD和TFAttack在測試集上生成對抗樣本，然后分別攻擊三個目標模型以獲得ASR和DTW分數。我們發現ShallowConvNet的魯棒性較差，當ASR與FGSM和PGD相差不大時，TFAttack的DTW分數遠低于FGSM和PGD。因此，TFAttack的可遷移性優于FGSM和PGD。

感知研究實驗：

圖 3 在EEGMMI和SEED數據集上以EEGNet為目標模型進行的感知研究

為了進一步研究ASR隨感知距離增大的變化率，我們調整了FGSM和PGD的擾動閾值，以及TFAttack的迭代次數，以增加擾動的感知距離，并記錄相應的ASR。本文在兩個數據集上使用EEGNet測試了攻擊性能，采用L2、DTW和余弦相似度作為感知距離的衡量標準。較低的L2和DTW值意味著較小的擾動，而較高的余弦相似度表明原始樣本與對抗樣本之間的匹配更為緊密。ASR隨著擾動強度的增加而上升，并且TFAttack在相同的感知距離下始終生成更強大的對抗樣本，或者在較低的L2、DTW和較高的余弦相似度下實現相同的ASR。這驗證了TFAttack生成既強大又不可見的對抗樣本的能力。

結論

本文提出了一種在時間域和頻率域都不可察覺的對抗攻擊方法，成功解決了現有方法中頻率信息利用不足和對抗樣本可見性的問題。通過利用小波變換，實現了EEG在時間域和頻率域之間的高效轉換，從而通過交替優化生成更不可察覺的對抗樣本。廣泛的實驗結果驗證了TFAttack在各種數據集和模型上的優越攻擊性能。總之，本研究揭示了深度學習模型在腦電識別系統中的脆弱性。我們希望我們的工作能引起更多人對腦電識別系統魯棒性研究的關注。

作者介紹

儀航捷、明煜航、劉棟軍、孔萬增

通訊作者簡介

孔萬增，博士，杭州電子科技大學二級教授，杭州電子科技大學校黨委委員、組織部部長，兼任腦機協同智能技術（科技部）國際聯合研究中心副主任，浙江省腦機協同智能重點實驗室主任。長期從事腦機交互與認知計算等方面的工作。多次在IEEE TPAMI, NIPS等國際頂級期刊和頂級會議上發表學術成果，谷歌學術引用超4400次，入選2023、2024年度全球前2%頂尖科學家榜單。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展