近日，西安理工大學腦機交互團隊李睿聯合西安市人民醫院腦病院區院長劉衛平教授，共同撰寫的《The SSHVEP Paradigm-Based Brain Controlled Method for Grasping Robot Using MVMD Combined CNN Model》正式發表于國際知名期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》。

隨著我國老齡化社會的加快以及慢性病種類的增加，全球多個國家的殘疾人數都在急速增長。因此，探尋合適的輔助手段來幫助失能患者恢復基本的生活自理能力，已經成為了重要的社會問題。而腦機交互技術作為一種新型的人機交互方式，可有效建立外圍設備與被試之間的直接交互通道，因而其研究極具必要性。

研究內容及背景

（1）面向動態環境的混合視覺誘發范式設計

通過識別動態環境中的目標物并將其作為視覺刺激單元的一部分，以此提高動態環境的適應性；通過引入徑向棋盤格來提高受試者的注意集中能力；通過對動態環境中識別到的目標物進行黑白處理，以此調高EEG信號的響應程度；通過對黑白處理后的目標物圖像進行邊緣提取，以此降低受試者的視覺疲勞。該范式的具體實現步驟如下：

1）基于Yolov5的動態環境目標物品識別，并對識別結果進行分割、背景去除等處理來獲得清晰的目標物品圖像；

2）基于目標物品圖像閃爍的徑向棋盤格生成及其運動形式實現；

3）混合視覺誘發范式數學模型構建，并通過不同頻率進行調制。

圖1 SSHVEP范式安排

（2）基于MVMD-CNN的SSHVEP解碼算法

為了提取SSHVEP深層次的特征信息，并且充分利用SSHVEP各諧波成分。本研究組提出一種基于SSHVEP頻域分離的變分模態分解算法（multivariate variational mode decomposition，MVMD）進行自適應頻帶劃分、基于卷積神經網絡(Convolutional Neural Networks, CNN)進行目標辨識的解碼方法來提高信號的解碼精度，該算法的基本結構如下圖2所示。

圖2 CNN網絡結構圖

（3）面向機器人抓取的腦機融合共享控制策略

針對當前直接腦控系統存在環境交互能力不足等問題，將外圍設備的自主控制策略和基于SSHVEP的異步腦控意圖解碼方法相結合，以此充分發揮人的認知和決策能力以及智能設備的自主控制能力，進而提高腦控系統的適應性和執行率。如下圖3為整體系統結構圖。

圖3 整體系統結構圖

實驗驗證結果

本次實驗共招募18名22-26歲的健康受試者自愿參加實驗，其中具有典型代表性的被試者S9的EEG溯源響應特性及腦網絡分析，同時分析結果證明了本研究所提出的SSHVEP范式的有效性。如下圖4為典型代表性受試者S9的腦源定位分析，圖5為腦網絡分析。

圖4 受試者S9的腦源定位分析

圖5 腦網絡分析（A）腦網絡結構圖（B）鄰接矩陣

為了驗證研究所提出的SSHVEP解碼方法的有效性，進一步計算了MVMD-CNN和FBCCA-CNN兩種方法的SNR值以及MVMD-CNN與傳統算法相比的準確率系數圖6結果顯示，MVMD分解的子帶包含來自諧波的更有效信息，并且限制了背景EEG中的噪聲，能有效提高SSHVEP的檢測精度。

表1對三種算法進行比較，基于MVMD-CNN解碼算法的準確率為95.41±2.70%,與傳統的FDCCA和CNN解碼算法相比較，性能提高了5.8%和6.97%，對比結果證明了MVMD-CNN解碼算法的優越性。

圖6 子帶頻譜圖的SNR值

表1 MVMD-CNN和FBCCA-CNN的準確率系數

在線實驗首先在機器人操作系統（Robot Operating System，ROS）下的Gazebo中搭建仿真環境，并進行了基于機器人運動學建模的機器人自主抓取實驗，隨后18名受試者均開展了基于SSHVEP范式的助殘抓取機器人的在線實驗，其平均正確率為93.21±10.18%。

結論

所有被試均對9個目標進行了抓取實驗,在線實驗結果正確率平均為93.21±10.18%，11名被試的最高正確率達到100%，證明了所提方法的可行性和所構建的腦控機器人抓取系統的實用性。

本研究將動態環境下的可抓取目標與視覺誘發范式的產生機理相結合，同時實現了一種基于MVMD與CNN相結合的SSHVEP解碼方法，實現了一套完整的一種基于SSHVEP范式的助殘抓取機器人腦機交互方法，為肢體功能障礙患者生活自理能力的恢復，提供了有效的基礎理論依據。

論文信息：

Rui Li , Duanyang Bai , Zhijun Li , Shiqiang Yang, Weiping Liu, Yichi Zhang , Jincao Zhou , Jing Luo , and Wen Wang，“The SSHVEP Paradigm-Based Brain Controlled Method for Grasping Robot Using MVMD Combined CNN Model”in IEEE Transactions Systems AND Rehabilitation Engineering,vol.32,2024

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展