ALS患者由于神經系統逐漸退化,通常會逐漸失去運動和言語能力,使得溝通成為難題。腦機接口(BCI)是近年來重要的研究方向之一,通過采集腦電信號并解碼成指令,使得患者可以直接通過神經信號控制計算機或其他設備,實現溝通功能。盡管基于腦電圖(EEG)或微電極陣列(MEA)的BCI已在一定程度上展現了可能性,但兩者各自的限制(如EEG信號不穩定,MEA需要頻繁校準)使得長期使用仍面臨挑戰。
本研究旨在探討一種基于ECoG的BCI,通過檢測腦電信號中的“點擊”事件來控制拼寫應用。研究選用了ALS患者為試驗對象,并通過高密度皮質腦電圖設備來解碼患者的意圖點擊操作。與現有方法相比,該技術不僅在短時間內即可進行訓練,更在無須重新校準的情況下可穩定運行長達3個月,展示出ECoG信號在BCI中穩定、持久的潛力。
研究方法
1. 臨床試驗背景與參與者
在本研究中的參與者是一名右利手的男性,確診ALS已8年,由于肌肉萎縮,無法獨立完成日常活動。他的手指雖能部分閉合以嘗試抓握,但無力支撐物體。植入前進行了認知測試,未發現癡呆癥狀,參與者在試驗過程中也沒有表現出認知能力顯著下降。
2. ECoG設備與手術植入
CortiCom研究設備包含兩個8×8的皮質電極網格,由PMT公司生產,并通過開顱手術植入在負責上肢運動和言語功能的左側運動皮層區域。該設備包含了128個信號采集通道,通過黑巖神經科技公司的Neuroport基座將信號傳遞到外部的放大裝置,進而實現信號的數字化和傳輸。手術前使用MRI和功能性MRI(如手指敲擊和舌頭運動任務)確定了電極的植入位置,術后通過CT與MRI配準確認電極網格相對大腦表面解剖結構的位置,以確保信號來自特定的皮層區域。這種手術的成功率和無手術并發癥的記錄,進一步說明了該設備的植入安全性。
圖1 | 線上點擊檢測流程。a 參與者正坐,前臂放在椅子的扶手上,面對顯示開關掃描拼寫應用的電腦顯示器。b 在參與者大腦虛擬重建的左側皮層表面上疊加了兩個64電極網格的位置。背側和腹側網格主要覆蓋了皮層上肢和面部區域。電極從左到右、從下到上依次編號。
3. 信號采集與模型訓練
(1)數據采集與實驗設計:在每次實驗開始時,記錄60秒的基線校準期,期間參與者保持靜坐和注視電腦屏幕,以獲取靜息狀態下的皮層活動作為校準基線。實驗團隊通過四次訓練課題進行數據采集,歷時16天,總共記錄了44分鐘的神經信號。這些數據通過Neuroport系統以1千赫茲的采樣率記錄,BCI2000平臺用于呈現視覺刺激并同步記錄數據。
(2)訓練任務:在訓練過程中,參與者在視覺提示下嘗試右手抓握(位于電極陣列對側),并在抓握后松手。ALS患者上肢受限的實際動作主要涉及中指和無名指的彎曲,而手部恢復到放松位置則主要依靠手腕被動返回。每次抓握嘗試包括一個100毫秒的“Go”提示,提示后是隨機長度的刺激間隔,以減少患者的預期行為影響。
圖2 | 長期使用固定點擊檢測器。a 訓練數據收集在16天內的4個會話中進行。對于每一天,每個子條形代表一個獨立的訓練數據收集塊(總共6個訓練塊)。b 使用固定檢測器,在訓練數據收集后+21天(紫色)進行了一次開關掃描與通訊板的操作。從第+46天到第+81天,使用固定檢測器進行開關掃描拼寫,采用7票閾值(藍色)。從第+81天到第+111天,使用固定檢測器進行開關掃描拼寫,采用4票閾值(青綠色)。對于每一天,每個子條形代表一個包含3-4個句子的獨立拼寫塊。橫跨(a)和(b)的水平軸表示相對于訓練數據收集最后一天(第0天)的天數。
(3)特征提取與信號預處理:在特征提取環節,研究團隊使用快速傅里葉變換(FFT)計算256毫秒窗口的高伽馬(HG,110-170赫茲)功率,對數功率隨后被放入1秒的緩沖區以形成一個歷史特征向量。為了進一步處理這些特征,128通道的數據向量被輸入到一個時間窗口循環神經網絡(RNN)模型中。
(4)標簽分配:在信號處理過程中,將HG功率特征在所有試驗段重新對齊,以消除試驗間的反應延遲差異。通過時間扭曲模型對HG功率進行重新排列后,研究團隊基于視覺提示(“Go”提示)的時間點確定了抓握和休息標簽,并對每個樣本分配相應標簽。值得注意的是,研究團隊選用一種不依賴地面真實值的標記方法,以模擬ALS患者抓握意圖的情況,從而在無實際動作反饋時也能確保模型的準確性。
(5)模型架構與訓練:模型架構基于一個循環神經網絡(RNN)構建,包含一個25隱藏單元的LSTM層和兩個全連接(FC)層。模型使用10折交叉驗證評估性能,每個折包含數量均等的“休息”和“抓握”樣本,以防止類別不平衡導致的偏差。分類準確率在75個周期后趨于平穩,使用自適應矩優化(Adam優化)計算分類交叉熵損失。LSTM和全連接層均采用30%的權重丟棄率,以降低過擬合風險。
4. 在線流程與點擊檢測
研究團隊使用基于Python的ezmsg消息架構搭建了一個有向無環圖的處理單元,包括所有的預處理、分類和后處理步驟。神經數據以100毫秒的間隔傳輸到專用于在線推理的計算機。在線分類每100毫秒更新一次結果,這些結果進入一個7投票窗口,在達到預設閾值后觸發點擊,以避免誤觸發。應用投票窗口后,點擊將觸發拼寫界面的高亮行或列的選擇,完成拼寫操作。
圖3 | 開關掃描應用。參與者被指導在開關掃描周期中,通過在適當的高亮行或列點擊來選擇實驗者提示的圖形按鈕(a)或拼寫句子提示(淡灰色文本)(b)。有關(a)和(b)的詳細描述,請分別參考補充圖8和補充圖9。
實驗結果與分析
1.拼寫速率與系統性能
研究的核心在于驗證該ECoG點擊探測器是否能夠在三個月內實現穩定的拼寫性能。在使用切換掃描拼寫應用的過程中,參與者需要通過抓握意圖生成點擊,以控制拼寫界面的字母選擇。實驗數據顯示,系統在整個測試期間能夠維持中位數每分鐘10.2個字符的拼寫速率,這是一個相對較高的文字輸入效率,尤其考慮到ALS患者的身體局限性,這一速度足以滿足基本的溝通需求。
為了進一步評估系統性能,研究團隊還觀察了不同時間點的拼寫速率變化。結果表明,盡管在部分測試階段由于信號功率的波動性導致性能輕微波動,但系統整體的拼寫效率保持穩定,沒有明顯下降。這一結果證明了ECoG信號的長期穩定性,即使在信號調制出現短暫降低的情況下,系統仍能提供可靠的拼寫性能。
2.不同投票閾值下的點擊探測性能
研究團隊在不同的測試階段調整了系統的投票閾值,以優化系統的響應時間和誤報率。投票閾值是指在一個固定時間窗口內,分類器需要達到多少次“抓握”分類才能被視為有效點擊。初始階段設置為10票的閾值(醫療通信板測試),這種設置雖然有效地減少了誤報率,但在拼寫應用中響應時間偏長。因此,后續測試中逐漸降低閾值至7票和4票,旨在提升系統的靈敏性并加快響應速度。
在使用7票閾值的階段,系統的點擊探測率較高,響應延遲有所改善。參與者能夠更迅速地選擇拼寫界面中的字母,但該設置仍然保留了較低的誤報率,使得拼寫體驗流暢。在第+81天后,投票閾值進一步降低至4票,以滿足參與者對更高靈敏度的需求。此時,系統的響應時間明顯減少,能夠更及時地捕捉參與者的抓握意圖。然而,這也導致了少量誤報的增加,但在實際測試中,這種假陽性檢測率保持在可接受的范圍內,沒有顯著影響參與者的拼寫效率。
3.在線拼寫應用的綜合性能
實驗結果顯示,在7票和4票閾值設置下,參與者可以有效地使用拼寫界面進行文字輸入,系統的高伽馬功率信號解碼能夠準確識別抓握動作,點擊探測的準確性在整個測試過程中表現出色。通過這一設計,拼寫應用不僅實現了高效的文字輸入,還有效降低了參與者的操作負擔,特別是在ALS患者眼動能力可能逐漸下降的情況下,ECoG點擊探測器為重度運動障礙患者提供了一種有效的替代溝通方式。
4.長期穩定性與誤報率控制
本研究的一個關鍵目標是驗證系統在長期使用中的穩定性,即在不重新訓練模型的情況下,能否保持高效的點擊探測性能。研究團隊的長期觀察結果表明,ECoG信號具有較高的穩定性,在長達三個月的測試期間無需重新校準或更新模型,系統依然能夠維持穩定的性能。這種長期穩定性對于ALS患者及其護理人員尤為重要,因為頻繁的模型重新訓練將大大增加系統維護的復雜性,且不利于獨立家庭使用。
在誤報率方面,研究團隊通過投票窗口的調節,有效控制了系統的誤報率。盡管在更低閾值下存在少量誤報,但總體誤報率保持在可接受的范圍內,系統能夠可靠地過濾掉偶發的抓握分類誤判。特別是在7票和4票窗口下,系統在保持高敏感度的同時,顯著減少了因偶發信號變化導致的誤點擊,達到了理想的平衡。
圖4 | 長期開關掃描拼寫性能。
5.不同信號調制強度下的系統表現
在三個月的測試過程中,研究團隊記錄到信號功率調制的短暫降低情況,但這種波動并未顯著影響系統的整體表現。由于ECoG信號的長期穩定性,即便在功率調制強度變化的情況下,系統仍然能夠正確解碼點擊意圖。這說明基于ECoG的點擊探測器具備在實際環境中適應不同信號波動的能力,從而確保系統的連續性和可靠性。
在出現功率波動的情況下,研究團隊測試了快速重新訓練的新模型。新模型僅使用了少量數據(<15分鐘)進行訓練,即能達到與原模型相似的性能,表明ECoG信號即便在短期數據收集中也具備足夠的信息量用于點擊檢測。這為未來系統在實時適應信號變化、減少訓練數據量方面提供了新的思路。
6.誤報控制與用戶體驗
為了保證良好的用戶體驗,研究團隊在測試中注意到用戶對誤報的容忍度和響應速度的偏好。隨著測試的進行,參與者反饋希望提高系統的靈敏度,即使可能會增加假陽性率。因此,在后期的測試階段,研究團隊選擇將投票閾值從7票降低至4票,使得系統響應更為靈敏。這一改進有效提升了用戶體驗,使參與者可以更快捷地完成拼寫操作,即便在偶爾的誤報情況下,也并未顯著影響整體使用效果。
7.系統響應延遲與實用性評估
系統的響應延遲是評估腦機接口系統實用性的關鍵指標之一。研究團隊通過調節投票窗口的大小,將響應延遲控制在最小限度。在4票閾值的設置下,系統可以更快速地響應抓握動作,相比10票或7票的設置,這一閾值顯著減少了延遲,使參與者的拼寫操作更加流暢。這樣的設計提升了系統的實用性,使其更接近于日常生活中的實時響應需求。
8.電極通道對抓握動作分類的貢獻
在本研究中,為了評估各電極通道對抓握動作分類的貢獻,研究團隊生成了所有通道的顯著性圖,分析這些通道的高頻特征在分類任務中的重要性。結果表明,體感皮層上肢區域的通道112對抓握動作分類的貢獻最為顯著,其重要性明顯高于其他通道。在使用包含所有通道的模型進行10折交叉驗證時,分類的平均準確率達到了92.9%。
研究團隊還評估了去除通道112,僅使用覆蓋手部區域通道的高伽馬(HG)特征對分類性能的影響。結果顯示,雖然去除了最顯著的通道112,但模型的準確率依然達到了91.7%,說明多個通道的特征對分類性能都有顯著貢獻,而非單一通道起決定作用。此外,僅使用覆蓋皮質手結區域的電極進行分類,模型的平均準確率略降至90.4%,但仍然能夠有效解碼抓握意圖。這表明這些區域的特征對于分類的關鍵性。
即使在系統性能出現下降時,通道112的相對顯著性依然維持較高水平,其重要性在整體分類貢獻中沒有明顯變化。綜合來看,這些分析結果顯示,高伽馬特征中的顯著通道對于確保分類準確性至關重要,但優化模型的性能還需要進一步深入探索參數設置和使用的通道組合。
圖5 | 抓握分類的通道重要性。在線使用的模型的顯著性圖(a),不包括通道112的高伽馬(HG)特征的模型(c),以及僅使用覆蓋皮層手結區域通道的HG特征的模型(e)分別顯示在(a)、(c)和(e)中。
結論
該研究通過對ALS患者的測試,展示了基于點擊探測的ECoG腦機接口在長期高性能使用中的可行性。與傳統的EEG腦機接口不同,ECoG技術的穩定性使得系統在不重新訓練的情況下實現了長期應用。這不僅降低了護理人員的負擔,也為ALS患者提供了獨立的文字交流手段,特別是在ALS晚期眼動控制能力下降的情況下,系統依然能夠通過抓握意圖實現點擊解碼,有效提高了患者的生活質量。
盡管實驗結果令人鼓舞,但受限于樣本數量較少,該結果的推廣性仍有待進一步驗證。未來的研究可在更大規模的臨床試驗中進一步評估該系統的效果,特別是不同ALS患者群體的適用性。除此之外,研究團隊還計劃改進模型架構,進一步提升系統對信號變化的適應性,并測試其在非實驗室環境中的性能,以推動該技術走向家庭使用場景。
僅用于學術分享,若侵權請留言,即時刪侵!
歡迎加入腦機接口社區交流群,
探討腦機接口領域話題,實時跟蹤腦機接口前沿。
加微信群:
添加微信:RoseBCI【備注:姓名+行業/專業】。
歡迎來稿
1.歡迎來稿。投稿咨詢,請聯系微信:RoseBCI
點擊投稿:
2.加入社區成為兼職創作者,請聯系微信:RoseBCI
一鍵三連「分享」、「點贊」和「在看」
不錯過每一條腦機前沿進展
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.