許多癱瘓患者，特別是脊髓損傷患者，通過視頻游戲進(jìn)行社交和娛樂。然而，他們在獲得同伴支持、休閑活動和體育活動方面的需求仍未得到充分滿足。腦機(jī)接口（BCI）作為一種潛在的運(yùn)動恢復(fù)工具，逐漸被應(yīng)用于復(fù)雜的視頻游戲控制和社交網(wǎng)絡(luò)等領(lǐng)域。然而，現(xiàn)有研究大多集中于單一的控制效應(yīng)器系統(tǒng)。

斯坦福大學(xué)神經(jīng)外科的研究團(tuán)隊(duì)開發(fā)了一種基于手指的高性能腦機(jī)接口系統(tǒng)（iBCI），能夠獨(dú)立解碼三個(gè)手指組，提供四個(gè)自由度。此系統(tǒng)通過控制虛擬四旋翼飛行器，展示了其在運(yùn)動恢復(fù)和娛樂中的巨大潛力。該系統(tǒng)能夠幫助癱瘓個(gè)體體驗(yàn)恢復(fù)能力，并促進(jìn)他們的賦能感。相關(guān)研究成果已于2025年1月20日發(fā)表于《Nature Medicine》期刊。

閉環(huán)實(shí)時(shí)控制的二維和四維手指任務(wù)

此研究中，69歲的男性參與者‘T5’因C4 AIS C型脊髓損傷，上肢和下肢只剩下非功能性抽搐和微弱的運(yùn)動能力。研究人員對其植入了兩個(gè)96通道硅微電極陣列，記錄來自左側(cè)前腦回手“旋鈕 ”區(qū)域的神經(jīng)活動。研究使用Unity平臺展示了一只虛擬手（圖1a）。拇指被設(shè)計(jì)為沿著由屈伸軸和內(nèi)收軸定義的二維（2D）表面移動（圖 1b）。食指-中指和無名指-小指作為單獨(dú)的兩組，在屈伸軸限定的一維（1D）弧線上移動。

Fig1. a. 參與者使用虛擬手完成手指任務(wù)。b. 手指運(yùn)動描述。左圖：拇指在兩個(gè)維度（外展/內(nèi)收，彎曲/伸展）運(yùn)動；食指-中指和無名指-小指沿一維弧線運(yùn)動。右圖：三個(gè)手指組在四自由度任務(wù)中的典型目標(biāo)試驗(yàn)。c. 三手指組四自由度任務(wù)中典型解碼運(yùn)動軌跡。d. 二維拇指運(yùn)動示例。

為了執(zhí)行連續(xù)閉環(huán)解碼，研究人員采用了一種時(shí)間卷積的前饋神經(jīng)網(wǎng)絡(luò)，將尖峰帶功率（SBP）映射為控制虛擬手指的速度。神經(jīng)網(wǎng)絡(luò)的初始參數(shù)是在開環(huán)試驗(yàn)中訓(xùn)練的，然后在閉環(huán)訓(xùn)練中進(jìn)一步調(diào)整以提升解碼精度。

1.二維任務(wù)（2D任務(wù)）：T5需要將拇指和食指-中指組從中心位置移動到隨機(jī)目標(biāo)，隨后目標(biāo)被放回中心位置，且手指必須在目標(biāo)上保持 500 毫秒，要求在 10 秒內(nèi)完成試驗(yàn)。

2.四自由度任務(wù)（4D任務(wù)）：為進(jìn)一步增加任務(wù)復(fù)雜性，實(shí)驗(yàn)在二維任務(wù)運(yùn)動的基礎(chǔ)上增加食指-中指組和無名指-小指組的一維運(yùn)動。在每次試驗(yàn)中，隨機(jī)選擇兩個(gè)手指組作為新的目標(biāo)，而第三個(gè)手指組的目標(biāo)則保持在與上一次試驗(yàn)相同的位置，所有手指的運(yùn)動都被連續(xù)、同步地解碼和控制（圖1c,d）。

結(jié)果

研究人員比較了2D和4D解碼器在閉環(huán)解碼任務(wù)中的性能。（1）2D解碼器平均目標(biāo)獲取時(shí)間為1.33秒，目標(biāo)獲取率為88個(gè)目標(biāo)/分鐘，試驗(yàn)成功率為98.1%。（2）4D解碼器平均目標(biāo)獲取時(shí)間為1.98 秒，目標(biāo)獲取率為64 個(gè)目標(biāo)/分鐘，試驗(yàn)成功率為98.7%。4D解碼器初始階段獲取時(shí)間較長，隨后因參與者適應(yīng)而顯著降低，最終達(dá)到1.58秒，成功率提升至100%（圖1e）。此外，4D解碼器的吞吐量為2.60 比特/秒，優(yōu)于某些靈長類動物雙手指任務(wù)。

Fig1. e. 任務(wù)對比分析：對比二維和四維任務(wù)的關(guān)鍵指標(biāo)，包括獲取時(shí)間（Acq time）、目標(biāo)到達(dá)時(shí)間（T2T）、繞軌時(shí)間（Orb）、獲取率（Rate）、路徑長度效率（Path len eff）和成功率（Percent complete）。f. 手指單獨(dú)控制實(shí)驗(yàn)。

通過性能對比發(fā)現(xiàn)，4D解碼器和任務(wù)獲取時(shí)間較2D解碼器增加50%，這主要是由于4D對解碼準(zhǔn)確性要求的提高以及信號噪聲的干擾導(dǎo)致的。在4D任務(wù)中，未被提示手指的移動速度顯著慢于被提示手指的移動速度（圖 1f），這證明了手指的分辨能力。

神經(jīng)活動的維度

研究繼續(xù)探討了神經(jīng)活動維度與解碼自由度（DOF）之間的關(guān)系，特別是在2D與4D解碼任務(wù)中的表現(xiàn)差異。由于神經(jīng)活動和手指運(yùn)動之間可能存在非線性關(guān)系，神經(jīng)活動的維度可能隨著解碼自由度的增加呈現(xiàn)非線性變化。

結(jié)果發(fā)現(xiàn)，2D解碼器的平均神經(jīng)活動維度為2.4，而4D解碼器在每個(gè)試次增加一個(gè)目標(biāo)時(shí)平均神經(jīng)活動維度為3.1，每個(gè)試次增加2個(gè)目標(biāo)時(shí)為7.5（圖2a）。假設(shè)如果神經(jīng)活動的維度與解碼自由度呈線性變化，則4D解碼器的維度應(yīng)為2D解碼器的兩倍，即預(yù)期為4.8，但實(shí)際上4D解碼器的維度為7.5，比預(yù)期的4.8高出56%。這表明，組合手指運(yùn)動的維度大于單獨(dú)各個(gè)手指運(yùn)動維度的總和，提示某些神經(jīng)元可能同時(shí)編碼獨(dú)立或組合的運(yùn)動。

Fig2. a. 2D或4D解碼器進(jìn)行閉環(huán)解碼時(shí)神經(jīng)活動的維度。b. 2D解碼器在二維任務(wù)、4D解碼器在二維和四維任務(wù)的性能比較。c. 2D 解碼的食指-中指組速度示例。d. 四維解碼算法用于使用二維解碼器預(yù)測在線區(qū)塊中的手指速度，二維解碼算法用于使用四維解碼器預(yù)測在線速度。

DOF數(shù)量對解碼的影響

盡管解碼更多 DOF 時(shí)神經(jīng)活動的維度會增加，但解碼更多 DOF 是否會影響解碼較少 DOF 時(shí)神經(jīng)活動的表征尚不清楚。對此，研究人員探討在 2D 任務(wù)中解碼的 DOF（拇指和食指中段屈/伸）的神經(jīng)表征在 4D 任務(wù)中是否會發(fā)生變化。

結(jié)果發(fā)現(xiàn)，在4D任務(wù)上訓(xùn)練的解碼器在2D任務(wù)中性能表現(xiàn)保持穩(wěn)定，表明更多DOF的解碼訓(xùn)練不會顯著降低原有任務(wù)的性能（圖2b）。此外，通過4D解碼器預(yù)測2D任務(wù)解碼的速度，結(jié)果與2D解碼器在線解碼速度相似。這表明，即使解碼更多DOF，手指運(yùn)動的神經(jīng)表征在不同任務(wù)間仍然相似，與研究發(fā)現(xiàn)的運(yùn)動皮層內(nèi)神經(jīng)群同時(shí)表征多個(gè)DOF的現(xiàn)象一致。

解碼精度與通道數(shù)的關(guān)系

隨后，研究人員探討了BCI系統(tǒng)增加電極通道是否能提高解碼精度，提出并使用了方向性信噪比（dSNR）作為分析指標(biāo)。dSNR值在閉環(huán)試驗(yàn)的開始階段計(jì)算，涉及二指和三指解碼。并采用線性回歸方法訓(xùn)練從信號基線（SBP）到手指速度的映射。研究發(fā)現(xiàn)，dSNR值在2D和4D任務(wù)中未隨著通道數(shù)量增加而飽和（圖3c）。

由于dSNR指標(biāo)假定兩個(gè)手指組同時(shí)向各自目標(biāo)移動（而不是逐個(gè)移動），研究還采用了一個(gè)較簡單的4D任務(wù)，即每次試驗(yàn)僅提示一個(gè)手指運(yùn)動。結(jié)果發(fā)現(xiàn)，dSNR與通道數(shù)量的對數(shù)-對數(shù)關(guān)系擬合為線性；且決定系數(shù)在0.99到1.00之間；斜率在2D任務(wù)雙指運(yùn)動為0.34，4D任務(wù)雙指運(yùn)動為0.38，以及行為更簡單的4D任務(wù)單指運(yùn)動為0.43（圖3c）。

Fig3. a. 二維解碼器和任務(wù)的矢量化 dSNR 。b. 通過線性回歸預(yù)測的速度將神經(jīng)活動映射到手指速度，再結(jié)合手指的預(yù)期運(yùn)動來計(jì)算 dSNR。c. dSNR 與通道數(shù)的函數(shù)關(guān)系。

手指iBCI系統(tǒng)的轉(zhuǎn)化應(yīng)用

手指iBCI存在以下臨床應(yīng)用場景，如恢復(fù)機(jī)械臂的精細(xì)運(yùn)動控制、重啟本體肢體功能、擴(kuò)展二維光標(biāo)控制功能以及幫助殘障人士進(jìn)行視頻游戲控制。為了實(shí)現(xiàn)這一過程，研究人員將每個(gè)手指運(yùn)動都被映射到一個(gè)DOF，用于控制虛擬四旋翼飛行器（圖4a）。這與先前的飛行模擬器不同，手指位置直接映射到四旋翼飛行器的速度控制上，而不是在再訓(xùn)練過程中轉(zhuǎn)換到“四旋翼飛行器空間”。唯一針對特定任務(wù)的調(diào)整是，當(dāng)手指處于中立位置的 10%（總運(yùn)動范圍的 10%）范圍內(nèi)時(shí)，將低級速度調(diào)回中立位置。手指的位置在屏幕的左下方可見，屏幕上的注釋顯示了每個(gè)手指的中立位置和拇指運(yùn)動的主要方向（圖 4b）。

Fig4. a. 將手指位置映射到四旋翼飛行器速度。b. 四旋翼飛行器控制展示。c. 障礙賽中一個(gè)區(qū)塊的全飛行路徑示例。

用戶體驗(yàn)

在實(shí)驗(yàn)中，T5通過手指iBCI控制四旋翼飛行器展現(xiàn)出社交連接、能力提升和娛樂等積極體驗(yàn)。T5曾多次提到，通過BCI操控四旋翼飛行器是他受傷后最重要的個(gè)人目標(biāo)之一，因?yàn)檫@讓他感到自己可以突破身體限制。T5對此實(shí)驗(yàn)充滿熱情，經(jīng)常主動要求更多“飛行時(shí)間”。T5提供了豐富的用戶反饋，認(rèn)為訓(xùn)練過程“不枯燥”，隨機(jī)手指任務(wù)的訓(xùn)練更貼近實(shí)際操控；閉環(huán)控制中增加手指圖形顯示，初期過程依賴視覺提示，但隨后逐漸減少。T5將控制比作騎自行車或演奏樂器，強(qiáng)調(diào)操控的靈敏性和微調(diào)的重要性。此外，T5強(qiáng)調(diào)了控制個(gè)性化的重要性。手指控制需高度個(gè)性化，避免不同手指動作干擾，以保證操作精準(zhǔn)和飛行穩(wěn)定性。

此研究開發(fā)了一種新型的基于手指控制的iBCI系統(tǒng)，能夠?qū)θ齻€(gè)個(gè)性化手指組進(jìn)行連續(xù)控制。其中，拇指在二維空間內(nèi)可實(shí)現(xiàn)高性能的直觀控制。個(gè)體通過手指位置解碼操控?cái)?shù)字執(zhí)行器，能夠成功控制虛擬四旋翼飛行器，使其過程具有強(qiáng)烈的能力感和娛樂性。同時(shí)，與以往主要關(guān)注的二維光標(biāo)控制的BCI系統(tǒng)相比，此iBCI系統(tǒng)性能顯著提高。

癱瘓患者普遍渴望社交互動、休閑活動和體育運(yùn)動的參與，此BCI系統(tǒng)能夠提供重要的娛樂與社交價(jià)值。目前的192通道系統(tǒng)尚未達(dá)到技術(shù)瓶頸，未來，增加系統(tǒng)記錄通道數(shù)量有望提升解碼精度。

Reference：https://www.nature.com/articles/s41591-024-03341-8

翻譯整理：BrainGeek

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時(shí)刪侵！

歡迎加入腦機(jī)接口社區(qū)交流群，

探討腦機(jī)接口領(lǐng)域話題，實(shí)時(shí)跟蹤腦機(jī)接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業(yè)/專業(yè)】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯(lián)系微信：RoseBCI

點(diǎn)擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點(diǎn)贊」和「在看」

不錯(cuò)過每一條腦機(jī)前沿進(jìn)展