腦-機(jī)接口（Brain-Computer Interface，BCI）用戶中樞神經(jīng)系統(tǒng)產(chǎn)生的腦信號(hào)模式與BCI范式和神經(jīng)編碼緊密相關(guān)。在BCI技術(shù)系統(tǒng)中，BCI范式與神經(jīng)編碼是BCI研發(fā)的關(guān)鍵和重要內(nèi)容之一。然而，迄今為止少有文獻(xiàn)闡述BCI范式的定義與設(shè)計(jì)原則，以及BCI神經(jīng)編碼的定義與建模原則。為此，本文詳細(xì)論述了這些內(nèi)容，并介紹了現(xiàn)有主要的BCI范式與神經(jīng)編碼。最后討論了BCI范式與神經(jīng)編碼面臨的挑戰(zhàn)及未來的研究方向，包括以用戶為中心設(shè)計(jì)和評(píng)價(jià)BCI范式與神經(jīng)編碼、變革傳統(tǒng)的BCI范式、突破現(xiàn)有的腦信號(hào)采集技術(shù)以及BCI技術(shù)與先進(jìn)的AI技術(shù)相結(jié)合提升腦信號(hào)解碼性能。可望本文為BCI范式與神經(jīng)編碼的創(chuàng)新研發(fā)提供啟發(fā)。

1.論文的亮點(diǎn)

1）該論文指出不少BCI研發(fā)者把BCI系統(tǒng)的研發(fā)歸結(jié)為一個(gè)純工程問題，強(qiáng)調(diào)在線腦-機(jī)接口（BCI）系統(tǒng)的研發(fā)，絕非僅僅是一個(gè)工程實(shí)現(xiàn)的挑戰(zhàn)。在線BCI系統(tǒng)的研發(fā)同樣，甚至更為關(guān)鍵地涉及到深刻的科學(xué)理論與原理問題。論文認(rèn)為BCI范式與神經(jīng)編碼是BCI的科學(xué)原理。

2）迄今為止，尚沒有文獻(xiàn)清晰且完整的給出BCI范式的定義，也沒有給出BCI范式的設(shè)計(jì)原則。該論文不僅清晰地定義了BCI范式，還提出了BCI范式設(shè)計(jì)所需要考慮的原則，明確了BCI范式設(shè)計(jì)和評(píng)估應(yīng)該以用戶為中心。

3）該論文明確給出了BCI神經(jīng)編碼的定義與建模原則。同時(shí)，闡明了BCI神經(jīng)編碼與BCI范式及神經(jīng)解碼的關(guān)系，以及BCI神經(jīng)編碼與腦神經(jīng)編碼及計(jì)算機(jī)信息編碼的關(guān)系。

4）迄今為止，現(xiàn)有幾種BCI范式與神經(jīng)編碼存在局限性，阻礙了BCI的轉(zhuǎn)化應(yīng)用，為此，BCI范式與神經(jīng)編碼的創(chuàng)新設(shè)計(jì)和完善是BCI系統(tǒng)研發(fā)的關(guān)鍵任務(wù)之一。該文提出以用戶為中心設(shè)計(jì)和評(píng)價(jià)BCI范式，需要變革傳統(tǒng)的BCI范式。

2.論文的精華內(nèi)容

2.1 BCI范式的定義

該論文指出，BCI范式是指在特定的腦成像技術(shù)下，由BCI研發(fā)者精心選擇/設(shè)計(jì)的一組特定的心理任務(wù)或外部刺激，用于表示受試者或用戶（后面統(tǒng)一為用戶）的意圖。BCI范式的目的是把用戶的意圖“寫入”腦信號(hào)中，即由腦信號(hào)表征或編碼（神經(jīng)編碼），期望所采用的腦成像技術(shù)能夠檢測(cè)到用戶意圖的神經(jīng)編碼，為后續(xù)“讀出”或解碼用戶的意圖打下基礎(chǔ)。值得注意的是，BCI難以解碼用戶任意/隨機(jī)的心理活動(dòng)，也難以解碼其接收的任意/隨機(jī)的外部刺激。

特定的心理任務(wù)是內(nèi)隱的心理活動(dòng)，如運(yùn)動(dòng)想象、視覺想象、言語想象、心算、推理等；特定的外部刺激是外顯的注意任務(wù)，如視覺刺激、聽覺刺激和觸覺刺激等。通過內(nèi)隱的心理活動(dòng)或外部刺激誘發(fā)特定的腦信號(hào)特征，這些特定的腦信號(hào)特征標(biāo)識(shí)了特定的心理任務(wù)和特定的刺激，為后續(xù)的BCI解碼提供依據(jù)。內(nèi)隱的心理活動(dòng)或外部刺激對(duì)應(yīng)特定的腦功能和腦活動(dòng)，特定的腦功能和腦活動(dòng)與特定的腦區(qū)和腦網(wǎng)絡(luò)/腦回路緊密相關(guān)。圖1示意了BCI范式與特定的腦功能和腦結(jié)構(gòu)關(guān)系。需要特別注意的是，通常在特定的腦成像技術(shù)下討論BCI范式，即BCI范式與特定的腦成像技術(shù)緊密相關(guān)。

圖1 BCI范式與特定的腦功能和腦結(jié)構(gòu)關(guān)系示意圖

2.2 BCI范式的設(shè)計(jì)原則

迄今為止，有若干BCI范式，如運(yùn)動(dòng)想象、SSVEP和P300范式等，這些范式各有優(yōu)缺點(diǎn)，有許多研究依然在完善這些范式。創(chuàng)新設(shè)計(jì)BCI范式是BCI 研發(fā)的關(guān)鍵和重要內(nèi)容之一，為了使設(shè)計(jì)的BCI范式能夠轉(zhuǎn)化為實(shí)際應(yīng)用，BCI范式設(shè)計(jì)原則的依據(jù)是以用戶為中心和BCI人因工程設(shè)計(jì)并評(píng)價(jià)BCI范式。該文提出的BCI范式設(shè)計(jì)原則如表1所示。

表1 BCI范式設(shè)計(jì)原則

2.3 BCI神經(jīng)編碼的定義

該論文指出，BCI神經(jīng)編碼是指在特定的BCI范式下，把用戶不同的意圖“寫入”或編碼進(jìn)中樞神經(jīng)信號(hào)中，由具有可分性的腦信號(hào)特征表征，這種具有編碼意圖的腦信號(hào)可由特定的腦成像技術(shù)檢測(cè)到，最后可由BCI神經(jīng)解碼算法識(shí)別用戶意圖。BCI神經(jīng)編碼過程如圖2所示。

圖2 BCI神經(jīng)編碼過程示意圖

2.4 BCI神經(jīng)編碼的建模原則

BCI神經(jīng)編碼的建模需要考慮特定的BCI范式、腦神經(jīng)編碼機(jī)制、不同腦成像技術(shù)采集的神經(jīng)信號(hào)特征和高效解碼用戶意圖，如表2所示。

表2 BCI神經(jīng)編碼的建模原則

2.5 BCI神經(jīng)編碼與BCI范式及神經(jīng)解碼的關(guān)系

通常先設(shè)計(jì)BCI范式，然后揭示BCI范式下的神經(jīng)編碼，接著由神經(jīng)編碼規(guī)律提取腦信號(hào)特征，最后進(jìn)行神經(jīng)解碼。顯然，BCI范式與其神經(jīng)編碼是BCI解碼的基礎(chǔ)或前提。需要強(qiáng)調(diào)的是，在BCI系統(tǒng)中，沒有BCI范式就沒有相應(yīng)的神經(jīng)編碼，沒有BCI神經(jīng)編碼就沒有神經(jīng)解碼，或者沒有良好的BCI范式和神經(jīng)編碼就沒有高性能的神經(jīng)解碼性能。圖3示意了BCI神經(jīng)編碼與BCI范式及神經(jīng)解碼的關(guān)系。

圖3 BCI神經(jīng)編碼與BCI范式及神經(jīng)解碼的關(guān)系示意圖

2.6 BCI神經(jīng)編碼與腦神經(jīng)編碼及計(jì)算機(jī)信息編碼的關(guān)系

在該論文中，強(qiáng)調(diào)腦神經(jīng)編碼是BCI神經(jīng)編碼的基礎(chǔ)，其表征外部刺激和心理任務(wù)與特定神經(jīng)元或神經(jīng)元群響應(yīng)之間的假設(shè)關(guān)系以及神經(jīng)元群中神經(jīng)元的電活動(dòng)之間的關(guān)系。根據(jù)感覺和其他信息在大腦中由神經(jīng)元網(wǎng)絡(luò)表示的理論，人們認(rèn)為神經(jīng)元可以對(duì)數(shù)字和模擬信息進(jìn)行編碼。計(jì)算機(jī)信息編碼是信息從一種形式或格式轉(zhuǎn)換為另一種形式的過程，可以用來表示事物的關(guān)系，它可以用數(shù)字、字母、特殊的符號(hào)或它們之間的組合來表示，將數(shù)據(jù)轉(zhuǎn)換為代碼或編碼字符，并能譯為原數(shù)據(jù)形式。圖4示意了腦神經(jīng)編碼與BCI神經(jīng)編碼及計(jì)算機(jī)信息編碼的關(guān)系。

圖4 BCI神經(jīng)編碼與腦神經(jīng)編碼及計(jì)算機(jī)信息編碼的關(guān)系示意圖

在該論文中，受圖4中腦神經(jīng)編碼模型的啟發(fā)，總結(jié)了BCI神經(jīng)編碼模型，如表3所示，這些BCI神經(jīng)編碼最終將轉(zhuǎn)化為計(jì)算機(jī)信息編碼，由計(jì)算機(jī)處理。

表3 BCI神經(jīng)編碼模型

2.7 BCI范式與神經(jīng)編碼面臨的挑戰(zhàn)及未來的研究方向

迄今為止，現(xiàn)有幾種BCI范式與神經(jīng)編碼存在局限性，阻礙了BCI的轉(zhuǎn)化應(yīng)用，為此，BCI范式與神經(jīng)編碼的創(chuàng)新設(shè)計(jì)和完善是BCI系統(tǒng)研發(fā)的關(guān)鍵任務(wù)之一。需要以用戶為中心設(shè)計(jì)和評(píng)價(jià)BCI范式與神經(jīng)編碼、需要變革傳統(tǒng)的BCI范式、突破現(xiàn)有的腦信號(hào)采集技術(shù)、以及BCI技術(shù)與先進(jìn)的AI技術(shù)相結(jié)合提升腦信號(hào)解碼性能。

1）以用戶為中心設(shè)計(jì)和評(píng)價(jià)BCI范式與神經(jīng)編碼

BCI的最終使用者是用戶，同時(shí)用戶本身是驅(qū)動(dòng)BCI的信號(hào)源（中樞神經(jīng)系統(tǒng)）。用戶是BCI系統(tǒng)必不可少的最復(fù)雜、最活躍、高度自適應(yīng)的子系統(tǒng)。因此，BCI系統(tǒng)是最典型的人在環(huán)路的系統(tǒng)（人腦與機(jī)器直接相連或耦合，是腦機(jī)直接交互的閉環(huán)系統(tǒng)），BCI范式與編碼的設(shè)計(jì)和評(píng)價(jià)（可用性和滿意度）需要以用戶為中心，考慮BCI人因工程。

BCI范式及神經(jīng)編碼與用戶的感知覺、表象、注意、認(rèn)知或思維等心理活動(dòng)或任務(wù)的神經(jīng)機(jī)制緊密相關(guān)。BCI系統(tǒng)的性能（有效性和效率等）與用戶的心理活動(dòng)緊密相關(guān)，如運(yùn)動(dòng)想象BCI系統(tǒng)的性能在很大程度上取決于用戶執(zhí)行運(yùn)動(dòng)想象的效果或能力。

值得注意的是，為評(píng)價(jià)2.2節(jié)提出的BCI范式設(shè)計(jì)的第一個(gè)原則“BCI范式任務(wù)誘發(fā)的中樞神經(jīng)信號(hào)應(yīng)具有較好的可分性”，任何創(chuàng)新設(shè)計(jì)的BCI范式與神經(jīng)編碼模型，通常需要離線數(shù)據(jù)分析并建立模型，最終必須通過在線BCI系統(tǒng)的神經(jīng)解碼驗(yàn)證和評(píng)價(jià)。

2）變革傳統(tǒng)的BCI范式

從通信原理與技術(shù)角度看，BCI范式類似于一種編碼協(xié)議，即通過特定的外部刺激或心理任務(wù)將大腦意圖編碼到神經(jīng)活動(dòng)產(chǎn)生的信號(hào)中。

迄今為止，BCI研發(fā)已有50余年，然而現(xiàn)有BCI范式局限性較大，轉(zhuǎn)化面臨極大的挑戰(zhàn)，需要大幅改進(jìn)、甚至變革或突破傳統(tǒng)經(jīng)典的BCI范式（如SSVEP-BCI、P300-BCI、MI-BCI等），增加新的更自然更有效交互的BCI范式。最近幾年，BCI范式的創(chuàng)新取得了許多重要進(jìn)展。

（1）言語BCI范式

言語是人類主要的交流方式，言語BCI范式是一種比較自然的BCI范式。言語BCI具有解碼試圖言語引發(fā)的神經(jīng)活動(dòng)為文本或聲音的潛力，從而有望為癱瘓患者恢復(fù)快速的交流。

（2）手寫想象輸入文本BCI范式

到目前為止，BCI研究的一個(gè)主要重點(diǎn)是恢復(fù)粗大肢體的運(yùn)動(dòng)技能，例如伸手和抓握或用計(jì)算機(jī)光標(biāo)點(diǎn)擊打字。Francis R. Willett等人研發(fā)了一種皮層內(nèi)腦機(jī)接口，通過運(yùn)動(dòng)皮層手結(jié)區(qū)的神經(jīng)活動(dòng)解碼嘗試的手寫動(dòng)作，并采用遞歸神經(jīng)網(wǎng)絡(luò)解碼方法將運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)實(shí)時(shí)翻譯成文本。

3.結(jié)束語

該論文認(rèn)為，在BCI技術(shù)系統(tǒng)中，BCI范式與神經(jīng)編碼是BCI研發(fā)的關(guān)鍵和重要內(nèi)容之一。本文較為系統(tǒng)明確地給出了BCI范式的定義和7條設(shè)計(jì)原則，以及BCI神經(jīng)編碼的定義與編碼模型，包括BCI頻率/速率編碼、時(shí)間編碼、相位編碼、皮質(zhì)內(nèi)神經(jīng)元群體編碼、相關(guān)性編碼、稀疏編碼以及混合編碼模型。介紹了現(xiàn)有主要的BCI范式與神經(jīng)編碼，包括皮質(zhì)內(nèi)LFP-BCI、ECoG-BCI、fNIRS-BCI、fMRI-BCI、MEG-BCI、EEG-BCI以及混合BCI的范式與神經(jīng)編碼。最后討論了以用戶為中心設(shè)計(jì)和評(píng)價(jià)BCI范式與神經(jīng)編碼、變革傳統(tǒng)的BCI范式、突破現(xiàn)有的腦信號(hào)采集技術(shù)和BCI技術(shù)與先進(jìn)的AI技術(shù)相結(jié)合提升腦信號(hào)解碼性能。可望本文為BCI范式與神經(jīng)編碼的創(chuàng)新研發(fā)提供啟發(fā)。

4.評(píng)論專家簡介

楊幫華:上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院、醫(yī)學(xué)院雙聘教授，博士生導(dǎo)師，腦機(jī)工程研究中心主任，上海市五一勞動(dòng)獎(jiǎng)?wù)芦@得者，上海市三八紅旗手，省部級(jí)人才。從事腦機(jī)接口及其工程應(yīng)用研究20多年，主要研究運(yùn)動(dòng)想象腦機(jī)接口、神經(jīng)信號(hào)智能解碼技術(shù)、虛擬現(xiàn)實(shí)（VR）/增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)、腦機(jī)接口結(jié)合VR/AR 在醫(yī)療領(lǐng)域工程應(yīng)用。主持科技部國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目1項(xiàng)、國家自然科學(xué)基金項(xiàng)目和其他國家級(jí)項(xiàng)目 10 多項(xiàng)；擔(dān)任腦機(jī)接口領(lǐng)域期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》副主編，在國內(nèi)外知名期刊發(fā)表學(xué)術(shù)論文 130 余篇，授權(quán)專利 10 余項(xiàng)，相關(guān)研究得到 CCTV-1、CCTV-9、CCTV-17等權(quán)威媒體專訪報(bào)道。

所評(píng)論文來源：Tai, P., Ding, P., Wang, F., Gong, A., Li, T., Zhao, L., ... & Fu, Y. (2024). Brain-computer interface paradigms and neural coding. Frontiers in Neuroscience, 17, 1345961. doi: 10.3389/fnins.2023.1345961

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！

歡迎加入腦機(jī)接口社區(qū)交流群，

探討腦機(jī)接口領(lǐng)域話題，實(shí)時(shí)跟蹤腦機(jī)接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業(yè)/專業(yè)】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請(qǐng)聯(lián)系微信：RoseBCI

點(diǎn)擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請(qǐng)聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點(diǎn)贊」和「在看」

不錯(cuò)過每一條腦機(jī)前沿進(jìn)展