在世紀之初,一款名為《刀劍神域》的動漫橫空出世,其中所描述的可以完全沉浸的精神游戲世界吸引了無數玩家的興趣。
直至今日,雖然腦機接口的研發不單純為滿足對未來的幻想,也仍有為其能投入生活應用的研發者在努力。
游戲里所采用的頭盔,其對應的是非侵入式腦機接口,在目前大眾視野中了解更多,常以某些游戲主播頭戴的貼片式呈現出來。這種腦機接口的延遲較大,但好在不需要用戶對此產生依賴(也就是非綁定的)。
侵入式腦機接口,需要手術,以植入腦信號捕捉設備。現有的侵入式腦機大都與用戶本身強綁定,通常以輔助用戶進行某些生理性的任務,比如表達或者行動。
圖 1:腦機接口示意圖。(圖源:網絡)
在這類需要設備協助的特殊人群中,通常采用皮層內腦機接口(iBCI)與大腦直接連接以將運動意圖轉化為行動,從而提供恢復自主運動的途徑。
iBCI 使用植入的電極來記錄神經元群的活動,并使用解碼算法將記錄的活動轉換為外部設備的控制信號。近年來,iBCI 在一系列應用中取得了令人印象深刻的性能,包括控制擬人化的機械臂、刺激癱瘓的肌肉實現伸手和抓握,甚至快速解碼筆跡。
但 iBCI 仍有一個明顯的缺陷:它們對神經記錄不穩定性(這些不穩定性會導致隨時間變化的特定神經元監測發生變化)的正確率不足。這種缺陷歸因于多種現象,包括電極位置相對于周圍組織的移動、電極故障、細胞死亡以及對外來材料的生理反應。
如果沒有適當的補償,在生理反應中會產生非平穩輸入,這就意味著 iBCI 的使用必須定期中斷并重新校準,日常活動里會為使用者帶來額外的負擔。
為了解決這個問題,美國埃默里大學(Emory University)、喬治亞理工學院(Georgia Institute of Technology)等合作進行了一項研究,使用自動、無監督解碼器在不中斷iBCI 設備的情況下保持性能。該研究以「Stabilizing brain-computer interfaces through alignment of latent dynamics」為題,于 2025 年 5 月 19 日刊登于《Nature Communications》。
穩定 iBCI 解碼
通過適當重新校準神經元到流形的映射,而不改變流形到行為的映射,可以實現穩定的解碼。在這個想法的引導下,團隊設計了概念圖。
方法從一個監督訓練數據集開始,該數據集包含初始記錄會話中的神經活動和運動信息,稱之為 Day 0,可以用來表征流形和動力學,同時訓練一個解碼器將流形活動映射到行為,在后續的記錄時期,稱其為 Day K。
這里他們介紹了 Nonlinear Manifold Alignment with Dynamics (NoMAD),一個無監督 iBCI 解碼的平臺,它使用基于流形的 iBCI 解碼器,所學的動態模型可以用于幫助更新神經元到流形的映射,而無需了解受試者的行為。
NoMAD 的高層次目標是通過學習 Day K 數據到原始流形的映射來補償不穩定的記錄,從而令原始 Day 0 解碼器可用。與之前的方法不同,NoMAD 利用了神經活動的時間演變信息來幫助學習這種映射。
圖 2:多變量對齊與動態調整可以穩定神經活動的表示。(圖源:論文)
NoMAD 使用潛因子分析通過動力系統(LFADS)來模擬動力學,使用循環神經網絡(RNN “生成器”)接收推斷出的輸入序列來近似觀察到的神經群體下的動力學系統。
為了模擬 Day 0 監督訓練數據集,LFADS 架構中添加了兩項主要修改:輸入端添加了一個低維度讀入矩陣,旨在標準輸入到 RNNs 的維度;另新增一個讀出矩陣,從生成器的活動預測行為數據。
LFADS 架構經過訓練,再將其與 Day 0 解碼器的訓練分離,倘若再使用更簡單的一步線性解碼器與更復雜和容量更大的解碼架構,就能做到不影響學習到的流形或動力學。
圖 3: NoMAD 在等距任務中實現數月穩定的離線解碼。(圖源:論文)
為了在各種記錄條件下測量解碼穩定性,團隊在所有任務上測試了每種方法。這些解碼器在 Day 0 LFADS 生成器狀態上進行訓練,并獲得最高的中位數數據,于二十個任務中變異占比最少。
與這些先前的方法相比,NoMAD 在性能上取得了顯著提高,且幾乎沒有變異與失敗,并且在整整 3 個月窗口內幾乎沒有性能下降,這些現象均顯示:NoMAD 解碼的單次試驗力與測量力更為一致。
再接下來,團隊想確定是否可以將流形對齊方法(NoMAD)與回顧性解碼器重新校準方法(RTI)結合起來,并研究此種方式的穩定性。
圖 4:NoMAD 和 RTI 在閉環 iBCI 數據中的示例。(圖源:論文)
應用 NoMAD 與 RTI 結合,在所有測試方法中顯示出最高的解碼性能,這種組合也達成了更持久的穩定發揮。這些結果表明,可以在不影響性能和穩定性的前提下,將流形對齊和回顧性校準結合起來。這種組合的效果在測試會話中有所不同,需要進一步確定什么條件下效果達到最佳。
簡單的匯總
NoMAD,這是一種無監督流形對齊技術,它利用流形及其動態特性,在長時間跨度內實現穩定的解碼。在測試中,NoMAD 在等距任務中提高了 95 天內的解碼準確性和穩定性,在抓取任務中則在 38 天內實現了這一目標。
通過將神經活動的時間結構納入流形對齊過程,NoMAD 能夠實現更穩定的神經解碼,只需要更少的 iBCI 重新校準程序。若將 NoMAD 與回顧性解碼重新校準方法結合,短時間尺度的穩定性也可能得到改善。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.