失語癥患者很難將自己的想法轉(zhuǎn)化為文字，也很難理解有聲語言。

德克薩斯大學(xué)奧斯汀分校（Universityof Texas at Austin）的兩位研究人員展示了一種基于人工智能的工具，它可以將患者的想法轉(zhuǎn)化為連續(xù)的文字，而無需患者理解口語。而根據(jù)一個人獨特的大腦活動模式來訓(xùn)練該工具的過程只需要大約一個小時。

該團(tuán)隊在之前的研究中就創(chuàng)造了一個大腦解碼器，需要對人們聽音頻故事時的大腦活動進(jìn)行長時間的訓(xùn)練。最新的這項工作是基于之前的解碼工作進(jìn)一步的研究。這一最新進(jìn)展表明，通過進(jìn)一步改進(jìn)，腦機(jī)接口有可能改善失語癥患者的交流。

德克薩斯大學(xué)博士后研究員杰里-唐（Jerry Tang）說：“能夠利用語言和視覺訪問語義表征為神經(jīng)技術(shù)打開了一扇新的大門，特別是對于那些難以產(chǎn)生和理解語言的人來說。它為我們提供了一種無需任何語言理解能力就能創(chuàng)建基于語言的腦機(jī)接口的方法。”

在受試者S3觀看無聲短片《Sintel》（Blender Foundation;https://www.sintel.org）中的一個獨立片段時，記錄并解碼了單次試驗的BOLD fMRI反應(yīng)。每一幀畫面顯示的時間是它呈現(xiàn)給受試者的時間，每個解碼單詞顯示的時間是它的預(yù)測時間。資料來源：《當(dāng)代生物學(xué)》（2025 年）。DOI:10.1016/j.cub.2025.01.024

在早先的工作中，研究小組訓(xùn)練了一個系統(tǒng)，其中包括一個類似于 ChatGPT 所用的Transformer模型，用于將人的大腦活動轉(zhuǎn)化為連續(xù)的文本。由此產(chǎn)生的語義解碼器可以生成文本，無論一個人是在聽一個有聲故事，還是在想講一個故事，或是在看一個講故事的無聲視頻。但這也有局限性。

為了訓(xùn)練這種大腦解碼器，參與者必須一動不動地躺在fMRI掃描儀中約16個小時，同時聆聽播客，這對大多數(shù)人來說是不切實際的，而對有口語理解障礙的人來說是不太可能的。而且最初的大腦解碼器只對經(jīng)過訓(xùn)練的人有效。

跨參與者解碼

在這項最新研究中，研究小組開發(fā)出一種方法，只需在 fMRI 掃描儀上進(jìn)行一個小時的訓(xùn)練，就能讓現(xiàn)有大腦解碼器適應(yīng)新的人，同時觀看無聲短片，如皮克斯短片。研究人員開發(fā)了一種轉(zhuǎn)換器算法，它可以學(xué)習(xí)如何將新人的大腦活動映射到先前用于訓(xùn)練大腦解碼器的人的大腦活動上，從而以極少的時間對新人進(jìn)行類似的解碼。

在這項最新研究中，該團(tuán)隊已經(jīng)開發(fā)出一種方法，使現(xiàn)有的大腦解碼器適用于只需在功能磁共振成像掃描儀上訓(xùn)練一個小時的新人，同時觀看簡短的無聲視頻，比如皮克斯短片。研究人員開發(fā)了一種轉(zhuǎn)換算法，該算法學(xué)習(xí)如何將一個新人的大腦活動映射到之前用于訓(xùn)練大腦解碼器的人的大腦活動上，從而在一小部分時間內(nèi)對新人進(jìn)行類似的解碼。

觀看同一部默片的兩個人的大腦活動。UT Austin團(tuán)隊開發(fā)了一種轉(zhuǎn)換算法，可以將一個人的大腦活動（左）轉(zhuǎn)換為另一個人（右）的預(yù)測大腦活動，這是使他們的大腦解碼器適應(yīng)新對象的關(guān)鍵一步。圖片來源：Jerry Tang/德克薩斯大學(xué)奧斯汀分校

Huth說，這項工作揭示了我們大腦工作方式的深刻之處：我們的思想超越了語言。

計算機(jī)科學(xué)和神經(jīng)科學(xué)副教授、資深作者Huth說："這表明，當(dāng)你聽別人講故事時大腦中發(fā)生的事情與當(dāng)你觀看講故事的視頻時大腦中發(fā)生的事情有很大的重疊。

“我們的大腦將這兩種故事視為相同的。它還告訴我們，我們解碼的實際上并不是語言。它是一種高于語言水平的東西的表征，與輸入的形態(tài)無關(guān)。”

研究人員指出，就像他們最初的大腦解碼器一樣，他們改進(jìn)的系統(tǒng)只適用于愿意參與訓(xùn)練的合作參與者。如果接受解碼器訓(xùn)練的參與者后來表現(xiàn)出抵觸情緒——例如，通過思考其他想法——結(jié)果就無法使用。這減少了誤用的可能性。

跨參與者解碼性能

雖然最新的測試對象神經(jīng)系統(tǒng)健康，但研究人員也進(jìn)行了模擬失語癥患者腦損傷模式的分析，結(jié)果表明解碼器仍能將他們感知到的故事翻譯成連續(xù)的文本。這表明，這種方法最終可能適用于失語癥患者。

他們現(xiàn)在正與UT戴爾醫(yī)學(xué)院和穆迪傳媒學(xué)院研究失語癥的副教授瑪雅-亨利合作，測試他們改進(jìn)后的大腦解碼器是否適用于失語癥患者。

研究人員現(xiàn)在正與德克薩斯大學(xué)戴爾醫(yī)學(xué)院和穆迪傳播學(xué)院研究失語癥的副教授瑪雅·亨利（Maya Henry）合作，測試他們改進(jìn)的大腦解碼器是否適用于失語癥患者。

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時刪侵！

歡迎加入腦機(jī)接口社區(qū)交流群，

探討腦機(jī)接口領(lǐng)域話題，實時跟蹤腦機(jī)接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業(yè)/專業(yè)】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯(lián)系微信：RoseBCI

點擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機(jī)前沿進(jìn)展