語言理解是人類認知能力中的核心功能，它涉及將連續的、變化的聲音信號轉換為可理解的語言信息。在這一過程中，大腦需要快速、準確地處理這些聲音信號，并在多個層次上生成抽象意義。然而，語音信號往往是模糊的且存在歧義，而人類卻能靈活應對這種模糊性，并迅速提取有意義的信息。

目前的研究已經表明，語言處理并不僅限于字面信息的分析，而是依賴于語境、背景知識等復雜的信息交互。然而，現有的大部分語言處理模型要么關注于低級的聲學信號識別，要么聚焦于較高層次的語言操作，尚未有一個計算框架能夠捕捉連續的聲學信號到抽象意義的轉換過程。因此，如何結合語境和背景知識，在線處理并解析語言中的多層次信息，仍然是一個尚未解決的難題。

本文提出了一種基于分層預測的語音理解模型，通過結合語言和非語言知識，在線提取多層次的信息。該模型通過生成自上而下的預測，并結合自下而上的傳入證據，來處理語音信號。非語言上下文的引入使得語義預測能夠幫助解析同一單詞的多個含義，降低理解中的歧義性。此外，本文展示了如何利用該模型中的明確知識層次來解釋神經生理信號的響應，并表明這種分層預測機制在實際處理中能有效減少不確定性和預測誤差

該模型通過生成自上而下的預測，融合傳入的自下而上證據，使得語音信號中的上下文和語義信息能夠得到更好地提取和解釋。分層預測在這種情況下不僅是一種推理過程，還作為一種動態利用結構化知識的策略，用于減少外圍處理負擔，最終實現在線語義提取的目的

研究方法

模型框架

為了探索人類大腦如何實時處理語音并提取多層次的語義信息，研究者們提出了一個基于分層預測的語音理解模型。該模型的核心思想是，語言處理并非完全依賴于自下而上的輸入信號，而是通過自上而下的預測機制，從更高級的語義、句法等層次向下傳遞預測，同時結合從聽覺輸入中獲得的低級信息。通過這樣的交替過程，模型能夠有效應對語音信號中的不確定性和模糊性。

模型分為五個層次：最高層是語義角色層，接下來是句法結構層、詞匯層、音節層和聲學信號層。每個層次都有相應的處理任務和傳遞信息的方式。自上而下的預測是由高層次的語義和句法知識驅動的，低層次的信號通過自下而上的方式反饋給上層，幫助校正預測結果，從而實現實時的語音理解。

圖1. 語音及其逆轉的生成模型。

表1 模型層次中的因素及其可能的值（狀態）

生成模型與反演

模型的核心是一種概率生成模型，它通過語言和非語言的上下文知識生成一個語義角色的序列，并且結合句法規則，將這些語義角色線性化為一系列引理（詞匯單位）。每個引理再通過音節生成底層的光譜-時間模式，最后生成連續的語音信號。生成模型的反轉過程模擬了大腦如何根據外部輸入進行理解，即通過將自上而下的預測與自下而上的信號相結合，推斷語音信號的實際意義。

研究者在模型的訓練和測試中引入了不同的語境情景，包括網球比賽和撲克游戲等，以測試模型對模糊性語義的處理能力。例如，當遇到“ace”這個詞時，模型需要判斷它是指網球中的“發球”還是撲克中的“王牌”，這取決于上下文的提示和預測機制的精度。

表2模型中所有可能的句子

語音刺激和實驗設計

為了測試模型的有效性，研究者設計了一系列語音刺激實驗。實驗中，句子的中間部分引入了語義模糊詞，而句子的后部分則有時提供消除歧義的線索，有時則保持歧義。實驗通過比較模型在不同語境下對這些句子的處理效果，評估它在處理語音信號模糊性和歧義方面的表現。

每個語音刺激由四個引理組成，每個引理有三個音節，每個音節的時長為200毫秒。這些音節被轉化為連續的聲學信號，并分為六個頻率通道進行處理。實驗的目標是觀察模型在面對不同語境和語義模糊時，如何通過逐層的預測和反向推理，逐步減少不確定性，最終得出正確的語義解釋。

數據分析與評估

為了評估模型的有效性，研究者使用了多種信息論度量指標，如Kullback-Leibler散度（KL散度）和熵等。這些度量指標幫助分析了模型在處理語音信號時信息變化的過程，特別是自上而下的預測如何影響自下而上的信息更新。通過這些度量，研究者可以定量評估模型在不同條件下的表現。

模型與神經生理學的對比

為了進一步驗證模型的生物合理性，研究者將該模型的輸出與已有的神經生理學研究結果進行了對比。這些研究使用了腦電圖（EEG）和腦磁圖（MEG）技術，記錄了受試者在處理類似語義模糊的語音刺激時的大腦反應。通過比較模型預測的信號與實驗中觀察到的腦電活動，研究者驗證了分層預測模型在解釋人類大腦處理語音的機制上具有一定的合理性。

研究結果分析

模型在語義模糊中的表現

實驗結果表明，該模型能夠有效處理語義模糊的語音信號，并在多層次上逐步減少不確定性。例如，在處理“ace”這個模棱兩可的詞匯時，模型通過結合上層的語義預測和下層的聲學信號，能夠準確判斷“ace”是指網球中的發球還是撲克中的王牌。這一過程體現了自上而下的預測如何通過整合上下文信息，快速消除語義歧義，從而實現高效的語音理解。

此外，研究發現，模型能夠在接收到更多信息時逐步修正早期的錯誤預測。例如，當模型初始根據語境預測“ace”可能是網球中的發球，但隨著句子繼續展開，并提供了更多與撲克相關的線索時，模型能夠靈活調整其預測，將“ace”重新解讀為撲克中的王牌。這說明模型不僅能夠處理靜態的語音輸入，還能動態地根據不斷變化的上下文做出調整，模擬了人類在自然語言理解中的靈活性。

圖2：對于所有模擬，上下文的相對先驗被設置為四個可能性{‘撲克游戲’, ‘網球比賽’, ‘夜間派對’, ‘賽車游戲’}的默認值1.5:1:1:1。（A）頂部面板：輸入句子A的聲學頻譜圖：“再贏一個王牌就贏得網球比賽”。垂直灰色線條標記了每個詞元的偏移量，在這一點上，從詞元層面向語義和上下文層面發送更新。

模型的多層次預測機制

通過分析模型的不同層次，研究者發現，較高層次的語義和句法預測能夠顯著減少低層次音節和聲學層次上的處理負擔。例如，當模型在高層次上已經預測某個詞匯的可能性時，低層次只需要對這些可能性進行進一步驗證，而不需要對所有可能的音節進行逐一處理。這一機制大大提高了處理效率，尤其是在語音信號不清晰或含有噪音時，模型仍能保持較好的性能。

這一現象也得到了信息論度量的支持。在高層次預測的指導下，模型在低層次的熵和KL散度顯著降低，表明其不確定性減少，處理過程更加高效。相反，當高層次預測無信息時，低層次的熵和散度顯著增加，處理時間和計算負擔明顯加大。

語義預測對低級信息傳遞的影響

研究表明，語義預測不僅僅影響詞匯和句法層面的處理，還對更低層次的音節和聲學信號的傳遞產生了影響。在面對模棱兩可的語義時，高層次的語義預測會對低層次的音節預測產生約束。例如，當模型預測一個特定的詞匯時，與該詞匯相關的音節序列會更早地被激活和確認，而不相關的音節則會被抑制。這種自上而下的預測機制大大提高了模型的處理效率，也與近年來的神經科學研究結果相吻合，即大腦的高層次認知過程能夠影響低層次的感知處理。

圖3. 語義狀態估計對詞元和音節狀態預測和更新的影響。

模型與GPT-2的對比

為了評估該分層預測模型與當前主流的深度學習模型（如GPT-2）的性能差異，研究者對比了兩者在處理語音理解任務中的表現。實驗表明，雖然GPT-2在一些語言生成任務中表現優異，但在處理語義模糊和歧義消解方面，GPT-2存在顯著的局限性。特別是在需要結合上下文信息和非語言知識進行復雜推理時，GPT-2往往無法給出準確的預測。而該分層預測模型則通過引入多層次的語義和上下文信息，能夠更準確地處理這類任務。

表3。例句輸入到MEG主題和GPT-2。

圖4. 語義屬性和GPT-2預測統計在腦磁圖對語音反應中的影響。（A）所有58個句子中模糊和不模糊目標的熵分布。（B）在模糊（左）或不模糊（右）目標詞之后，解決（藍色）和未解決（橙色）解決詞的驚訝值分布。（C）語義模糊性（左列）和GPT-2預測熵（右列）對目標偏移時腦磁圖聯合梯度計數據的影響的統計測試結果。

神經生理學的驗證

研究者通過對比該模型與人類大腦的神經反應，進一步驗證了模型的生物合理性。通過使用腦電圖和腦磁圖技術，研究發現，人類大腦在處理語義模糊時，確實表現出了類似于模型預測的層次性處理機制。特別是在面對模糊詞匯時，大腦的高層次認知區域會首先做出預測，而低層次的感知區域則會根據預測結果進行反饋和調整。這與模型中的分層預測機制高度一致，進一步支持了該模型的理論基礎。

結論與展望

該研究通過提出一個基于分層預測的語音理解模型，成功模擬了人類大腦在語音理解中的層次性處理機制。模型不僅能夠處理連續的語音信號，還能夠通過結合上下文信息和語義預測，動態地應對語義模糊和不確定性。通過這一研究，作者為理解人類語言處理的認知機制提供了一個新的視角，也為未來的自然語言處理模型設計提供了啟示。

然而，該模型仍有一些局限性。例如，模型主要關注的是語音理解的單向處理過程，即從輸入到理解，而沒有考慮語言生成和多方交流的互動過程。此外，模型中的上下文信息和世界知識仍較為簡化，未來可以進一步擴展模型，以更好地捕捉人類語言理解中的復雜性。

在未來的研究中，作者建議通過以下幾個方向進一步完善該模型：

1. 多模態融合：在實際的語音理解過程中，聽者不僅依賴聽覺輸入，還會結合視覺、觸覺等多模態信息。因此，將視覺信息（如說話者的口型運動）融入模型中，能夠進一步提高模型在復雜環境下的表現。

2. 語言生成與互動：目前的模型主要聚焦于語言理解，未來可以擴展到語言生成和多方互動的場景。通過結合生成模型，模擬聽者如何根據上下文生成語音輸出，并與他人進行互動，能夠更全面地捕捉人類語言處理的全貌。

3. 學習機制：當前模型的一個局限在于它的知識庫是固定的，未來可以引入機器學習機制，使模型能夠通過與環境的交互不斷學習和更新其內部知識。這將使模型更具靈活性和適應性。

4. 神經生理學驗證：進一步通過神經生理學實驗驗證模型的準確性，特別是探討模型中的層次性處理機制如何在不同的神經回路中實現，能夠為認知神經科學提供新的見解。

通過這些改進和擴展，研究者希望該模型能夠成為一個更全面、精確的語言理解工具，不僅為認知科學提供理論支持，也為自然語言處理技術的進步提供實踐指導。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展