發掘由情緒活動引發的腦電模式變化對提升人機交互中機器自主化水平具有重要意義，尤其是在涉及多重認知變量的動態操控任務中。2025年4月，國際期刊《IEEE Transactions on Affective Computing》（中科院1區，五年影響因子11）發表了一篇題為“Identifying Stable EEG Patterns in Manipulation Task for Negative Emotion Recognition”的研究論文。這項研究由天津（濱海）人工智能創新中心印二威研究員領銜的智能人機交互團隊完成，謝良副研究員為該論文的共同通訊作者，博士生裴育為論文第一作者，趙少楷助理研究員為論文共同第一作者。

傳統基于視頻誘發的情緒數據集包含的認知變量單一。參與者通常僅觀看情緒刺激，而無需執行額外的認知任務，這降低了所收集情緒數據的實際適用性。為克服此問題，該研究設計了一種融合決策過程與動作執行的實時操控范式，構建了更貼合實際操控作業場景的負面情緒腦電數據集（Continuous-Rated Emotion Dataset，CRED）。同時結合傳統統計分析與先進的深度學習方法，系統性地探討了操控任務中負面情緒的腦電特征，深入揭示了悲傷、恐懼、憤怒和厭惡等情緒在神經層面的差異性模式。

論文下載地址[https://ieeexplore.ieee.org/abstract/document/10925902]。

CRED數據集已在Hugging Face[https://huggingface.co/datasets/peiyu999/CRED]平臺公開發布。

相關代碼即將集成至MetaBCI框架中[https://github.com/TBC-TJU/MetaBCI]。

01

研究背景

情緒識別，尤其是負面情緒識別，在電子健康、心理診斷等領域有廣泛應用。但在現實場景中，情緒與其他認知變量（如決策和行動）緊密耦合，導致識別負面情緒（如憤怒、厭惡、恐懼、悲傷）變得困難。傳統基于視頻的情緒誘發方法未能充分考慮人機協同過程中的認知變量。因此，設計融合關鍵認知變量的情緒誘發實驗尤為迫切。該研究利用基于操縱桿的實時情緒強度評分法，促使決策和行動等認知功能腦區激活，構建了一個更貼近操控作業場景的多模態生理情緒數據集—CRED。基于該數據集，該研究以方差分析法和先進深度學習模型，研究了負面情緒的穩定腦電模式，發現了枕葉在負面情緒區分中起關鍵作用，且不同負面情緒的關鍵頻段各異。

02

研究概述

實驗范式

CRED數據集示意圖。（a）每名受試者需參與兩個實驗模塊：一個是僅被動觀看情緒刺激的模塊(W-block)，另一個是實時情緒標注模塊(R-block)。這兩個模塊的順序是隨機分配的。(b)每個實驗模塊包含25個試次，情緒視頻的呈現順序是隨機的。實驗過程中記錄參與者的腦電信號、實時情緒標簽(僅在R-block中記錄)以及其他相關數據。

為了在情緒誘導過程中增強認知變量的多樣性，該研究構建了一個名為連續評分情緒數據集（CRED）的新數據集，該數據集引入了基于操縱桿的實時情緒強度標注。參與者不僅需要專注觀看刺激，還需要通過決定何時調整操縱桿并實際執行操作，持續評分其情緒強度。該設計在情緒誘導過程中引入了兩個關鍵的認知要素——決策和運動控制。CRED由24名參與者組成（平均年齡25±1.85歲），涵蓋五種情緒類別：四種負性情緒（憤怒、恐懼、厭惡、悲傷）和一種中性狀態。該數據集包含多模態數據（腦電信號為主要研究對象）、行為反應和實時情緒標注，為在復雜認知條件下研究負性情緒模式提供了堅實的基礎。

雙分支Transformer（DBT）設計

雙分支Transformer（DBT）設計的核心目的是在提升負面情緒識別性能的同時增強特征的可解釋性。DBT源自視覺Transformer（ViT），并針對腦電信號的特點進行了優化，以有效處理腦電信號的時空-頻率表示。通過空間切片和頻譜切片策略，DBT不僅加強了對腦電信號中空間和頻率信息的學習，還引入了基于梯度的歸因分析方法，幫助識別情感激活的具體模式。基于梯度的歸因分析能夠揭示模型在情緒識別過程中關注的關鍵電極和頻率成分，進一步深入理解腦電信號中的情緒模式。DBT的創新在于電極切片技術和頻域切片技術，使Transformer網絡在處理腦電信號時更加高效，從而在提高情緒識別性能的同時，更準確地揭示情緒的空間-頻率特征。這些設計思想和技術的結合，顯著提升了模型在負面情緒識別中的可靠性與準確性，同時為情緒模式的探索提供了更深層次的理解。

負性情緒腦電模式分析

結合DBT的歸因分析與方差分析，負性情緒腦電模式如下圖所示。

(a)該研究使用的腦電電極位置。(b)總體方差分析獲得的情緒模式。

通過方差分析獲得的情緒模式。(a)W-block的結果。(b)R-block的結果。

基于梯度的歸因法分析結果。

03

結論

該研究在復雜認知背景下探討了腦電圖中穩定的負面情緒模式。為融入更多認知因素，該研究提出了一種融合決策過程與動作執行的實時操控范式范式，將實時情緒標注與被動情緒刺激相結合，創建了一個名為CRED的新數據集。通過引入一種改進的Transformer模型—DBT，利用空間和頻譜切片方法在CRED數據集中捕捉穩定的負面情緒模式。在實時標注與被動觀看刺激之間，該研究觀察到了負面情緒模式的跨被試一致性。通過空間和頻譜切片，DBT在負面情緒識別中表現出了競爭力的準確性：在CRED數據集上的準確率為42.183%，在SEED數據集上的準確率為83.438%，在SEED-V數據集上的準確率為72.831%，并且在跨受試者驗證中也表現出色。基于梯度的解釋分析揭示了枕葉在負面情緒分類中的關鍵作用。綜上所述，該研究結果證實了在引入額外認知變量的情況下，情緒腦電模式的穩定性。

僅用于學術分享，若侵權請留言，即時刪侵！

歡迎加入腦機接口社區交流群，

探討腦機接口領域話題，實時跟蹤腦機接口前沿。

加微信群：

添加微信:RoseBCI【備注：姓名+行業/專業】。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯系微信：RoseBCI

點擊投稿：

2.加入社區成為兼職創作者，請聯系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展