跨数据集脑电图情感识别的原生关系学习

《Biomedical Signal Processing and Control》:Native relation learning for cross-dataset EEG emotion recognition

【字体: 大 中 小 】 时间:2026年10月12日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   ## 摘要 脑电图(EEG)情绪识别在情感计算、脑-机接口和心理健康状态评估中被广泛应用。然而,当模型跨被试或跨数据集迁移时,其性能往往下降,因为EEG记录会随个体神经反应、诱发范式、采集设置和情绪标签定义而变化。公开的EEG情绪数据集在类别数量和标签获取方式上也不尽相同。

  

## 摘要

脑电图(EEG)情绪识别在情感计算、脑-机接口和心理健康状态评估中被广泛应用。然而,当模型跨被试或跨数据集迁移时,其性能往往下降,因为EEG记录会随个体神经反应、诱发范式、采集设置和情绪标签定义而变化。公开的EEG情绪数据集在类别数量和标签获取方式上也不尽相同。将这些数据集合并到单一输出空间可能简化训练过程,但也可能消除定义各目标数据集决策边界的固有类别关系。本研究提出了NativeRelation,一个用于跨数据集EEG情绪识别的固有关系学习框架。在多数据集联合预训练过程中,NativeRelation保留每个数据集各自的情绪标签空间,同时在数据集之间共享EEG编码器。数据集专属预测头、类别原型、固有关系几何约束以及被试级少样本适应被用于塑造冻结表示,使得模型能够从少量带标签的目标被试样本中读取结果。实验采用留一数据集交叉验证的被试独立协议,在五个公开EEG情绪数据集上进行了测试:SEED、SEED-IV、SEED-V、SEED-VII和DEAP。NativeRelation在五个目标数据集上分别达到了79.89%、55.74%、66.13%、48.42%和72.47%的准确率,宏平均准确率为64.53%。在评估的协议下,结果表明保留固有情绪关系有助于在异质标签空间下支持目标读取,并为EEG情绪识别提供了更具可追溯性的表示结构。

## 引言

情绪识别是情感计算和脑-机接口中的核心任务。与面部表情、语音和行为信号相比,EEG记录情绪处理过程中的神经电活动,具有高的时间分辨率。这些特性使EEG适合研究情感状态的生理相关指标。与此同时,EEG信号微弱、非平稳,且对脑结构、认知状态、记录设备、电极接触和刺激材料敏感。因此,在单一数据集或单一种子划分中的良好表现,并不意味着能够可靠地推广到新的被试群体、实验范式或采集协议。

跨数据集EEG情绪识别增加了这一难度。公开的DEAP [1]、SEED [2]、SEED-IV [3]、SEED-V [4]和SEED-VII [5]等数据集在被试数量、通道配置、刺激材料、标签来源和类别粒度上均存在差异。SEED系列主要使用视频诱发的离散情绪标签,但不同版本包含三、四、五或七类。DEAP使用音乐-视频刺激,从主观评分中导出二值标签。为进行受控比较,所有方法使用了相同的重采样、带通滤波、窗函数、标准通道投影、被试级支持/查询划分和评估指标。对于DEAP,我们构建了一个仅使用效价的二值任务:得分低于5的试验被标记为低效价,得分高于5的试验被标记为高效价,得分恰好为5的试验被排除为中性。每个纳入试验的窗口继承其试验级效价标签。支持集和查询集按被试划分,防止来自同一被试或试验的窗口同时出现在两个集合中。因此,跨数据集EEG情绪识别不仅是特征分布对齐问题,还涉及被试变异性以及标签空间结构的差异。

在多数据集联合预训练中,多个具有不同EEG布局和情绪类别结构的源数据集被用于学习可迁移的表示。在跨数据集评估期间,训练好的模型被应用于一个包含未见被试及其自身标签结构的新目标数据集。目标数据集不是任何源数据集的重复,因此模型必须在保留每个数据集内部情绪类别关系不被坍缩的前提下,学习相对稳定的EEG表示。图1总结了这一设置以及本研究全程采用的被试独立支持-查询评估。

现有的迁移学习和域自适应方法主要通过减少源域和目标域之间的统计差异来寻求域不变特征。在EEG情绪识别中,图模型已被用于表示通道和脑区之间的空间依赖关系 [6]。实例自适应图构建进一步允许图结构随个体EEG样本而变化 [7]。因果图推理被引入用于描述与情绪反应相关方向性依赖 [8]。卷积图注意力网络将空间图建模与时间EEG特征相结合 [9]。时空图Transformer模型通过联合建模图结构和序列信息扩展了这一研究方向 [10]。多源选择性图自适应也被用于在迁移过程中减少源被试的干扰 [11]。

基于注意力和Transformer的方法为建模时间、频谱和通道交互提供了另一条路径。当高维神经信号走向实际应用时,效率感知的Transformer设计也相关:自适应令牌融合在脑MRI中减少了计算需求同时保持诊断性能,尽管该工作不是EEG基线 [12]。时空对称Transformer被提出用于捕获时间跨度的结构化EEG依赖 [13]。多维EEG注意力模型沿多个特征轴使用注意力以改善情绪辨别 [14]。移位通道Transformer重新排列通道表示以捕获EEG情绪信号中的空间依赖 [15]。基于注意力的卷积Transformer网络将局部卷积提取与全局注意力相结合 [16]。混合注意力卷积-Transformer模型进一步强调了跨被试场景中的时间感知 [17]。基于ChannelMix的多视角融合将Transformer和卷积表示整合用于无监督域自适应 [18]。近期的表示学习研究还使用了自监督增强以改善鲁棒性 [19]。对比强化迁移学习明确考虑了个体差异 [20]。空间-时间注意力结合对比学习被用于改善自监督EEG情绪表示 [21]。结合TimesNet的多任务时间建模为学习EEG情绪特征提供了另一条自监督路径 [22]。这些方法减少了被试和数据集的偏移,但异质标签空间引入了额外的问题。情绪类别并非独立的数值标识符;它们的关系可能反映诱发语义、强度以及神经反应模式。如果训练仅强调全局域不变性,模型可能形成薄弱的目标数据集决策边界,尤其是在仅拥有少量带标签的目标被试样本用于读取训练时。

基于此,我们提出了NativeRelation,将跨数据集EEG情绪识别表述为带有固有情绪关系保留的表示学习。近期的研究考虑了多种迁移设置,包括自适应源联合域自适应 [23]。基于原型的域自适应在对称正定EEG表示上进行了探索 [24]。鲁棒统一域自适应提供了另一种减少跨被试不匹配的方法 [25]。连接性特征也被结合元迁移学习用于跨被试情绪识别 [26]。多源时空域自适应使用多个源域改善目标迁移 [27]。无源多源自适应在目标部署期间减少了对源数据的依赖 [28]。多源自选择联合域自适应在对齐之前选择有用的源 [29]。流形度量迁移学习在几何特征空间中建模跨被试差异 [30]。源标签自适应迁移解决了迁移期间的类别级不匹配 [31]。跨被试和跨会话学习 [32] 被研究用于改善采集条件间的鲁棒性。

域分离对抗学习在多个源中分离共享和私有组件 [33]。除基准准确率外,可解释AI向实际评估的转化还需要在现实的临床或部署约束下进行验证,如近期EEG以外的无创诊断AI工作所展示的 [34]。跨数据集Vision Transformer建模最近被用于考虑情绪敏感性多样性 [35]。大规模EEG预训练也与本问题相关:LaBraM从大型BCI数据中学习通用EEG表示 [36]。EEGPT提供了一个基于Transformer的预训练框架用于通用EEG表示学习 [37]。几何感知建模跨数据集学习拓扑无关的EEG表示 [38]。多数据集联合预训练进一步证明情绪EEG表示可以在异质数据集之间迁移 [39]。NativeRelation与这些方法的不同之处在于,它在每个数据集的固有标签空间内构建类别原型和关系几何,而不是将所有数据集强制映射到单一输出分类体系中。嵌入空间由类内紧凑性、类间边距、关系分散度和数据集内监督关系约束共同塑造。还引入了被试级支持-查询目标,使源训练类似于少样本目标读取协议。以此方式,该方法将信号分布差异与标签结构差异区分开来,并验证保留固有关系是否能改善五个公开数据集上跨数据集、被试独立的EEG情绪识别。

## 方法片段

### 数据预处理与输入表示

本研究使用五个公开EEG情绪数据集:SEED、SEED-IV、SEED-V、SEED-VII和DEAP。SEED系列数据集由视频刺激诱发,使用ESI NeuroScan系统以62通道、1000 Hz进行记录。SEED、SEED-IV、SEED-V和SEED-VII分别包含三、四、五和七类离散情绪类别,分别包含45、72、45和80个试验或视频。DEAP包含32名参与者观看40段音乐视频的EEG记录。其原始信号由...收集。

### 跨数据集评估协议

本研究采用留一数据集交叉验证协议来评估NativeRelation的跨数据集泛化能力。在每个折中,选择一个数据集作为目标数据集,其余数据集用于多数据集联合预训练。该协议比数据集内跨被试评估更为严格,因为目标数据集在预训练过程中完全未见,要求模型处理采集设备、通道布局、诱发范式、被试的变化...

### 跨数据集分类结果

比较仅限于差分熵特征基线和四个EEG预训练框架(LaBraM、EEGPT、MMM、mdJPT),因为这些是能够重现匹配的留一数据集交叉验证协议、冻结编码器和相同被试级支持/查询划分的设置。直接基于目标数据训练的浅层分类器在此协议下不具直接可比性,因此未列出。

NativeRelation分别达到了79.89%、55.74%、66.13%、48.42%和...

### 讨论

NativeRelation的主要特征是将标签结构差异视为跨数据集EEG情绪识别问题的组成部分,而非训练中需要消除的噪声。多数据集联合预训练提供了更广泛的EEG分布覆盖,但忽视情绪类别结构可能使编码器仅获得粗粒度的域不变特征,在目标少样本读取时形成薄弱的边界。数据集专属的固有预测头和固有关系几何...

## 结论

本研究提出了NativeRelation,一个用于跨数据集EEG情绪识别的固有关系学习框架。该方法在多数据集联合预训练过程中保留每个数据集的固有情绪类别结构,并利用原型关系几何与被试级少样本适应来改善冻结目标表示的可读性。在五个公开EEG情绪数据集上的实验表明,NativeRelation支持异质标签...

## CRediT作者贡献声明

曹振伟:撰写——初稿、软件、方法论、概念构思。陆勇华:撰写——审稿与编辑、监督、经费获取。邸心雨:撰写——审稿与编辑、验证、方法论。肖天星:撰写——审稿与编辑、验证、调查。周卫国:撰写——审稿与编辑、资源提供。

## 伦理声明

本研究使用已有的公开或授权的EEG情绪数据集,不涉及新的人类受试者数据收集。所有分析均基于原始数据集提供者发布的匿名化或去标识化数据进行。每个数据集的伦理批准和知情同意信息遵循原始数据集的出版物和发布文件。

## 资助

本工作得到了"太湖之光"科技项目(G20252009)、国家自然科学基金(51975293)和江苏省研究生研究实践创新计划(26CXJH0898)的资助。

## 利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

曹振伟 | 陆勇华 | 邸心雨 | 肖天星 | 周卫国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号