基于多尺度扩张注意力与自学习融合的多模态情绪识别:脑电与面部表情的协同解析

《Brain Sciences》:Self-Learning Multimodal Emotion Recognition Based on Multi-Scale Dilated Attention Xiuli Du and Luyao Zhu

【字体: 大 中 小 】 时间:2026年03月26日 来源:Brain Sciences 2.8

编辑推荐:

  本文针对单模态情绪识别鲁棒性不足及传统多模态融合策略僵化的问题,提出了一种结合多尺度扩张注意力卷积(MSDAC)与自学习权重决策层融合的创新框架。研究人员构建了并行处理面部表情与脑电(EEG)信号的双分支模型,其中MSDAC利用不同扩张率的卷积核有效捕捉面部动作单元(AUs)的非连续空间关联,而EEG分支则提取时-频-空三维特征。通过在FER2013、CK+及DEAP数据集上的验证,该模型在效价(valence)与唤醒度(arousal)分类上均取得了优于现有方法的准确率,证明了自适应融合机制在处理异构生理信号时的优越性,为智能医疗与人机交互提供了更可靠的情感计算范式。

  
在人类复杂的心理活动中,情绪如同无形的指挥家,调控着我们的感知、认知与行为反应。从日常的人机交互到关键的医疗护理,甚至是自动驾驶的安全预警,机器若能像人一样“读懂”情绪,将开启人工智能的新纪元。然而,现有的情绪识别技术往往面临两难:依赖面部表情等外在行为线索,虽易于采集却极易被主观伪装;而脑电(EEG)等神经生理信号虽客观真实,却常受限于低信噪比和个体差异。更棘手的是,单一模态的信息量有限,难以应对现实中千变万化的情感表达。虽然多模态融合被视为破局之道,但如何有效捕捉面部肌肉非连续性激活的特征,以及如何让模型根据当前情境动态调整不同模态(如EEG与面部表情)的信任权重,一直是困扰学界的难题。为此,一项发表在《Brain Sciences》的研究提出了一种创新解决方案,旨在通过自学习的多模态框架,让机器真正实现“察言观色”与“感同身受”的结合。
为了解决上述挑战,研究人员设计了一套精巧的多模态情绪识别模型。该研究首先构建了一个基于多尺度扩张注意力卷积(Multi-Scale Dilated Attention Convolution, MSDAC)的面部表情识别分支,专门针对面部动作单元(Action Units, AUs)分布不均且距离各异的特点,利用不同扩张率的卷积核扩大感受野,同时引入双分支注意力(Dual-Branch Attention, D-BA)模块聚焦于眼、嘴等关键情绪区域。与此同时,EEG信号处理分支则将原始脑电信号转化为包含时间、频率和空间信息的三维特征表示。最关键的是,研究团队摒弃了传统的固定权重拼接策略,设计了一种基于多头自注意力机制的自学习权重决策层融合模块,该模块以单模态的分类概率作为输入,动态学习EEG与面部表情在不同情绪状态下的贡献度,实现最优互补。
在技术路线上,本研究主要采用了以下关键方法:首先,利用公开数据集FER2013、CK+及DEAP进行模型训练与验证。针对面部表情,设计了包含三个并行分支的MSDAC网络,分别采用扩张率为1、2、3的3×3卷积核以捕获局部微表情细节至全局语义特征,并通过通道与空间双重注意力机制增强关键特征。针对EEG信号,将原始信号分段并进行带通滤波(θ [4–7 Hz]、α [8–13 Hz]、β [14–30 Hz]、γ [31+ Hz]),计算各频段下的微分熵(Differential Entropy, DE)特征,构建时-频-空三维特征图。最后,在决策层引入自学习权重融合机制,利用多头自注意力(Multi-Head Self-Attention)动态整合两个模态的输出概率分布。
3. 提出的方法
3.1. 基于多尺度扩张注意力卷积的面部表情情绪识别
研究人员设计了MSDAC网络以应对面部AUs的空间异质性。该网络通过三个并行卷积分支处理预处理后的面部图像,分别利用扩张率(dilation rate)为1、2、3的卷积核来捕捉不同尺度的AU信息。例如,扩张率1专注于眼部皱纹等局部微表情,而扩张率3则用于感知颧大肌与口轮匝肌等大尺度肌肉群的协同活动。随后,聚合特征图被送入双分支注意力(D-BA)模块,该模块结合通道注意力(通过全局平均池化和全连接层实现)与空间注意力(通过1×1卷积实现),显著增强了模型对情绪关键区域的响应,同时抑制背景冗余。实验证明,这种设计在不显著增加参数量的前提下,有效解决了传统卷积神经网络难以捕捉非连续面部特征的痛点。
3.2. 基于三维特征的脑电情绪识别
针对EEG信号,研究提出了一种高效的三维特征提取策略。原始EEG信号被切分为等长片段,并通过带通滤波器分解为θ、α、β和γ四个频带。随后计算每个频段内信号的微分熵(DE),其数学表达式为h(x) = -∫-∞∞f(x) log10f(x) dx,其中若x服从高斯分布N(μ, σi2),则DE可简化为h(x) = 1/(2√(2πσi2)) e-(x-μ)2/(2σi2)log10[1/(2√(2πσi2)) e-(x-μ)2/(2σi2)] dx。这些特征被重组为包含时间、频率和空间维度的三维结构,输入至后续的卷积网络中,充分保留了EEG信号的生理表征能力。
研究结果与结论
研究结果显示,该模型在多个基准数据集上均表现出卓越的性能。在单模态测试中,面部分析分支在FER2013、CK+及DEAP(效价/唤醒度)数据集上分别达到了74.1%、99.69%及98.05%/96.15%的平均准确率。而在完整的多模态融合框架下,模型在DEAP数据集上的效价(valence)和唤醒度(arousal)分类准确率分别提升至98.66%和97.49%。这一显著的性能提升验证了自学习融合策略的有效性。
讨论部分指出,本研究的核心贡献在于两个方面:一是提出的MSDAC网络,它通过多尺度扩张卷积和双分支注意力机制,成功克服了传统CNN在捕捉不连续面部动作单元(AUs)时的局限性,实现了从微观纹理到宏观结构的全方位特征提取;二是创新的决策层自学习融合机制,它超越了简单的加权或拼接,通过显式建模EEG与面部决策间的跨模态依赖关系,使模型能够根据不同情绪状态下各模态的置信度动态调整权重。这不仅解决了传统固定权重融合的僵化问题,也展示了结合抗伪装能力强、时间分辨率高的EEG信号与直观自然的面部表情信号在多模态情绪识别中的巨大潜力。这项工作为开发更鲁棒、更智能的情感计算系统奠定了坚实的理论与技术基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号