一种基于分层门控残差与感受野注意力机制的外周生理信号情绪识别方法
《Engineering Applications of Artificial Intelligence》:An emotion recognition approach using peripheral physiological signals based on hierarchical gated residuals and receptive field attention
【字体:
大
中
小
】
时间:2025年12月26日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
余永辉|徐洪吉|徐志凯|段玉鹏|王仁卓|郑浩|李逸然|徐一鹏中国山东省青岛市山东大学信息科学与工程学院,266237摘要基于外周生理信号的情绪识别领域因人工智能的分析能力及其广泛应用而备受关注。然而,现有许多情绪识别网络面临的一个共同挑战在于如何有效地从外周生理信号中提取并整合特
余永辉|徐洪吉|徐志凯|段玉鹏|王仁卓|郑浩|李逸然|徐一鹏中国山东省青岛市山东大学信息科学与工程学院,266237摘要基于外周生理信号的情绪识别领域因人工智能的分析能力及其广泛应用而备受关注。然而,现有许多情绪识别网络面临的一个共同挑战在于如何有效地从外周生理信号中提取并整合特征。有些网络仅依赖单通道特征,而另一些则在多通道特征的融合方面存在困难,往往导致识别精度不佳。此外,目前缺乏基于外周生理信号的公共情绪识别数据集,现有的数据集大多以脑电图信号为主,这仍然是一个障碍。为解决上述问题,本文提出了分层门控残差与感受野注意力融合网络。该网络通过多个多分支分层残差融合卷积层以及多尺度扩张卷积层来提升特征提取与融合的效果。同时,为了弥补基于外周生理信号的公共数据集的不足,本文还构建了I+Lab情绪数据集。在公共的K-EmoCon、DEAP数据集以及自建的ILEmo数据集上进行了实验,以评估该网络的性能。通过采用情感价值-唤醒度模型进行验证,该网络在K-EmoCon数据集上的准确率分别为91.15%(愉悦度)/93.03%(唤醒度),在DEAP数据集上的准确率为81.44%(愉悦度)/82.07%(唤醒度)。在ILEmo数据集上,使用离散情绪模型时,该网络的准确率为91.25%。此外,还对各种外周生理信号及其组合进行了评估,证明了融合多通道外周生理信号的优势,以及它们在情绪识别中的互补作用和贡献。引言情绪识别是情感计算领域的核心,情感计算致力于开发能够智能感知人类情绪的技术。在人工智能发展的推动下,情绪识别着眼于开发能够感知、识别和解读人类情绪的算法或系统。情绪识别在医疗监测、健康护理以及智能家居等诸多领域都有广泛的应用(Nag等人,2025年)。尤其是在教育领域,情绪识别能够帮助教师根据学生的情绪状态调整教学方法(Xu等人,2025年)。近年来,人们通过视频、音频和生理信号等多种数据源对情绪识别进行了大量研究。基于视频的情绪识别依靠面部表情、姿势和眼动等特征来检测情绪(Liu等人,2025年)。不过,这种方法易受环境因素影响,存在隐私问题,且需要大量的计算资源。基于音频的情绪识别则通过音调、音量、语速和停顿等特征来分类情绪(Du等人,2025年)。但该方法容易受到背景噪声的影响,存在语言依赖性,且对情绪的表征能力有限。相比之下,基于生理信号的情绪识别避免了视频和音频方法的这些局限性,不仅解决了隐私问题,而且受环境因素的影响较小。此外,生理信号能够直接反映自主神经系统的活动,从而客观地表现情绪(Yang等人,2024年)。常见的生理信号包括脑电图、心率、皮肤电反应、体温、皮肤电导反应、肌电图、眼电图和脉搏波图。除脑电图外,其他信号通常被归类为外周生理信号。传统上,外周生理信号主要用于临床诊断和症状监测(Rodrigues等人,2020年)。不过,现有研究表明,外周生理信号也能反映人类的情绪状态(Ma等人,2025年)。虽然脑电图在情绪识别中具有较高的准确性(Wang等人,2025年),但由于需要佩戴昂贵的设备,其应用范围受到限制。而外周生理信号可以通过可穿戴设备方便地采集,从而提供丰富且连续的数据来源。因此,基于外周生理信号的情绪识别为相关研究和应用提供了良好的发展前景。本文以脉搏波图、皮肤电导反应、心率和体温作为情绪识别的数据源。脉搏波图可以测量血液容积的变化,进而反映脉搏波的变动情况,为获取血流动力学信息提供依据。它与高唤醒度的情绪状态密切相关,还能反映压力水平(Paul等人,2024年)。皮肤电导反应通过测量皮肤电导的变化来反映交感神经的活动,而这些变化又受情绪和心情状态的影响(Canento等人,2011年)。心率是指单位时间内的心跳次数,常被用来评估情绪和压力水平(Goshvarpour等人,2017年)。体温则反映核心皮肤温度,情绪波动会导致体温出现微小变化,为情绪识别提供额外的线索(Kreibig,2010年)。最近的研究还表明,通过对心率动态进行统计建模,可以发现与压力、物质使用等行为状态相关的细微生理模式(Howell和Hamilton,2022年)。这些研究结果进一步证明了外周生理信号作为情绪识别有效数据模态的重要性。基于外周生理信号的情绪识别属于多变量时间序列分类任务。深度学习在这一领域展现出了巨大潜力,它能够自动学习相关特征,通常在情绪识别任务中的性能优于传统机器学习方法(Garg等人,2023年;Can等人,2023年)。近年来,人们越来越重视利用卷积神经网络对外周生理信号进行特征提取(Kang和Kim,2022年;Alhussein等人,2023年)。此外,循环神经网络由于具备捕捉长期依赖关系的能力,也能够在从外周生理信号中提取时间特征方面发挥重要作用(Zitouni等人,2021年;Song等人,2019年)。尽管借助深度学习,基于外周生理信号的情绪识别技术已经取得了一定的进展,但仍面临诸多挑战。首先,现有的网络在利用外周生理信号方面存在不足,有些网络仅依赖单通道特征(Lee等人,2019年),而另一些则难以实现多通道特征的整合与高效融合(Yin等人,2017年)。其次,由于架构过于简单,许多现有网络的特征提取能力有限(Bota等人,2019年),这不仅影响了情绪识别的效果,也限制了其应用范围。另外,基于生理信号的公共情绪识别数据集十分稀缺,且大多以脑电图为主,这也阻碍了基于外周生理信号的情绪识别技术的广泛应用。为解决这些问题,本文提出了一种名为分层门控残差与感受野注意力融合的网络。与现有的情绪识别网络相比,该网络能够在不同深度和尺度上提取特征,并实现高效的特征融合。它专为基于外周生理信号的情绪识别而设计,为那些无法使用脑电图或多模态数据的场景提供了有效的解决方案。本文的主要贡献如下:(1)为了解决特征融合效率低的问题,本文提出了HGR-RFAF网络,该网络包含多个MB-HRFC层、一个MS-DC层以及一个输出层。通过采用多路径感受野和多尺度扩张卷积,该网络提升了外周生理信号的表达能力和整合效果。(2)为了解决特征提取不足的问题,本文提出了多深度残差门控融合模块和多粒度扩张感知分支组。多深度残差门控融合模块采用多路径结构实现多深度特征提取,并通过门控机制增强序列依赖性。多粒度扩张感知分支组则利用多尺度扩张卷积结构来提取不同尺度的特征,从而提高网络的准确性和稳定性。(3)为了解决不同通道间外周生理信号交互不足的问题,本文引入了双通道多尺度感受野注意力模块。该模块能够有效捕捉外周生理信号的平均特征和主导特征,增强不同通道间的交互作用。本文的其余部分安排如下:第二节简要介绍相关研究工作,第三节阐述数据描述,第四节详细讲解HGR-RFAF网络的结构,第五节对各项实验结果进行分析,最后第六节对全文进行总结。章节摘录情绪评估模型情绪评估模型用于对情绪进行分类,可分为离散情绪模型和维度情绪模型。在离散情绪模型中,情绪被视为基本反应或行为倾向的表现形式。这类模型通常将情绪分为有限的数量类型,不同理论对此分类方式有所不同。例如,埃克曼将情绪分为六种基本类型(Ekman,1992年)。在维度情绪模型中,情绪被看作是某种存在的状态数据描述本节介绍了本文所使用的外周生理信号,同时还介绍了实验中使用的数据集以及相应的数据预处理方法。提出的网络为提高基于外周生理信号的情绪识别精度,本文提出了一种高效的HGR-RFAF网络,该网络能够在不同深度和尺度上提取特征,并实现多维度特征融合。HGR-RFAF网络的结构如图2所示。该网络由多个MB-HRFC层、一个MS-DC层以及一个输出层组成,其中Ci表示输入通道的数量,Co表示输出通道的数量。该网络能够提取多分支、多深度的特征实验结果与分析为验证HGR-RFAF网络的有效性,本文进行了多项实验,并对实验结果进行了详细分析。结论本文提出了HGR-RFAF网络,该网络通过采用多深度、多尺度特征提取以及多维度特征融合策略,显著提升了情绪状态的识别能力。它能够有效整合来自不同生理信号的平均特征和主导特征,从而增强各通道之间的交互作用。此外,该网络还具有多粒度特征提取功能,能够捕捉序列依赖关系。CRediT作者贡献声明余永辉:写作——审阅与编辑,写作——初稿撰写,软件,方法论,概念设计。徐洪吉:写作——审阅与编辑,指导,方法论。徐志凯:验证,研究分析。段玉鹏:验证,研究分析。王仁卓:写作——审阅与编辑。郑浩:写作——审阅与编辑。李逸然:写作——审阅与编辑,验证。徐一鹏:写作——审阅与编辑。利益冲突声明作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。致谢本研究部分资金由中国国家重点研发计划(2022YFC3302800)提供支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号