ReBAN-Net:一种用于基于心电的情绪识别的可解释混合深度学习框架

《Asian Journal of Psychiatry》:ReBAN-Net: An Interpretable Hybrid Deep Learning Framework for ECG-Based Emotion Recognition

【字体: 大 中 小 】 时间:2026年10月13日 来源:Asian Journal of Psychiatry 4.9

编辑推荐:

   摘要情绪评估对于心理健康管理至关重要,然而问卷量表具有主观性,而基于面部或语音的方法可能会受到故意行为和环境干扰的影响。本研究提出了 ReBAN-Net,这是一种集成了一维残差卷积网络、双向长短期记忆网络和软注意力机制的混合架构,用于基于心电图的情绪识别。研究中定义了三个分类

  

摘要

情绪评估对于心理健康管理至关重要,然而问卷量表具有主观性,而基于面部或语音的方法可能会受到故意行为和环境干扰的影响。本研究提出了 ReBAN-Net,这是一种集成了一维残差卷积网络、双向长短期记忆网络和软注意力机制的混合架构,用于基于心电图的情绪识别。研究中定义了三个分类任务:九类效价分类(级别 1-9)、九类唤醒度分类(级别 1-9)和四类情感状态分类(基线、压力、娱乐和冥想)。该模型在 WESAD 数据集上使用严格的 15 折留一受试者协议进行评估。它在九类效价分类上达到了 86.03% 的准确率,在九类唤醒度分类上达到了 86.27% 的准确率,在四类情感状态分类上达到了 87.58% 的准确率,相应的宏平均 AUC 值分别为 96.07%、96.24% 和 95.09%。时序类激活和注意力特征分析表明,该模型关注具有生理意义的心电图区域。这些结果表明了 ReBAN-Net 的可行性和可解释性,并表明其在受试者独立的基于心电图的情绪识别方面具有潜力。

引言

情绪状态与心理健康密切相关,并可能影响认知、行为和生理调节。因此,可靠的情绪识别对于心理健康评估、人机交互和个人健康监护至关重要(今天的全球心理健康:最新数据,2025,Savchenko 等,2022)。
传统情绪评估主要依赖问卷、临床访谈、面部表情和语音信号。问卷和访谈结果本质上是主观的,而面部和语音模态可能会受到自愿控制、照明、声学噪声和录音条件的影响(Gandhi 等,2023,基于生理信号的情绪识别与判断研究综述,2025)。这些局限性促使人们越来越关注反映非自主自主神经反应的生理信号。
心电图(ECG)是一种客观情绪识别的有前景模态,因为心脏电活动持续受到自主神经系统的调节。情绪唤醒和压力会改变心率、节律和波形形态,在心电图片段中产生可测量的变化(Lin 和 Li,2023,Fan 等,2023,Gullett 等,2023,Agrafioti 等,2012)。与面部和语音信号相比,ECG 不易受到故意操纵,并且可以使用可穿戴传感器连续采集。
先前的研究探讨了用于情绪识别的手工 ECG 特征、传统分类器、卷积网络和循环模型(Wang 等,2022,S.s. 等,2025,Zhang 等,2025,Ali 等,n.d,Schmidt 等,2018)。然而,手工流水线可能会遗漏任务相关的波形模式,而单架构深度网络往往对局部形态和长程时间依赖性的建模能力有限。此外,随机的窗口级数据划分可能会将同一参与者的信号放入训练集和测试集,导致乐观的性能估计。因此,受试者独立的验证是至关重要的。
为了解决这些挑战,本研究提出了 ReBAN-Net,它结合了三级残差卷积编码器、两层双向 LSTM 和软注意力模块。使用一秒的 ECG 窗口进行三个固定任务:九类效价识别(级别 1-9)、九类唤醒度识别(级别 1-9)和四类情感状态识别(基线、压力、娱乐和冥想)。这些任务定义在预处理、模型训练、LOSO 验证、性能报告和可解释性分析中保持不变。该架构直接从 ECG 信号中联合学习局部波形形态、全局时间依赖性和任务相关的时间加权。
主要贡献有四点。第一,在一秒窗口重建之前应用了统一的 3-45 Hz FIR 滤波和分段级 Z 分数标准化流水线。第二,ReBAN-Net 在一个端到端框架中集成了残差卷积、双向时序建模和软注意力。第三,使用严格的 15 折留一受试者协议来评估受试者独立的识别性能。最后,使用折外混淆矩阵、ROC 和 PR 曲线、时序类激活图、特征演化图和注意力特征 t-SNE 分析来表征模型性能和可解释性。

章节摘录

数据来源

本研究使用的心电图数据来自 WESAD(可穿戴压力和情感检测)数据集,这是一个公开的多模态情绪和压力研究数据集(Schmidt 等,2018)。WESAD 包含 15 名参与者在涉及基线、压力、娱乐和冥想条件的受控会话期间收集的生理记录。同时记录了心电图、皮肤电活动、肌电图、呼吸和体温;仅

情绪识别结果分析

本研究在三个固定的 WESAD 情绪识别任务上评估了 ReBAN-Net:九类效价(级别 1-9)、九类唤醒度(级别 1-9)和四类情感状态(基线、压力、娱乐和冥想)。准确率、宏精确率、宏召回率、宏 F1 分数和宏一对余 AUC 是从所有 15 名留出参与者的拼接折外预测中分别针对每个任务计算的。训练损失和验证宏 F1 曲线、折外混淆

讨论

随着心理健康管理中对客观情绪评估需求日益增加,基于心电图(ECG)等生理信号的情绪识别引起了越来越多的关注。与传统主观评估方法相比,基于 ECG 的方法提供了连续、客观且难以伪造的生理指标。然而,许多现有模型依赖单架构框架,这限制了它们同时捕获局部

结论

本研究提出了 ReBAN-Net,一种集成残差卷积、双向时序建模和软注意力的混合 ECG 情绪识别架构。该工作始终解决三个任务:九类效价(级别 1-9)、九类唤醒度(级别 1-9)和四类情感状态(基线、压力、娱乐和冥想)。在涉及 15 名参与者的严格 15 折留一受试者评估下,该模型达到了 86.03%、86.27% 和 87.58% 的准确率,

资金来源

本工作得到教育部知识工程与大数据重点实验室(BigKEOpen2025-08)、上海市教育委员会人工智能项目(SHJWAIJK241201)、上海市“科技创新行动计划”技术标准项目(24DZ2201100)、上海健康医学院重要研究人员外部学术指导计划(AMSCP-24-21-02)以及临床研究专项资金项目的支持

未引用参考文献

(Lin 等,2019,Sarkar 和 Etemad,2022,使用深度卷积神经网络在生理信号数据集 (AMIGOS) 上进行情绪检测,2025,使用脑电信号进行情绪分类的合并 LSTM 模型,2025,Concei??o 等,2025,Topic 和 Russo,2021,Katsigiannis 和 Ramzan,2018,Zhang 等,2023,Sweeney-Fanelli 和 Imtiaz,2024,Mao 等,2022,Splinter,2025,Nshimiyimana 等,2024,Candia-Rivera 等,2022,Materko,2025,Wang 等,2026)

CRediT 作者贡献声明

Yu Wang:写作 – 审阅与编辑,写作 – 原稿撰写,验证,方法论,数据整理。Danhong Li:写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证。Ping Li:写作 – 审阅与编辑,写作 – 原稿撰写,监督,项目管理,概念化。Siqi Wang:写作 – 审阅与编辑,写作 – 原稿撰写,验证,方法论。Hui Yang:写作 – 审阅与编辑,监督,项目管理,资金

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本论文报告的工作。

致谢与披露

Ping Li、Siqi Wang 和 Yu Wang 在概念化、数据预处理和模型实现方面贡献相同。Danhong Li 和 Yiming Li 进行了实验验证和结果分析。Qi Sun 参与了文献综述和手稿起草。Chen Peng 提供了模型优化的技术支持。Hui Yang 和 Yiming Wu 监督了研究设计并修改了手稿。所有作者均批准了手稿的最终版本。
作者报告无生物医学
Ping Li|Siqi Wang|Yu Wang|Danhong Li|Yiming Li|Qi Sun|Chen Peng|Yiming Wu|Hui Yang
上海健康医学院附属周浦医院,上海健康医学院,中国上海
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号