CEMTNet:一种用于多模态抑郁症检测的认知情绪调节网络

《Neural Networks》:CEMTNet: A Cognitive Emotion Modulated Network for Multimodal Depression Detection

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neural Networks 6.3

编辑推荐:

  多模态抑郁检测中,提出CEMTNet框架整合动态一致性推断模块CCIM、情绪引导注意力模块EMSA和对比时间建模模块CE-TM,有效解决跨模态情感不一致、细微情绪线索提取及动态建模问题,在DAIC-WOZ和EATD-Corpus数据集上准确率达0.92,F1与召回率均超0.92。

  
霍宇杰|高宏宇|陈文豪|艾哈迈德·纳杰米·本·阿梅尔海德·努阿尔
马来西亚理工大学计算机学院,乌泰马斯库代分校,柔佛州新山,81310,马来西亚

摘要

早期抑郁症检测是公共卫生领域的一项关键任务,这使得自动识别抑郁症变得越来越重要。现有的多模态方法面临跨模态情感不一致性、微妙情感线索提取以及动态情感建模的挑战。为了解决这些问题,我们提出了认知-情感调节趋势网络(CEMTNet),用于从音视频文本中进行稳健的多模态抑郁症识别。CEMTNet整合了三个模块:认知一致性推理机制(CCIM)根据估计的情感一致性动态调整融合权重;情感调节结构化注意力(EMSA)利用情感感知的多头注意力增强细粒度的情感线索提取;对比情感趋势建模(CE-TM)将对比学习与时间趋势建模相结合。在DAIC-WOZ和EATD-Corpus数据集上的实验结果表明,CEMTNet的表现始终优于现有的最先进方法,准确率为0.92,F1分数为0.92,召回率为0.93。消融研究和案例分析进一步证实了所提出模块的有效性和稳健性。源代码可在https://github.com/ghy-yhg/CEMTNet找到。

引言

抑郁症是一种普遍且严重损害心理健康的疾病,会显著影响情绪调节、认知功能和社会适应能力(Malhi, Mann, 2018; Marcus, Yasamy, Ommeren, Chisholm, Saxena, 2012)。根据世界卫生组织(WHO)的数据(Organization, 2008),全球有超过3亿人患有抑郁症,使其成为导致残疾和疾病负担的主要原因之一。然而,由于抑郁症状的异质性和微妙性,许多病例仍未得到诊断或治疗,严重的情况可能导致自伤或自杀(Visted et al., 2018)。在当前的精神病学实践中,诊断通常依赖于临床评估和标准化的自我报告工具,如贝克抑郁量表(BDI)和患者健康问卷(PHQ)(BECK, WARD, MENDELSON, MOCK, ERBAUGH, 1961; Kroenke, Spitzer, Williams, 2001)。尽管如此,这些方法容易受到报告偏见的影响,并且受到临床需求与可用资源之间日益不平衡的制约,从而影响诊断的效率和可靠性。因此,开发自动化、客观和可扩展的抑郁症检测技术已成为克服这些限制的可行解决方案(Fang, Peng, Liang, Hung, Liu, 2023a; Kim, Jang, Lee, Choi, Park, Shin, 2023; Kumari, Singh, Pande, 2025; Mao, Wu, Chen, 2023)。现有的自动化方法大致分为两类:基于生理信号的方法和非生理信号的方法。生理信号,包括心率(Nepal et al., 2024)、皮肤电活动(Hickey et al., 2021)和脑电图(Shen et al., 2023),可以捕捉内部生物变化,但需要专门的传感器,从而增加了部署的复杂性。相比之下,非生理信号——如面部图像(Ren et al., 2025)、文本(Chiong, Budhi, Dhakal, Chiong, 2021, Phiri, Makowa, Amelia, Phiri, Dlamini, Chung, 2025)和音频(Almaghrabi, Clark, Baumert, 2023, Miao, Li, Wen, Liu, Julian, Guo, 2022)——反映了情感状态,且更容易持续监测。音频和文本模态由于收集方便且隐私问题较少(van Heerden, Poudyal, Hagaman, Maharjan, Byanjankar, Bemme, Thapa, Kohrt, 2024, Mundt, Vogel, Feltner, Lenderking, 2012),已成为当前抑郁症检测研究的重点。如图1所示,通过文本和音频数据的多模态整合可以有效地实现抑郁症的检测和评估。
近年来,文本和音频模态在社交媒体分析和临床访谈等场景中显示出有效性(Wang et al., 2019)。然而,抑郁症本质上具有多维性和跨模态特征;单模态方法常常忽略关键的综合线索(He, Niu, Tiwari, Marttinen, Su, Jiang, Guo, Wang, Ding, Wang, Pan, Dang, 2022; Liu, Li, Wang, Bi, Lin, Wang, Yu, Ye, Zheng, 2025b; Tian, Zhu, Jing, 2024; Wang, Shen, Liu, Liang, Zadeh, Morency, 2019)。Ye等人设计了SESE实验来捕捉由快速情感转变引起的音频和文本之间的微妙差异,但未能解决模态之间的语义冲突(Ye et al., 2021)。Zhang等人提出了AVTF-TBN模型,利用注意力机制和残差连接动态融合多模态特征并保留特征重要性的差异。然而,这种方法缺乏明确的语义对齐,导致微妙的情感信号被忽略(Zhang et al., 2024c)。此外,Ding等人引入了IntervoxNet,利用基于Transformer的自注意力来捕捉音频和文本模态之间的长距离依赖性。他们的长短期注意力融合网络(LSTAFN)实现了动态的跨模态对齐,但主要关注静态访谈场景,未能充分模拟随时间变化的非线性情感动态(Ding et al., 2024)。
为了解决这些挑战,我们提出了认知-情感调节趋势网络(CEMTNet),用于多模态抑郁症检测,该网络由三个集成模块组成。首先,认知一致性推理机制(CCIM)接收投影的文本和音频模态特征作为输入,通过一致性评分网络动态量化跨模态情感一致性。利用这些分数,门控权重生成模块自适应计算融合权重,抑制模态冲突并增强一致性,以产生稳定、协调的多模态情感表示。然后将这些融合特征输入情感调节结构化注意力(EMSA)模块,该模块在多头注意力框架内整合了可学习的情感引导向量。EMSA进一步结合了位置偏差和注意力掩码来编码时间信息并过滤噪声,准确提取微妙和动态的抑郁情感线索。在注意力加权的上下文聚合之后,EMSA输出一个情感感知的序列特征,用于后续的动态建模。最后,对比情感趋势建模(CE-TM)模块使用长短期记忆(LSTM)网络处理这些序列特征,捕捉时间步长中的情感动态并建模情感转换和累积。在两个基准数据集DAIC-WOZ(Gratch et al., 2014)和EATD-Corpus(Shen et al., 2022)上的实验评估表明,CEMTNet的表现始终优于竞争基线,最大准确率为93%,F1分数为0.93,召回率为0.92。消融研究进一步证实了所提出模块的个别和综合贡献。
总结来说,本工作的主要贡献如下:
  • •
    本研究介绍了CCIM,它动态调节跨模态情感一致性。与忽略模态间语义不一致性的先前方法不同,CCIM明确地对齐文本和音频中的情感方向,过滤掉冲突的情感信号并增强情感一致性的感知。
  • •
    我们提出了EMSA模块,该模块基于传统多头注意力引入了位置偏差和注意力掩码,并结合了由情感引导的结构化注意力模式,以放大微弱和模糊的情感。
  • •
    我们设计了CE-TM模块,它将情感时间序列增强特征序列输入LSTM,并深入整合了对比学习思想与情感时间序列趋势建模。
  • •
    在两个公开可用的临床访谈数据集上进行了广泛的实验,以评估所提出方法的有效性。结果表明,我们的方法在多模态抑郁症检测方面优于现有的最先进(SOTA)技术,凸显了其在临床应用中促进抑郁症早期诊断的潜力。

相关工作

相关工作

我们回顾了与我们的框架直接相关的两项核心挑战:(1)具有跨模态一致性的多模态融合;(2)具有时间动态的微弱情感线索建模。

总体框架

为了解决抑郁症检测中的跨模态情感不对齐、微弱情感线索和时间动态问题,我们提出了一个新颖的框架CEMTNet。CEMTNet的架构及其内部组件如图2所示。CEMTNet由三个协同集成的核心模块组成:CCIM、EMSA和CE-TM。
具体来说,CCIM专注于调节模态级的情感一致性,以解决音频和文本输入之间的语义冲突

数据集

实验在两个抑郁症数据集上进行,即DAIC-WOZ和EATD-Corpus。每个数据集中抑郁和非抑郁样本的类别分布见表2。

讨论

上述比较实验展示了所提出模型的显著有效性和优势。为了进一步阐明每个创新模块的贡献,进行了一系列消融实验。这些消融实验的结果清楚地验证了设计模块的有效性。此外,在DAIC-WOZ和EATD-Corpus数据集上的综合实验表明,所提出模型的平均召回率约为0.9。

结论

在这项研究中,我们提出了CEMTNet,这是一个新颖的多模态认知-情感一致性框架,旨在解决抑郁症检测中的关键挑战,包括跨模态情感不一致性、微妙情感线索提取和动态情感变化建模。该架构结合了三个创新组件:CCIM通过一致性引导机制动态调节语音和文本模态之间的融合权重,以减轻跨模态情感

作者贡献声明

霍宇杰:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,方法论。高宏宇:可视化,方法论,资源,撰写 – 审稿与编辑。陈文豪:监督,资源。艾哈迈德·纳杰米·本·阿梅尔海德·努阿尔:监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号