抑郁症是一种普遍且严重损害心理健康的疾病,会显著影响情绪调节、认知功能和社会适应能力(Malhi, Mann, 2018; Marcus, Yasamy, Ommeren, Chisholm, Saxena, 2012)。根据世界卫生组织(WHO)的数据(Organization, 2008),全球有超过3亿人患有抑郁症,使其成为导致残疾和疾病负担的主要原因之一。然而,由于抑郁症状的异质性和微妙性,许多病例仍未得到诊断或治疗,严重的情况可能导致自伤或自杀(Visted et al., 2018)。在当前的精神病学实践中,诊断通常依赖于临床评估和标准化的自我报告工具,如贝克抑郁量表(BDI)和患者健康问卷(PHQ)(BECK, WARD, MENDELSON, MOCK, ERBAUGH, 1961; Kroenke, Spitzer, Williams, 2001)。尽管如此,这些方法容易受到报告偏见的影响,并且受到临床需求与可用资源之间日益不平衡的制约,从而影响诊断的效率和可靠性。因此,开发自动化、客观和可扩展的抑郁症检测技术已成为克服这些限制的可行解决方案(Fang, Peng, Liang, Hung, Liu, 2023a; Kim, Jang, Lee, Choi, Park, Shin, 2023; Kumari, Singh, Pande, 2025; Mao, Wu, Chen, 2023)。现有的自动化方法大致分为两类:基于生理信号的方法和非生理信号的方法。生理信号,包括心率(Nepal et al., 2024)、皮肤电活动(Hickey et al., 2021)和脑电图(Shen et al., 2023),可以捕捉内部生物变化,但需要专门的传感器,从而增加了部署的复杂性。相比之下,非生理信号——如面部图像(Ren et al., 2025)、文本(Chiong, Budhi, Dhakal, Chiong, 2021, Phiri, Makowa, Amelia, Phiri, Dlamini, Chung, 2025)和音频(Almaghrabi, Clark, Baumert, 2023, Miao, Li, Wen, Liu, Julian, Guo, 2022)——反映了情感状态,且更容易持续监测。音频和文本模态由于收集方便且隐私问题较少(van Heerden, Poudyal, Hagaman, Maharjan, Byanjankar, Bemme, Thapa, Kohrt, 2024, Mundt, Vogel, Feltner, Lenderking, 2012),已成为当前抑郁症检测研究的重点。如图1所示,通过文本和音频数据的多模态整合可以有效地实现抑郁症的检测和评估。
近年来,文本和音频模态在社交媒体分析和临床访谈等场景中显示出有效性(Wang et al., 2019)。然而,抑郁症本质上具有多维性和跨模态特征;单模态方法常常忽略关键的综合线索(He, Niu, Tiwari, Marttinen, Su, Jiang, Guo, Wang, Ding, Wang, Pan, Dang, 2022; Liu, Li, Wang, Bi, Lin, Wang, Yu, Ye, Zheng, 2025b; Tian, Zhu, Jing, 2024; Wang, Shen, Liu, Liang, Zadeh, Morency, 2019)。Ye等人设计了SESE实验来捕捉由快速情感转变引起的音频和文本之间的微妙差异,但未能解决模态之间的语义冲突(Ye et al., 2021)。Zhang等人提出了AVTF-TBN模型,利用注意力机制和残差连接动态融合多模态特征并保留特征重要性的差异。然而,这种方法缺乏明确的语义对齐,导致微妙的情感信号被忽略(Zhang et al., 2024c)。此外,Ding等人引入了IntervoxNet,利用基于Transformer的自注意力来捕捉音频和文本模态之间的长距离依赖性。他们的长短期注意力融合网络(LSTAFN)实现了动态的跨模态对齐,但主要关注静态访谈场景,未能充分模拟随时间变化的非线性情感动态(Ding et al., 2024)。
为了解决这些挑战,我们提出了认知-情感调节趋势网络(CEMTNet),用于多模态抑郁症检测,该网络由三个集成模块组成。首先,认知一致性推理机制(CCIM)接收投影的文本和音频模态特征作为输入,通过一致性评分网络动态量化跨模态情感一致性。利用这些分数,门控权重生成模块自适应计算融合权重,抑制模态冲突并增强一致性,以产生稳定、协调的多模态情感表示。然后将这些融合特征输入情感调节结构化注意力(EMSA)模块,该模块在多头注意力框架内整合了可学习的情感引导向量。EMSA进一步结合了位置偏差和注意力掩码来编码时间信息并过滤噪声,准确提取微妙和动态的抑郁情感线索。在注意力加权的上下文聚合之后,EMSA输出一个情感感知的序列特征,用于后续的动态建模。最后,对比情感趋势建模(CE-TM)模块使用长短期记忆(LSTM)网络处理这些序列特征,捕捉时间步长中的情感动态并建模情感转换和累积。在两个基准数据集DAIC-WOZ(Gratch et al., 2014)和EATD-Corpus(Shen et al., 2022)上的实验评估表明,CEMTNet的表现始终优于竞争基线,最大准确率为93%,F1分数为0.93,召回率为0.92。消融研究进一步证实了所提出模块的个别和综合贡献。
总结来说,本工作的主要贡献如下:
- •
本研究介绍了CCIM,它动态调节跨模态情感一致性。与忽略模态间语义不一致性的先前方法不同,CCIM明确地对齐文本和音频中的情感方向,过滤掉冲突的情感信号并增强情感一致性的感知。
- •
我们提出了EMSA模块,该模块基于传统多头注意力引入了位置偏差和注意力掩码,并结合了由情感引导的结构化注意力模式,以放大微弱和模糊的情感。
- •
我们设计了CE-TM模块,它将情感时间序列增强特征序列输入LSTM,并深入整合了对比学习思想与情感时间序列趋势建模。
- •
在两个公开可用的临床访谈数据集上进行了广泛的实验,以评估所提出方法的有效性。结果表明,我们的方法在多模态抑郁症检测方面优于现有的最先进(SOTA)技术,凸显了其在临床应用中促进抑郁症早期诊断的潜力。