基于多模态时序语义重建网络的抑郁识别

《Information Fusion》:Depression Recognition via Multimodal Sequential Semantic Reconstruction Network

【字体: 大 中 小 】 时间:2026年10月22日 来源:Information Fusion 17.4

编辑推荐:

   为缓解抑郁症识别中的语义不一致问题,本文提出CASSR模型。将静态融合转变为上下文锚定的顺序语义重建。实现了对不一致模态线索的样本自适应语义理解。在CMDC数据集和自有数据集上取得了卓越的综合性能。为多模态融合提供了一种自适应且可扩展的语义视角。 引言 抑郁症已成为全球范围

  

为缓解抑郁症识别中的语义不一致问题,本文提出CASSR模型。将静态融合转变为上下文锚定的顺序语义重建。实现了对不一致模态线索的样本自适应语义理解。在CMDC数据集和自有数据集上取得了卓越的综合性能。为多模态融合提供了一种自适应且可扩展的语义视角。

引言
抑郁症已成为全球范围内高度普遍的精神健康问题,它不仅损害个体的身心福祉,严重时还可能导致自伤和自杀行为,凸显了早期诊断和治疗干预的必要性[1]。然而,世界卫生组织的数据表明,精神科医生数量有限,且医患比严重失衡[2]。因此,迫切需要开发客观且数据驱动的抑郁症识别方法,以提高早期抑郁症筛查的准确性和效率。

大量研究表明,抑郁症患者常表现出悲观的面部表情和眉毛下垂[3],语速减慢、音高变化减少及停顿时间延长等语音特征[4],并倾向于在语言中使用负面词汇。早期自动抑郁症识别研究依赖单模态信号。然而,由于单一模态提供的判别性信息有限,且极易受环境光照变化或背景噪声影响,研究焦点已转向视频、音频和文本的多模态融合方法,旨在利用模态间的互补性捕获更丰富的判别性语义信息[1]、[5]。这一转变的核心挑战在于跨模态的判别性语义不一致[6]、[7]。以“微笑抑郁”为例,患者可能在面部表情上保持积极微笑,而其语言与语音语义却揭示出持续的悲观状态,如情绪低落和兴趣丧失。即不同模态提供的语义信息指向不同的判别结果[8]、[9]。

针对这一问题,早期多模态融合研究倾向于将跨模态判别性语义的不一致性视为一种信号噪声。例如,Huo等人[6]开发了语义引导的跨模态门控机制(SGCMG),通过计算模态间相关性,动态降低与主导模态(通常为文本)不一致的视觉或声学特征的权重。这种策略本质上是一种具有严重语义偏见的过滤机制:它强调任意移除干扰信息以强化一致表示,从而忽略了抑郁症患者言行特征差异中所蕴含的重要诊断价值,以及微表情与语音语调间细微错位中的重要信息,例如情感线索可能早于语音表达出现[10]。

为恢复可能被过滤掉的有用信息,近期研究认为跨模态判别性语义的差异并非简单噪声,而是反映了互补的共享特征与模态特有特征。例如,Che等人[11]提出了正交解耦与投影特征对齐框架(OD-PFA),Pan等人[5]开发了特征空间解耦的Dis2DR框架。两种方法均旨在将跨模态不一致信息保留为模态特有特征,使其能与共享特征共同参与决策。尽管这种解耦范式有所改进,但往往无法充分建模共享特征与特有特征间的关联,也无法确保不一致样本存在共享的跨模态语义空间。

尽管两类方法动机不同,但它们共享两个结构性局限。首先,两者均通过固定拓扑连接建模特征交互,因此无法根据样本特定的跨模态差异动态重建节点间依赖关系[12]。其次,两者均隐式要求所有模态在相同时间窗口内对齐处理,忽略了抑郁症相关行为线索在不同模态中固有的异步特性(例如情感线索可能早于语音表达出现),迫使模型学习低层生理同步而非高层判别性语义。因此,如何为每个样本自适应地组织跨模态判别性语义,同时放宽同步交互约束,仍是一个开放问题。

在本文中,我们将抑郁症识别中跨模态判别性语义不一致归因于以下两个因素:

第一,个体表现异质性与情境刺激的影响。抑郁症在不同个体中的表现存在显著差异,这种异质性也反映在健康个体的表达基线中[13]、[14]。由于人格特质或表达习惯,部分健康受试者在面部活动、音高变化或身体运动方面可能 closely resemble 典型抑郁体征,如情感平淡或语音单调。相反,为避免污名化或符合社会规范,抑郁个体常刻意抑制真实心理痛苦,从而表现出一种社会伪装[15]。这种情况导致外部行为表现(如面部表情)与内部认知状态(如文本语义)之间出现严重语义不一致。此外,具有不同情感效价的问题构成不同的情境刺激。即使同一受试者,在不同刺激下也可能表现出不同的情绪调节轨迹和行为反应。模型因此需要适应这种"刺激-反应模式"的动态变化,并在不同访谈情境中提取一致的判别性语义[16]、[17]、[18]。

第二,现有模型局限于特征-标签关联,缺乏对跨模态语义的深层理解。在训练过程中,现有模型通常无法捕获异质数据中嵌入的深层语义信息。

图1以示意图形式描绘了此现象:受试者的面部行为可能构成表面非抑郁线索,而语音和言语内容则构成与抑郁一致的线索。表1报告了预研中的真实实例。以表1预研中的部分结果为例,若某一特定模态(如刻意伪装的积极面部表情)生成的局部判别预测与个体的最终临床标签冲突,传统具有强时间对齐和静态交互特征的非自适应融合框架往往无法从这类矛盾信号中推断出恰当的语义解释。因此,难以定义清晰的决策边界,导致模型性能下降[19]。

我们认为,解决这一问题需要一种能从抑郁症识别视角自洽整合所有模态判别性语义的语义解释。这种复杂的语义解释不应依赖严格的时间对齐,而应根据个体差异动态识别模态间交互,并通过证据积累和视角调整重建多模态判别性语义。我们将多模态融合视为特征空间重建的渐进且条件依赖过程,即确定一种模态如何被用于解释另一种模态。具体而言,前置模态用于建立初始语义流形,重构特征向量的方向通过模态间交互迭代调整。这样,模型在高维流形中生成一个表示,该表示能捕获给定样本在临床标签下所有观测的判别性语义。

基于上述考虑,我们提出上下文锚定的顺序语义重建(CASSR)模型,该模型通过动态构建样本特定的特征演化轨迹,自适应地解释判别性语义不一致。在此过程中,为减少刺激对判别性语义的影响,我们采用结构化访谈中在一致刺激条件下采集的文本问题作为上下文锚点,以约束特征空间。这缩小了语义搜索的感知范围,使模型能够推断当前情境下不同模态信息的实际含义,并解决因个体差异导致的多模态判别性语义表面冲突。为考虑个体反应差异,模型为每个样本动态选择最有可能产生判别性语义自洽解释的语义重建轨迹。对于每个后续模态,模型纳入来自刺激情境的语义先验,通过交叉注意力机制计算相对于前置特征的反馈信号,并通过残差连接重构特征。这使特征向量在语义空间中进行定向演化,允许模型在矛盾信号下逐步搜索判别性边界。

本文的主要贡献总结如下:

(1) 我们深入分析了多模态抑郁症识别中判别性语义不一致这一关键挑战。具体而言,我们从社会伪装、个体变异性及模型局限性三个视角揭示了现有静态融合拓扑的根本局限。为解决此问题,我们提出了一种新的多模态融合动态顺序处理范式,为处理异质模态间的判别性语义冲突和表达异质性提供了新视角。

(2) 在方法上,我们设计了上下文锚定的顺序语义重建(CASSR)模型。该模型通过引入文本上下文锚点和动态选择语义重建轨迹,自适应处理判别性语义不一致。在CMDC[20]数据集和私有数据集上的大量实验证明了所提方法的有效性。

片段
多模态抑郁症识别
由于单模态信号对环境噪声高度敏感,且捕获抑郁症病理异质表现的能力有限,自动抑郁症识别研究已从单模态行为表征分析转向多模态融合范式[21]。

现有融合策略大致可分为特征级融合和决策级融合[22]。一类研究关注特征层面的线性整合

整体架构
解决跨模态判别性语义不一致的关键在于采用一种能充分捕获丰富跨模态语义信息并动态调整语义解释的视角。为此,我们提出上下文锚定的顺序语义重建(CASSR)模型。为考虑个体变异性与情境刺激差异,该模型自适应选择最有可能产生

数据集概述
为确保刺激信息标准化且全面,从而支持有效构建上下文锚点,本研究使用了两个数据集:基于半结构化访谈的中国抑郁症检测数据集CMDC[20]和我们的私有结构化访谈数据集。其他数据集如DAIC-WOZ[26]和E-DAIC[27]未被采用,因为其访谈是非结构化的,无法提供足够一致的刺激条件用于

实验设置
(1) 训练细节:我们使用五折分层交叉验证评估模型。所有实验均在PyTorch中实现,并在配备四块NVIDIA GeForce RTX 3090 GPU的服务器上完成。多模态特征的隐藏维度设为256,批次大小设为16。使用AdamW优化器,初始学习率和权重衰减均设为1e-4。对于损失相关超参数,Focal Loss的聚焦参数设为γ=2.0,温度

局限性
如前述分析所述,我们的模型可根据不同样本的个体与情境差异自适应激活顺序语义重建轨迹。该轨迹的选定旨在促进对判别性语义的自洽理解。然而,这些轨迹所代表的语义视角的深层可解释性仍需进一步探究。

此外,尽管模态特定编码器

结论
本文重新审视了多模态抑郁症识别中跨模态判别性语义不一致的问题。为解决现有方法依赖严格时间对齐和静态融合拓扑的局限,我们提出了一种基于上下文锚定动态顺序语义重建的新型多模态抑郁症识别框架。该框架旨在在宏观语义

作者贡献声明
刘振宇:撰写——审阅与编辑、监督、资源、概念化。张军:撰写——审阅与编辑、撰写——初稿、可视化、验证、方法学、调查、形式分析、概念化。张海波:方法学、概念化。袁佳倩:方法学、概念化。丁伊:方法学、概念化。李刚:数据整理。丁智杰:数据整理。陈琼琼:数据整理。张新:数据整理。胡斌:资源。
利益冲突声明
作者声明不存在任何可能影响本文工作报道的已知财务利益冲突或个人关系。

刘振宇|张军|张海波|袁佳倩|丁伊|李刚|丁智杰|陈琼琼|张新|胡斌
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号