利用创新的半监督学习技术提升音频中抑郁情绪的检测能力

《Knowledge-Based Systems》:Advancing depression detection in audio through innovative semi-supervised learning technology

【字体: 大 中 小 】 时间:2025年12月23日 来源:Knowledge-Based Systems 8.0

编辑推荐:

  刘一轩|李翔|蔡宇欣|徐佳军|胡俊杰|张毅|陈媛媛中国四川省成都市一环路南一段24号,四川大学,邮编610065摘要抑郁症是全球范围内导致残疾的主要原因,它显著影响患者的情感声音特征和情绪表达能力。以往研究大量探讨了通过听觉情感线索预测抑郁状态的方法。然而,基于音频信号分析抑郁状

  
刘一轩|李翔|蔡宇欣|徐佳军|胡俊杰|张毅|陈媛媛
中国四川省成都市一环路南一段24号,四川大学,邮编610065

摘要

抑郁症是全球范围内导致残疾的主要原因,它显著影响患者的情感声音特征和情绪表达能力。以往研究大量探讨了通过听觉情感线索预测抑郁状态的方法。然而,基于音频信号分析抑郁状况仍然面临很大挑战,现有研究中情感分析框架在抑郁检测方面的适用性也受到限制。为克服这一局限,我们提出了一种利用音频数据进行抑郁评估的强大半监督学习框架。该框架为抑郁状态与语音中情感相关变化之间的相互作用提供了新视角,由三个核心部分组成:伪标签生成、基于伪标签的自训练,以及结合局部和全局上下文信息的抑郁分类机制。第一个模块将音频流分割成多个片段,并为这些片段赋予能反映情感倾向的伪标签;第二个组件构建情感分类器,用于预测每个片段的情感倾向;第三个组件则采用变换器编码器构建注意力生成模块,有效整合全局特征以优化局部预测结果,从而完成抑郁分类任务。在DAIC-WOZ和EATD数据集上的实验表明,所提框架的性能优于现有的分类方法。此外,我们还深入研究了不同特征表示对模型效果的影响。该框架为自动化抑郁分类提供了一种高效且分析严谨的解决方案。

引言

抑郁症是一种精神心理疾病,源于个体应对压力生活事件的困境。其表现为持续的悲伤、消极情绪,以及处理日常事务时的困难[1]。根据世界卫生组织的统计,抑郁症是全球范围内导致残疾的最大单一因素,同时也是自杀死亡的主要诱因[2]。不过,诊断抑郁症状相对困难,往往依赖于耗时且主观性强的临床判断[2]、[3],诊断结果往往取决于临床医生从情绪和动机都可能受损的患者那里获取准确诊断信息的技能与经验[1]。
心理学研究表明,不同程度的抑郁症患者面部特征存在差异,其语音模式也会发生改变[1]、[4]、[5]。许多研究[6]、[7]、[8]致力于利用文本、语音和视频等多模态数据开发抑郁检测系统,但多模态需求增加了系统的使用成本,同时收集面部数据也会引发参与者的隐私担忧。此外,由于抑郁相关数据的隐私限制和伦理问题,获取多模态数据集面临很大困难。
由于轻微的生理和认知变化就会带来明显的声学变化,语音信号可作为抑郁检测的重要标志[1]、[9]。以往研究已证实,抑郁症会对声学信号产生显著影响[1]、[9],因此利用音频信息进行抑郁检测受到了广泛关注。DepAudioNet[10]采用深度学习技术有效表征音频特征,通过结合卷积神经网络和长短期记忆网络,能够捕捉音频样本中的短期和长期时间关联特征。作为更通用的语音分析模型,SpeechFormer++[11]利用语音特征提升变换器的性能,在基于语音的抑郁分析中表现良好。另有研究[12]选择梅尔频率倒谱系数作为主要音频特征,再通过长短期记忆网络提取高级音频特征表示,从而更准确地评估抑郁严重程度。这些研究大多侧重于分析音频中的声学特征,却未考虑音频中所蕴含的情绪信息。
音频记录中情绪和动机的变化也是抑郁症的关键症状[13]、[14]、[15]。与健康人群相比,抑郁症患者表现出更高比例的负面情绪,如悲伤和愤怒[13]。此外,持续存在的负面情绪以及难以体验积极情绪是重度抑郁症的典型特征[14]。抑郁症患者还常常表现出情绪情境不敏感现象,即在不同情感情境下情绪反应减弱[15]。研究表明,语音中的情绪相关特征可为抑郁检测提供重要依据[1]、[16]。一些研究利用音频中的情绪特征提升抑郁检测性能[17],或借助在情绪分类任务中表现良好的模型迁移至抑郁检测任务中[12]、[18],取得了一定成果。但这些研究也表明,语音中的情绪信息与抑郁状态之间的关系较为复杂:抑郁症并非始终表现为持续的低情绪状态,情绪表达与抑郁状态之间存在明显差距。虽然情绪分析通常针对短片段进行,但抑郁评估需要包含对话和提问形式的音频数据。我们认为,较长的音频记录能够捕捉到不断变化的情绪状态,从而更全面地反映一个人的抑郁状况。基于这一思路,并受孙等人[19]的启发,我们提出了一种新的抑郁检测框架。该方法结合半监督学习,同时整合局部情绪特征和全局音频特性,利用情绪信息提升检测性能。首先分析音频片段中的情绪趋势来完成伪标签标注,随后利用音频中的局部情绪倾向优化情感分类器,选取能在抑郁分析中实现优异性能的参数,最后将全局音频特征与局部情绪趋势相结合,共同预测音频中是否存在抑郁症状。
本文的贡献如下:
(1) 将抑郁相关的音频视为多种情绪音频信号的叠加,运用半监督学习提升基于音频的抑郁检测性能。
(2) 提出一种新的抑郁检测框架,能够有效整合局部和全局音频特征信息,以新颖高效的方式分析抑郁状况。
(3) 对多种预训练的自监督学习模型进行分层特征表示分析,确定哪些特征最适用于抑郁检测任务。

章节节选

基于情绪的抑郁检测

为探究情绪相关特征与抑郁检测之间的关系,吴等人[17]在情感识别和抑郁检测这两种机器学习任务之间进行了知识迁移研究。该研究发现,通过在音频情感分类任务上预训练得到的模型所提取的情绪特征,能够显著提升抑郁分类的准确性。虽然抑郁情绪会影响个体对情绪的感知和表达,

方法论

本节我们将介绍一种基于音频中短期情绪倾向的创新半监督学习技术,用于提升语音抑郁检测的效率。整个流程如图1所示。
该流程主要包括三个部分:伪标签标注、基于伪标签的自训练,以及基于自注意力的抑郁分类。
在我们的方法中,参与者的音频会被视为多个短片段的集合,其中每个片段都包含情绪

数据集

DAIC-WOZ数据集[37]是抑郁检测领域广泛使用的资源,包含了189名参与者50小时的半结构化英语访谈音频数据。训练集包含30名抑郁症患者和77名非抑郁症患者的访谈内容,验证集则包含12名抑郁症患者和23名非抑郁症患者的访谈内容,具体信息见表1。每段参与者音频数据都包含两个部分:

短期情绪偏差与抑郁检测的相关性分析

我们认为,较长的音频记录能够捕捉到多样的情绪状态,从而更全面地反映一个人的抑郁状况。为验证这一点,表11展示了在未使用算法1调整检测结果的情况下,DAIC-WOZ和EATD数据集中参与者音频片段的情绪倾向分布与对应抑郁状态的情况。
为分析情绪分布与抑郁之间的相关性

结论

在本研究中,我们提出了一种基于音频信号的抑郁分析综合框架,为抑郁状态与音频中情绪波动之间的关系提供了新视角。通过采用结合了在音频数据集上预训练的自监督学习模型的半监督学习方法,我们直接预测抑郁分析数据集中的局部情绪倾向,同时运用自注意力机制整合全局

致谢

本研究得到了国家自然科学基金(项目编号:62495064和62376173)的支持。

关于写作过程中生成式AI和AI辅助技术的声明

在撰写本文时,作者使用了Qwen工具对语言进行润色和句子结构优化。使用该工具后,作者对内容进行了必要修改,并对文章内容的真实性负全责。

CRediT作者贡献说明

刘一轩:论文撰写——初稿、方法论、正式分析、概念设计。李翔:软件工具、研究实施、数据整理。蔡宇欣:结果验证、研究实施、数据整理。徐佳军:项目管理、数据整理、概念设计。胡俊杰:结果验证、项目管理、研究实施、数据整理。张毅:监督指导、项目管理、概念设计。陈媛媛:论文撰写——审阅编辑、监督指导、方法论、资金筹集,

利益冲突声明

作者声明,自己不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号