低资源多模态语音阿尔茨海默病检测的潜在流形校正

《Computer Speech & Language》:Latent Manifold Rectification for low-resource multimodal speech-based Alzheimer’s disease detection

【字体: 大 中 小 】 时间:2026年10月01日 来源:Computer Speech & Language 3.4

编辑推荐:

   • LMR为低资源AD语音检测组织潜在空间 • TICR沿诊断转换方向正则化分类器输出 • 软疾病轴约束建模灵活的MCI定位 • 声学嵌入和文本嵌入在中文和英文数据集上评估 • LMR的平均准确率高于相应的基线方法 引言 阿尔茨海默病(AD)是一种进展性神经退行性疾病,影

  

• LMR为低资源AD语音检测组织潜在空间
• TICR沿诊断转换方向正则化分类器输出
• 软疾病轴约束建模灵活的MCI定位
• 声学嵌入和文本嵌入在中文和英文数据集上评估
• LMR的平均准确率高于相应的基线方法

引言

阿尔茨海默病(AD)是一种进展性神经退行性疾病,影响认知、语言和日常功能。在横断面临床评估中,认知状态通常通过诊断类别来表示,如健康对照(HC)、轻度认知障碍(MCI)和AD。这些类别可以表现出有序的群体水平关系,但个体临床轨迹是异质性的,且MCI不一定进展为AD(Jack等,2018;Sperling等,2011)。语音和语言提供了非侵入性和低成本的认识功能损害标志物,因为在不同认知衰退阶段,声学、韵律、词汇和语篇层级的模式变化都有报道(Fraser等,2016;Orimaye等,2017;Eyigoz等,2020)。

大多数基于语音的AD识别系统将问题表述为横断面分类。这种表述方式适用于基准评估,但训练目标主要强调离散标签之间的分离。在低资源临床语音数据集中,可用的受试者数量有限,且诊断转换区域观察稀疏。因此,分类器可能从潜在表示空间的不完整局部覆盖中学习决策边界,特别是在表现出中间或异质性特征的样本周围。这促使需要表示学习策略,在保持有监督分类目标的同时,将额外结构引入潜在空间。

现有工作通过声学建模、语言学表示和多模态融合大幅改善了基于语音的AD识别。然而,这些方法通常专注于特征提取或决策级区分,而很少显式约束所学习表示相对于诊断关系的组织方式。通用增强或插值可以增加训练样本数量,但未必能考虑标签所代表的诊断转换。这两个观察在低资源场景下密切相关:当中间区域采样不足时,组织潜在表示和正则化这些区域内的分类器行为可能提供互补形式的归纳偏置。

为解决此问题,我们提出潜在流形校正(LMR),一种结合诊断感知潜在组织与转换区域一致性正则化的多模态变分框架。LMR首先从声学和文本嵌入中学习紧凑的概率表示,然后施加类内紧致性和HC-AD分离,并在MCI标签可用时施加MCI感知的软疾病轴约束。该约束不强制MCI固定在中点,而是允许灵活的中间组织。在由此得到的潜在表示上,轨迹插值一致性正则化(TICR)仅沿每个数据集中可用的诊断转换方向引入软标签插值。因此,潜在校正和TICR解决了同一低资源问题的两个相关方面:根据诊断结构组织表示,以及在稀疏观察的转换区域稳定分类器行为。

主要贡献总结如下:
• 我们提出了用于低资源多模态基于语音的AD分类的LMR框架,将概率潜在表示学习与诊断感知的几何正则化相结合
• 我们引入了MCI感知的软疾病轴公式,鼓励灵活的诊断排序而不强制固定MCI中点。对于NCMMSC2021,在留出真实说话人上独立评估所学组织方式,使用疾病轴投影、序相关、成对排序一致性、质心距离和轴外变化。由于MCI标签不可用,ADReSS禁用了与MCI相关的项
• 我们引入TICR沿可用的诊断转换正则化分类器行为,对NCMMSC2021使用HC-MCI和MCI-AD插值,对ADReSS使用HC-AD插值。框架使用声学的、文本的和声学-文本输入在说话人独立交叉验证和官方ADReSS挑战赛分割下评估,并分别分析分类性能和潜在诊断组织

各章节片段

基于语音的AD检测与多模态学习

基于语音的AD检测已被广泛研究,因为自发语音反映了与AD相关的认知、语言和副语言变化。早期工作使用手工设计的声学、词汇、句法和语篇特征来描述流畅性降低、停顿更长、词汇检索困难、语义退化以及叙事组织受损(Cummins等,2018;Fraser等,2016;Orimaye等,2017;de la Fuente Garcia等,2020;Petti等,2020)。

问题公式化与概述

设 ??={(??????,??????,????)}????=1 表示基于语音的AD数据集,其中 ?????? 为声学嵌入,?????? 为文本嵌入,???? 为诊断标签。对于NCMMSC2021,????∈{AD,MCI,HC};对于ADReSS,????∈{AD,HC}。目标是带有潜在空间正则化的诊断分类。在NCMMSC2021中,MCI作为真实的有监督类别参与分类损失、软疾病轴校正项和相邻转换TICR生成过程。在ADReSS中,MCI类别不存在(标签不可用)。

数据集与特征

我们在NCMMSC2021和ADReSS上评估所提出的方法。NCMMSC2021是一个中文低资源语音数据集,包含124名受试者,包括26名AD、54名MCI和44名HC说话人,用于三分类AD/MCI/HC分类(NCMMSC Team,2021)。语料库包含多种诱发条件,包括图片描述、言语流畅性任务和访谈式自发语音。ADReSS是Interspeech 2020 AD识别挑战赛中的英文语料库,包含156名受试者。

实验结果与分析

实验分析考察了跨输入模态、目标组件、评估协议、生成规模和潜在空间几何的性能。基线VAE分类器(Base)使用重建、KL正则化和有监督分类损失进行训练。Rect设置增加了拓扑感知的潜在校正,而完整的TICR设置进一步引入轨迹插值一致性正则化。高斯潜在采样提供了基于生成方法...

讨论

潜在空间分析描述了所学LMR表示所表达的诊断感知组织方式。在NCMMSC2021上,留出的说话人表示沿着从真实训练样本独立估计的HC-AD方向显示出清晰的群体水平HC-MCI-AD排序,具有很强的序关联(Spearman ??=0.873),且相邻成对排序高于95%。重要的是,这种有序分量并不意味着潜在表示是一维的。

结论

本文提出了用于低资源多模态基于语音的AD分类的LMR方法,结合了概率表示学习、诊断感知潜在校正和轨迹插值一致性正则化。在说话人独立10折评估下,A+T TICR模型在NCMMSC2021上达到0.8487 ± 0.0233的准确率,在ADReSS上达到0.8300 ± 0.0286,而在官方ADReSS分割下,跨五个随机种子达到0.8400 ± 0.0126。主要评估结果显示出相同的...

CRediT作者贡献声明

Xingyu Wang:撰写-初稿、可视化、软件、方法论、形式分析。Yun Jin:撰写-审阅与编辑、监督、项目管理、概念化。Yuxing Huang:调查、形式分析、数据整理。Yong Ma:撰写-审阅与编辑、验证、方法论。Maoshen Jia:撰写-审阅与编辑、验证。Peng Song:撰写-审阅与编辑、验证。

伦理声明

本研究按照各自数据集的访问政策使用了基准数据集,未涉及作者从人类参与者处收集新数据。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知经济利益或个人关系冲突。

Xingyu Wang | Yun Jin | Yuxing Huang | Yong Ma | Maoshen Jia | Peng Song
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号