《PLOS Digital Health》:An artificial intelligence-based audio recognition system for dysarthria home-based rehabilitation: A proof-of-concept study
编辑推荐:
构音障碍是一种常见的运动性言语障碍,影响患有神经系统疾病的个体,在卒中幸存者中发病率较高。构音障碍的有效治疗需要准确评估其严重程度,并提供针对损伤程度的言语训练。然而,传统言语干预面临若干局限性,包括治疗师可及性有限和治疗依从率低。人工智能驱动的解决方案有可能
构音障碍是一种常见的运动性言语障碍,影响患有神经系统疾病的个体,在卒中幸存者中发病率较高。构音障碍的有效治疗需要准确评估其严重程度,并提供针对损伤程度的言语训练。然而,传统言语干预面临若干局限性,包括治疗师可及性有限和治疗依从率低。人工智能驱动的解决方案有可能通过自动化检测构音障碍严重程度并推荐个性化训练来克服这些限制。尽管在构音障碍严重程度的自动检测与分类方面已取得显著进展,但这些方法在受控较少的真实世界语音上的表现仍未得到充分表征。本项概念验证研究描述了一种新型框架Whisper-ST1的开发与评估,该框架通过对预训练的自动语音识别(ASR)模型进行微调,实现从音频文件中分类构音障碍语音的严重程度。该框架在先前研究的基础上,将真实世界数据与传统研究数据集相结合,适配了一个在大规模音频语料库上预训练的模型架构,应用渐进式解冻策略以防止对相关语音特征的灾难性遗忘,同时促进对新任务的灵活适应,并采用序数回归损失以最小化错误分类的影响。消融实验证明了各独立管道组件对性能的贡献。Whisper-ST1在真实世界样本测试中实现了79% [67% – 100%]的说话者水平F1分数,并与两位言语治疗师的构音障碍评分表现出高度一致性(加权Cohen's kappa分别为0.814 [0.400 – 1.000]和0.878 [0.647 – 1.000]),与治疗师间的一致性(0.851 [0.550 – 1.000])相当。模型错误主要集中在相邻严重程度级别之间,表明保留了序数结构。这些发现证明了利用预训练语音模型在异质性音频条件下进行构音障碍严重程度分类的可行性,并为开发用于远程监测和支持构音障碍康复的人工智能辅助工具奠定了初步基础。
研究背景与问题
构音障碍是一种由神经系统损伤导致的运动性言语障碍,在卒中幸存者中发病率高达52%,严重影响患者的生活质量和沟通能力。有效的构音障碍康复需要根据患者的具体严重程度制定个性化的言语训练方案,但传统的言语治疗面临多重挑战:治疗师资源有限且分布不均、治疗成本高昂、患者居家康复依从性低,特别是在新加坡等老龄化社会,这一问题尤为突出。虽然已有研究在自动检测和分类构音障碍严重程度方面取得了进展,但这些方法大多依赖于受控条件下的研究数据集,其在真实世界、非受控环境下的表现尚不明确。此外,现有数字言语治疗工具缺乏实时反馈、个性化指导和自适应难度调整功能,难以满足神经性言语障碍患者的独特需求。
为解决上述问题,研究人员开发并评估了Whisper-ST1这一新型人工智能模型,旨在从音频文件中准确分类构音障碍的严重程度。该研究的创新之处在于:整合了来自社交媒体平台的真实世界构音障碍语音数据,扩大了训练数据的录制条件范围;采用可量化、可重复的临床标注方法;设计通用且可扩展的数据划分策略;通过微调大规模预训练的自动语音识别(ASR)模型来适应新的分类任务;引入回归目标函数以最小化序数数据的误分类影响;以及应用渐进式微调策略逐步解冻模型层。研究表明,Whisper-ST1在分类构音障碍严重程度上与言语治疗师表现出高度一致性,为开发基于人工智能的远程康复监测工具奠定了基础。
关键技术方法
研究人员采用了以下关键技术方法:
- 1.
数据收集与预处理:从YouTube、TikTok和Instagram等社交媒体平台收集89份公开的构音障碍语音录音,并使用Sortformer Diarizer 4spk v1进行说话人日志化和分段处理,最终获得1063个音频片段(来自86位说话者)。同时使用TORGO公共数据集中的600个音频样本(来自12个说话者-会话对)。
- 2.
样本标注:招募8名具有至少1年构音障碍治疗经验的言语治疗师,基于正交转录法计算言语清晰度百分比,并根据预设阈值将样本分为正常/轻度、中度、重度和极重度四个严重等级。
- 3.
模型选择与微调:选用Whisper-base作为骨干模型(74M参数),在其线性投影层后插入分类头进行适配。采用渐进式解冻策略分三轮微调4、6、8个隐藏层,并使用均方误差(MSE)作为回归损失函数替代传统的分类交叉熵损失。
- 4.
性能评估:在样本水平和说话者水平评估分类指标(准确率、精确率、召回率、F1分数),通过Kendall's Tau和加权Cohen's kappa评估与言语治疗师的相关性和一致性,并进行10,000次自助抽样计算95%置信区间。
研究结果
分类指标
Whisper-ST1在样本水平上实现了75%的整体准确率和72%的宏平均F1分数,精确率为81%,召回率为72%。在正常/轻度(93% F1分数)和中度(82%)严重程度级别上表现优异,而在重度(59%)和极重度(52%)级别上表现中等。所有误分类样本仅偏离真实等级一个级别,表明模型正确捕捉了严重程度的序数递进关系。在更具实际意义的说话者水平上,模型达到了83%的准确率和79%的宏平均F1分数,12位测试说话者中有10位被正确分类,2例极重度病例被误判为重度。
相关性分析
在样本水平上,Whisper-ST1的预测与真实标签呈强正相关(Kendall's Tau = 0.789),略低于两名言语治疗师与真实标签的相关性(Tau = 0.884;Tau = 0.895)以及治疗师之间的相关性(Tau = 0.846)。在说话者水平上,模型与真实标签的相关性(Tau = 0.893 [0.653 – 1.000])与治疗师的表现相当。
评分者间一致性
在样本水平上,Whisper-ST1与两名言语治疗师均表现出显著一致性(加权Cohen's kappa = 0.701和0.734),但低于两名专家之间的一致性(0.824)。在说话者水平上,这种差异消失,模型与治疗师的一致性(0.814 [0.400 – 1.000]和0.878 [0.647 – 1.000])与治疗师间的一致性(0.851 [0.550 – 1.000])相当。
消融实验
通过逐一移除或替换训练管道的各个组件,研究人员发现:排除社交媒体数据导致说话者水平F1分数下降39%;改用传统交叉熵损失使F1下降16%;完全微调全部模型层或仅微调分类头分别使F1下降30%和55%。这表明所有管道组件对实现优越性能都是必要的,其中微调策略贡献最大,其次是社交媒体数据、回归损失和TORGO数据。
讨论与结论
讨论部分指出,Whisper-ST1展示了利用机器学习技术基于声学特征区分构音障碍严重程度的可行性,尤其在高准确率识别正常/轻度和中度病例方面表现突出。模型的误分类仅限于相邻严重级别,保留了序数结构。与传统仅依赖研究数据集的研究不同,本研究结合了受控的TORGO记录和自发的社交媒体记录,增加了训练数据的多样性。研究人员还讨论了数据量小、类别不平衡、语言和口音多样性不足等局限性,以及未来需要在更大、更多样化的临床队列中进行前瞻性验证的必要性。
研究结论:这项概念验证研究表明,通过迁移学习将ASR模型Whisper-ST1适配于构音障碍严重程度分类,能够达到与专家言语治疗师相当的一致性(加权Cohen's kappa分别为0.814 [0.400 – 1.000]和0.878 [0.647 – 1.000]),与治疗师间的一致性(0.851 [0.550 – 1.000])可比。研究数据和真实世界数据的组合增加了模型开发过程中所代表的语音和录音条件的范围,并通过消融实验证实了整体性能的提升。这些发现为开发人工智能辅助的言语康复与监测工具提供了前景。然而,本研究尚未建立跨声学环境的鲁棒性、对外部人群的泛化性或临床有效性。需要在独立、更大、语言更多元的队列中进行前瞻性验证,以评估Whisper-ST1的临床价值。