使用大语言模型评估轻度认知障碍:一项比较分析

《Biomedical Signal Processing and Control》:Evaluating Mild Cognitive Impairment using large language models: A comparative analysis

【字体: 大 中 小 】 时间:2026年10月12日 来源:Biomedical Signal Processing and Control 5.7

编辑推荐:

   摘要本研究评估了经过微调的大语言模型是否能够支持基于转写中文语音对轻度认知障碍进行初步筛查。使用 TAUKADIAL/TalkBank 连续语音数据集的中文子集,我们在监督微调、LoRA、QLoRA、不同量化设置、自动语音识别系统和提示风格下对比了 Llama3、Gemma、

  

摘要

本研究评估了经过微调的大语言模型是否能够支持基于转写中文语音对轻度认知障碍进行初步筛查。使用 TAUKADIAL/TalkBank 连续语音数据集的中文子集,我们在监督微调、LoRA、QLoRA、不同量化设置、自动语音识别系统和提示风格下对比了 Llama3、Gemma、Qwen 和 Qwen1.5 模型。实验通过受试者级别的五折交叉验证进行评估,并以准确率和 F1 分数的均值和标准差进行报告。在所测试的配置中,采用 4 位 QLoRA 的 Llama3-8B 表现最强,准确率和 F1 分数约为 0.86。为了将这些结果与透明替代方案进行比较,我们加入了官方的 TAUKADIAL 基于特征的标准方法,该方法使用声学 eGeMAPS 特征以及可解释的语言学指标,如标记数量、词类数量、词类-标记比、词汇密度以及动词和代词比率。由于官方标准方法使用不同的多语言训练/测试协议,因此将其作为外部参考而非直接排名对比。研究发现表明,基于大语言模型的转写文本分析可作为低成本的预筛查辅助工具,但由于数据集规模小且语言特定,以及缺乏匹配的外部验证,因此需要谨慎解读。

引言

轻度认知障碍是一种临床状况,其特征是认知下降程度明显超过与该人的年龄和教育水平预期一致的水平,但严重程度尚未明显干扰日常生活或独立功能。轻度认知障碍被认为是正常衰老预期的认知下降与痴呆症更严重的下降之间的中间阶段,尤其是阿尔茨海默病。患有轻度认知障碍的个体通常会经历记忆问题、语言困难、注意力问题和其他认知功能障碍,尽管他们仍能独立完成大多数日常活动。早期识别轻度认知障碍很重要,因为被诊断为轻度认知障碍的个体患阿尔茨海默病的风险较高。在连续语音任务中,临床医生通常要求参与者描述一幅图片或事件,然后评估语言组织、信息量、词汇检索和连贯性。这种评估在临床上有用,但耗时且依赖受过培训的人员,这促使开发可以支持可扩展初步筛查的计算工具。
最近的研究探索了用于认知评估中分析口语或书面语言的人工智能方法。在本研究中,我们专注于大语言模型,即在大型文本语料库上预训练的神经语言模型,以分析中文语音转写文本中与轻度认知障碍相关的语言模式。数据取自 TAUKADIAL/TalkBank 连续语音资源的中文子集。音频录音通过自动语音识别转换为文本,并在必要时进行人工检查。然后,我们使用监督微调和参数高效微调策略调整了多个开源大语言模型系列,包括 Llama3、Gemma、Qwen 和 Qwen1.5。
本研究的贡献并非新的微调算法,而是在低资源临床语言环境下,对用于基于中文转写文本进行轻度认知障碍预筛查的开源大语言模型进行的应用导向比较评估。具体而言,我们:(1)比较了多个大语言模型系列在同一中文连续语音子集上的表现;(2)在 4 位、8 位和非量化设置下考察了 LoRA 和 QLoRA 配置;(3)测试自动语音识别系统选择和提示风格是否对性能产生实质性影响;(4)将大语言模型结果与官方 TAUKADIAL 基于特征的标准方法进行比较;(5)结合已知的认知语言学标记和小数据集中的过拟合风险讨论研究结果。大语言模型实验的工作流程如图 1 所示。我们将所提出的模型定位为初步筛查辅助工具,而非独立的诊断系统。

章节摘要

相关工作

人工智能的近期进展为心理健康和神经认知状况的检测和诊断开辟了新的可能性,包括轻度认知障碍和抑郁症。传统评估通常依赖于临床访谈、神经心理学量表或专家对语言样本的审查。这些程序虽然信息丰富,但耗时且难以大规模部署。为此,研究人员调查了机器学习,

数据集描述。

本研究使用数据集源自 Interspeech 2024 TAUKADIAL 挑战赛。该语料库通过 TalkBank 托管,这是一个致力于共享对话语音数据库的仓库。有兴趣使用该数据的研究人员必须遵守 TAUKADIAL 挑战赛和 TalkBank 的访问协议。临床标签,即正常认知与轻度认知障碍以及相应的 MMSE 评分,由临床标准神经心理学评估得出

结果

主要基于特征的标准方法背景见表 4。大语言模型消融实验然后按自动语音识别来源、量化水平和提示风格进行总结。由于本数据集较小,大语言模型表格报告的是五个受试者级别交叉验证折次的均值和标准差,而非单一划分结果。
官方基于特征工程的系统建立了非平凡的参考基准:eGeMAPS 和基于语言学特征模型达到了

讨论

结果表明,基于转写文本的大语言模型调整可以在中文 TAUKADIAL 子集中检测到与轻度认知障碍相关的语言模式,但也说明了为什么应将此任务视为初步筛查问题而非最终诊断替代。采用 4 位 QLoRA 的 Llama3-8B 取得了最强的折次平均性能,而多个 Gemma 和 Qwen 配置则较弱或接近随机水平。这种差异可能反映了模型架构、多语言预训练

结论

本文评估了用于基于中文语音转写文本进行轻度认知障碍初步筛查的开源大语言模型,并将其与官方 TAUKADIAL 基于特征的标准方法进行比较。在测试的大语言模型配置中,采用 4 位 QLoRA 的 Llama3-8B 取得了最佳折次平均性能,准确率和 F1 分数约为 0.86。官方标准方法显示,透明的声学特征和语言特征也能提供有意义的区分能力,交叉验证 UAR 高达 0.6617,中文

CRediT 作者贡献声明

Baha Ihnaini:撰写——初稿、验证、监督、调查、概念化。Wei Liu:软件、形式分析。Zhuoqing Zhong:形式分析、数据整理。Zihui Deng:撰写——审阅与编辑、资源、调查、概念化。Jiayi Xu:撰写——审阅与编辑、验证、调查。Ruoling Zhao:可视化、软件。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

我们衷心感谢所有参与者为参与本研究付出的时间。ChatGPT 被用于提高稿件的清晰度和语言质量;所有科学内容、分析和结论均已由作者审阅和批准。

资金

本研究未报告特定外部资金。
Baha Ihnaini|Wei Liu|Zhuoqing Zhong|Zihui Deng|Jiayi Xu|Ruoling Zhao
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号