使用机器学习、深度学习及新兴大语言模型和视觉语言模型进行自闭症谱系障碍检测的面部数据:一项系统综述
《Artificial Intelligence in Medicine》:Facial data for autism spectrum disorder detection using machine learning, deep learning, and emerging large language and vision-language models: A systematic review
【字体:
大
中
小
】
时间:2026年10月13日
来源:Artificial Intelligence in Medicine 7.8
编辑推荐:
• 回顾了171项基于面部数据的孤独症谱系障碍(ASD)评估研究。
• 涵盖面部图像、面部视频、眼动追踪、多模态数据以及基础模型。
• 比较了数据集、特征、模型、融合策略和评估方案。
• 识别了在验证、偏差、标签、隐私和可解释性方面的差距。
• 规划了面向鲁棒、可解释且临床可
• 回顾了171项基于面部数据的孤独症谱系障碍(ASD)评估研究。
• 涵盖面部图像、面部视频、眼动追踪、多模态数据以及基础模型。
• 比较了数据集、特征、模型、融合策略和评估方案。
• 识别了在验证、偏差、标签、隐私和可解释性方面的差距。
• 规划了面向鲁棒、可解释且临床可用的筛查发展方向。
引言
孤独症谱系障碍(Autism Spectrum Disorder, ASD)是一种神经发育性疾病,在儿童早期出现,通常贯穿整个生命周期,其特征表现为持续的社会互动与沟通困难,以及受限或重复的行为与兴趣 [1]。早期识别在临床方面具有重要意义,因为发育性干预在儿童早期启动时通常更为有效,及时识别可促进获得量身定制的支持、指导和资源 [2], [3], [4]。然而,早期检测仍然困难,因为最初的征兆可能较为微妙,并与典型的发育变异有所重叠,包括对名字反应减少、社会参与度降低以及避免眼神接触等 [5], [6]。尽管在18至24个月之间通常可以进行临床诊断,但证据表明,采用更敏感的评估方法可能实现更早的识别 [7]。前瞻性研究进一步表明,后来被诊断为ASD的婴儿在出生后的第一年内即可表现出异常的发育轨迹,包括在运动发育、情绪调节和感觉处理方面的差异 [8]。基于人群的监测进一步凸显了ASD的公共卫生重要性以及其识别过程中持续存在的差异不平等。最新估计报告ASD患病率约为每31名儿童中有1名,且诊断模式在不同种族、民族和社会经济群体之间存在差异,表明在识别和服务获取方面存在不平等 [9]。
目前在临床环境中,ASD的识别仍然主要依赖行为评估。传统评估通常结合临床医生主导的观察、照护者报告的发育史以及基于问卷的筛查工具 [10]。常见的筛查和评估工具包括早期孤独症特征筛查问卷(ESAT)[11]、孤独症症状维度问卷(ASDQ)[12]、修订版孤独症诊断访谈(ADI-R)[13]、孤独症诊断观察量表(ADOS和ADOS-2)[14], [15]、儿童孤独症评定量表(CARS)[16]、吉利亚姆孤独症评定量表(GARS)[17]、修正版幼儿孤独症筛查清单(M-CHAT)[18]以及孤独症行为检查表(ABC)[19]。尽管这些方法具有临床价值,但它们在可扩展性和早期筛查方面存在局限性。它们依赖于照护者报告和临床医生观察的主观判断,需要大量时间和专业训练,并且在资源有限的环境中难以获取。例如,基于ADOS的评估可能需要10至20小时有经验的临床工作来完成单个病例 [20]。由于这些方法依赖于外显的行为表现,对于症状正在显现但尚未明确表达的婴幼儿,其敏感性也可能较低 [21]。
这些限制促使人们日益关注基于机器学习(ML)和深度学习(DL)的自动化和计算机辅助方法,这些方法能够对复杂信号建模、提取细微模式并整合异构证据来源。ASD评估的计算方法涵盖多种模态,包括面部分析、表情和关键点动态、机器人辅助交互、眼动追踪、神经影像、电生理学以及遗传信息。ML和DL方法也已应用于客观的神经生物测量,如功能性磁共振成像(fMRI)[22]和脑电图(EEG)[23]。然而,这些生物标志物通常需要专业设备和专业知识,这限制了其用于常规或大规模筛查的可行性 [24]。因此,近期研究越来越关注在自然或低负担情境中可获取的外部可观察行为信号。
在此背景下,面部数据已成为计算机辅助ASD筛查的一个特别实际的方向 [5], [25]。面部分析具有吸引力,因为与ASD相关的社会-沟通差异可能反映在异常的面部表达性 [26]、减少的情感互惠 [27]以及独特的社会注视模式中 [28],这些均可通过面部相关数据进行观察和量化。此外,面部图像、面部视频和眼动数据可以通过广泛可用的消费级设备(如台式电脑 [29]、平板电脑 [30] 和智能手机 [31])以无侵入方式获取,从而支持临床和自然情境下的数据采集,而无需高度专业化的硬件。计算机视觉和深度学习的进步进一步实现了面部分析的自动化流程 [32], [33],而多模态系统可将面部信息与互补信号相结合,为ASD相关行为提供更丰富的表征 [34]。现有研究因此涵盖了广泛的面部数据方法,包括静态面部图像的形态学指标分析 [35]、面部视频的动态表情和注视行为分析 [26], [28]、眼动追踪的视觉注意模式分析,以及将面部数据与其他行为、生理或人口统计信号相结合的多模态框架 [36]。
人工智能辅助ASD研究的快速发展催生了涉及不同人群、模态和方法范围的综述。部分综述专注于眼动追踪和社会视觉注意 [37], [38],其他综述则聚焦于计算机视觉 [39]、视频和身体运动分析 [40], [41],或脑电图 [42]。涵盖多种数据类型的综述通常聚焦于早期检测或幼儿群体 [43], [44], [45]。更广泛的综述比较了跨问卷、面部数据、眼动追踪、神经影像及其他输入的机器学习与深度学习方法,部分综述还考察了数据集或临床实施 [46], [47]。表1根据这些综述的模态、方法学覆盖范围、数据集分析、临床转化讨论以及纳入研究数量进行了结构化比较。
Yang等人 [40] 的综述专门涵盖了多模态系统、数据集比较和临床转化;而在比较中包含的其他综述中,至少有一个领域仅被部分涉及或缺失。表1中比较的任何综述均未综合新兴的大语言模型(LLM)、视觉-语言模型(VLM)或多模态大语言模型(MLLM)方法。本综述纳入171项研究,而表1中列出的综述仅纳入11至94项,从而为跨模态综合提供了更广泛的语料库。本综述通过其综合范围实现差异化:它综合了静态面部图像、面部视频、眼动追踪以及面部相关多模态系统;考察了应用于ASD评估的基础模型,并单独考察了面部数据基础模型在其他临床状况中的应用以评估其方法学可迁移性;比较了跨模态的证据;并评估了数据集有效性、人口统计代表性、知情同意、重叠、重复观测、授权许可和验证实践。它还对所有纳入研究应用了结构化的质量和偏倚风险评估,并将所得证据与临床转化相关联。
为覆盖这一范围,本文呈现了一项关于基于面部数据和应用于ASD评估的基础模型的学习型研究的系统综述。在其他临床状况中进行的面部数据基础模型研究被单独考察其方法学可迁移性,不作为ASD评估的直接证据。主要贡献如下:
1. 我们提供了对2016年至2026年5月间发表的171项研究的系统且最新综述,涵盖基于面部数据的ASD检测、基础模型辅助的ASD评估,以及可迁移至其他临床状况的面部数据基础模型应用。
2. 我们综合了四类面部数据模态组:静态面部图像、面部视频、眼动追踪和多模态框架。我们比较了它们的数据集、队列特征、输入表征、预处理方法、学习架构、融合策略、评估实践和报告性能。
3. 我们考察了应用于ASD评估的新兴大语言模型、视觉-语言模型和多模态大语言模型研究,并讨论了其他临床状况中的面部数据基础模型研究作为未来基于面部数据的ASD研究的可迁移方向。
4. 我们通过考察人口统计代表性、知情同意、授权许可、数据集重叠、重复观测、验证实践以及方法学质量和偏倚风险来批判性地评估数据集有效性和证据质量。我们通过这些发现,经由可解释性、隐私与数据治理、监管、临床医生接受度、工作流程整合以及前瞻性验证等途径,将这些发现与临床转化相联系。
本文其余部分组织如下。第2节描述综述方法学,包括研究范围、数据库检索策略、纳入排除标准以及多阶段筛选流程。第3节呈现公开可用的数据集及其主要特征,以支持基准测试和可重复评估。第4节回顾和比较基于面部数据的ASD检测的ML和DL方法,重点关注这些方法在不同面部数据模态中如何设计、评估和报告。第5节回顾应用于ASD评估的新兴大语言模型、视觉-语言模型和多模态大语言模型方法,并单独讨论其他临床状况中的面部数据基础模型研究,将其作为可迁移的方法学方向而非ASD评估的直接证据。第6节讨论影响可靠性和临床转化的反复出现的研究差距,并进一步提供关于数据资源、标注质量、评估严谨性、多模态整合、隐私感知部署以及临床可解释决策支持的实际视角。最后,第7节总结主要发现,强调关键挑战和未来方向。
章节片段
综述方法学
本综述采用结构化且透明的工作流程来识别使用面部相关模态(包括面部图像、面部视频、眼动追踪,以及至少一种模态为面部相关的多模态系统)进行ASD自动化检测及相关评估任务的研究。本综述还考虑了新兴的大语言模型(LLM)、视觉-语言模型(VLM)和多模态大语言模型(MLLM)研究,这些研究直接应用于ASD评估,并单独考察了……
数据集与数据获取
多个数据集支持使用面部图像、面部视频、眼动追踪和多模态录音进行ASD研究。示例采集设置和公开可用数据的示例分别如图4和图5所示。构建和共享这些数据集仍然困难,因为伦理、隐私和知情同意限制常常制约公开可用性、队列规模和人口统计多样性,使模型开发和公平比较变得复杂。本节总结了公开的……
使用面部数据进行ASD检测的机器学习和深度学习方法
本节回顾了跨静态面部图像、面部视频、眼动追踪和多模态框架的ML和DL-based ASD检测。它比较了每种模态所使用的输入表征、学习方法和评估设计,并考察了数据集、任务构建和验证方面的差异如何影响报告性能的解读和临床相关性。
新兴的大语言与视觉-语言基础模型
近期ASD评估研究已开始超越传统的任务专用机器学习和深度学习模型,转向基于大语言模型(LLM)、视觉-语言模型(VLM)和多模态大语言模型(MLLM)的方法。这些模型已被应用于面部和视听行为分析、自然家庭视频评估、基于ADOS的临床对话、语音-文本建模、问卷和临床报告分析,以及神经影像-语言……
研究差距
尽管在基于面部相关数据进行ASD检测和评估的ML、DL和新兴基础模型辅助方法方面取得了显著进展,但反复出现的局限性仍然制约着可靠性和临床转化。以下差距反映了跨研究观察到的主要问题,涉及数据基础、评估实践、多模态融合、基础模型落地以及部署就绪性。图20总结了ASD方面主要的研究差距及相应视角……
结论
本系统综述综合了171项研究,涵盖使用静态面部图像、面部视频、眼动追踪和面部相关多模态数据进行ASD评估的机器学习和深度学习方法;用于ASD评估的基础模型方法;以及可迁移至其他临床状况的面部数据基础模型应用。研究结果表明,面部外观、面部动态、注视行为、语音、运动以及临床信息均可对自动化……做出贡献
CRediT作者贡献声明
Munto Wondimagegn Bekele:撰写—审阅与编辑,撰写—初稿,可视化,方法学,调查,概念化。Mengying Zhou:撰写—审阅与编辑,撰写—初稿,调查。Wei Li:撰写—审阅与编辑,验证,调查。Zhihai Lv:撰写—审阅与编辑,验证,调查。Yanjie Wei:撰写—审阅与编辑,监督,调查,概念化。Ruisheng Ran:撰写—审阅与编辑,调查,……
伦理声明
本研究获得了中国科学院深圳先进技术研究院机构审查委员会的伦理批准(批准编号:SIAT-IRB-250615-H0996)。所有程序均按照相关法律法规和机构指南执行。
利益冲突声明
作者声明不存在已知的可能影响本文所述工作的竞争性财务利益或个人关系。
致谢
作者感谢国家自然科学基金(项目编号 U22A2041 和 62272449)、深圳市科技计划(编号 KQTD20200820113106007, ZDSYS20220422103800001)以及国家重点研发计划(编号 2024YFA0919702)的财政支持。本工作还得到了深圳智能生物信息学重点实验室(ZDSYS20220422103800001)和重庆市社会科学规划项目(2025NDYB084)的支持。我们……
Munto Wondimagegn Bekele | Mengying Zhou | Wei Li | Zhihai Lv | Yanjie Wei | Ruisheng Ran | Yi Pan | Wenhui Xi
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号