编辑推荐:
计算机视觉(computer vision)是计算机科学中快速发展的领域,聚焦于从数字图像中提取有意义信息。在医学影像(medical imaging)中,目标检测(object detection)、分类(classification)和分割(segment
计算机视觉(computer vision)是计算机科学中快速发展的领域,聚焦于从数字图像中提取有意义信息。在医学影像(medical imaging)中,目标检测(object detection)、分类(classification)和分割(segmentation)等计算机视觉技术对分析复杂解剖结构至关重要。本入门性综述概述计算机视觉概念与方法,强调传统方法与现代机器学习(machine learning, ML)技术。关键点检测(landmark detection)和形状建模(shape modelling)也被讨论,因为这些与肌骨影像(musculoskeletal imaging)尤其相关。文中审视在临床实践中应用计算机视觉的挑战,包括数据限制、域偏移(domain shift)以及稳健验证(robust validation)需求。最后,探讨将计算机视觉整合到骨质疏松症(osteoporosis)研究和临床工作流程中的未来方向,强调可解释性(explainability)、公平性(fairness)以及遵循可信临床工具指导原则的重要性。
计算机视觉(computer vision,从数字图像中提取和识别有意义信息的计算机科学领域)在医学影像中的应用日益增多。研究人员指出,计算机视觉任务常见于计算机断层扫描(computed tomography, CT)、磁共振成像(magnetic resonance imaging, MRI)或X线等模态,核心任务包括发现感兴趣对象的位置和形状、对图像内容进行分类以及将图像分割为精确区域。尽管计算机视觉自20世纪60年代已存在,但近年来因海量数据、计算处理能力进步和算法改进而重要性激增;然而其在医疗领域部署受监管要求、临床接受度差异和工具成熟度等社会学与技术因素影响。在放射学中,计算机视觉作为人工智能(artificial intelligence, AI)的一部分已成为应用最广泛的技术之一,潜在应用包括自动创伤与病理检测,如脆性骨折和骨质疏松症诊断自动化。临床中,此类系统通常作为决策支持工具,补充而非替代人类专业知识。
目前存在的问题主要在于:临床应用需要数据质量与代表性,但大型、多样化数据集有限;模型在某一扫描仪或模态上训练后,用于不同扫描仪、采集参数、成像协议或不同模态时性能下降,即域偏移(domain shift,训练数据与应用数据分布不一致);许多工具缺乏外部验证(external validation,在独立数据上评估模型),限制了对泛化能力和临床就绪度的判断;此外,可解释性、监管合规和临床医生信任也影响安全有效部署。因此,研究人员开展这项入门性综述,目的是整合计算机视觉基础概念、传统方法和现代机器学习方法,重点讨论肌骨影像中的关键点检测和形状建模,并审视数据挑战、验证要求及骨质疏松症研究和临床工作流程中的未来方向,强调可解释性、公平性和可信临床工具指导原则。其重要意义在于为临床医生和研究者提供概念框架,并指出基于ML的计算机视觉方法在预测脆性骨折、检测髋部骨质疏松和识别椎体骨折方面已有证据出现,但临床转化仍需克服数据、验证和工作流整合障碍。
关键技术方法概述:该文为临床入门性综述,主要综合传统计算机视觉与现代ML方法。传统方法包括Canny边缘检测、Haar Cascades、模板匹配、基于阈值、边缘和区域生长的分割,以及统计形状模型(statistical shape model, SSM)和主成分分析(principal component analysis, PCA)、主动形状模型和主动外观模型。现代ML方法包括迁移学习(transfer learning,利用已有模型适配新任务)、卷积神经网络(convolutional neural network, CNN)如AlexNet、ResNet、U-Net,目标检测方法R-CNN、YOLO、视觉Transformer(vision transformer, ViT),分割模型MedSAM,以及联邦学习(federated learning,多机构不共享原始数据联合训练)。数据来源示例包括ImageNet(超过1400万高分辨率真实世界照片)、566例膝部X线影像和UK Biobank髋部SSM研究。
Introduction to Computer Vision(计算机视觉简介):该节通过概述计算机视觉定义和医学影像任务,指出常见任务为检测对象位置与形状、分类和分割,并应用于CT、MRI或X线;近年发展受数据、算力和算法推动,放射学中已广泛采用,临床部署多作为决策支持工具。
Foundational Concepts(基础概念):该节通过说明边缘检测和特征学习,指出计算机视觉通过识别像素模式工作;特征包括边缘、角以及“blobs”等纹理区域;传统方法由人工设计特征检测器,如Canny边缘检测多阶段处理,现代ML方法则自动从大数据学习特征,如AlexNet从ImageNet学习96个特征;迁移学习可适配已有模型以节省时间和成本。
Core Computer Vision Tasks (Both Traditional and Machine Learning)(核心计算机视觉任务:传统与机器学习):该节引出目标检测、分类和分割三类任务。
Object Detection(目标检测):该节通过描述发现对象并学习类别标签的任务,指出输出常为边界框;传统方法如Haar Cascades使用手工特征和滑动窗口,现代方法如R-CNN、YOLO和Transformer视觉算法;挑战包括对象数量未知、低分辨率、遮挡,椎体骨折检测需先定位每个椎体。
Classification(分类):该节通过说明判断图像或对象性质的任务,指出图像分类与对象分类不同;传统可用模板匹配,ML方法包括AlexNet、YOLO和ResNet;挑战包括训练数据标注、专家诊断不一致和域偏移;骨质疏松症诊断常以骨密度(bone mineral density, BMD)为指标,分类为骨量减少、骨质疏松或严重骨质疏松。
Segmentation(分割):该节通过说明将图像划分为感兴趣区域(region of interest, ROI),指出策略包括阈值分割、边缘分割和区域生长分割;ML方法包括U-Net和MedSAM;挑战包括解剖边界弱、低对比度成像以及专家对边界不一致。文中以高分辨率MR T
1加权数据经FreeSurfer分割脑区为例说明。
Landmark Detection and Shape Modelling(关键点检测与形状建模):该节通过介绍SSM,指出其用关键点捕获同类对象形状变异,并通过PCA生成形状模式;SSM可用于股骨和椎体分割重建、骨折风险预测和椎体骨折检测;UK Biobank中SSM衍生髋部形状与 incident hip fracture risk 独立于既定骨密度和常规几何测量相关;SSM还可结合搜索算法、主动形状模型、主动外观模型及ML和深度学习用于新图像关键点检测。
Data Challenges for Clinical Application(临床应用的数据挑战):该节指出ML模型需在质量和代表性足够的数据上训练,覆盖疾病严重程度、解剖变异、人口学特征及健康个体;不足子集训练易致偏倚;不同模态间泛化差,同一模态内扫描仪、参数和协议差异也可引入系统偏倚;联邦学习可缓解数据共享限制并改善隐私。
The Importance of Validation(验证的重要性):该节通过讨论内部与外部验证,指出需留出测试集进行无偏评估;避免过拟合以获得良好泛化;内部验证仅是初步,外部验证在相似但不同条件下评估模型,如不同医院或同模态不同扫描仪;缺乏外部验证限制临床ML工具泛化评估;Health AI Register可提高验证透明度。
Conclusions and Future Directions(结论与未来方向):该节总结计算机视觉方法日益用于医学影像,可支持临床决策、提高诊断一致性并实现大规模分析;骨质疏松症领域,基于ML的计算机视觉方法在预测脆性骨折、检测髋部骨质疏松和识别椎体骨折方面证据正在出现;但临床转化仍受大型多样数据集有限、外部验证缺乏和工作流整合困难限制,并需处理可解释性、监管合规和临床医生信任。未来应关注联邦学习和隐私保护方法以缓解数据共享约束,同时维护患者机密;可解释ML方法对透明性和临床医生信任至关重要;FUTURE-AI Consortium已提出可信AI工具的指导原则,聚焦公平性、普遍性、可追溯性、可用性、稳健性和可解释性,这些原则直接适用于骨质疏松症计算机视觉方法。
研究结论部分翻译:计算机视觉方法正越来越多地应用于医学影像数据,具有支持临床决策、提高诊断一致性并实现大规模分析的潜力。在骨质疏松症领域,基于ML的计算机视觉方法用于预测脆性骨折、检测髋部骨质疏松和识别椎体骨折的临床效用证据正在出现。尽管有这些进展,这些方法的临床转化仍具挑战性。关键障碍包括用于训练和测试的大型、多样化数据集可用性有限,许多现有工具缺乏外部验证,以及将基于ML的计算机视觉工具整合到现有临床工作流程中的困难。此外,必须解决与可解释性、监管合规和临床医生信任相关的问题,以确保安全有效部署。未来工作应聚焦克服这些限制。例如,联邦学习和隐私保护方法可帮助缓解数据共享约束,同时维护患者机密。此外,可解释ML方法对创建透明性和培养临床医生信任至关重要。FUTURE-AI Consortium作为一个多利益相关方倡议,已概述医疗保健中可信AI工具开发和部署的指导原则,聚焦公平性、普遍性、可追溯性、可用性、稳健性和可解释性。这些原则直接适用于骨质疏松症中的计算机视觉方法,提供框架以确保未来工具不仅准确,而且透明、公平和临床可用。