《Ultrasound in Medicine & Biology》:From Relative Annotation to Pairwise Learning for Assessing Echocardiographic Rotational Alignment
编辑推荐:
目的:评估在模型训练期间保留由专家推导的相对结构,是否能够改善对心尖四腔(apical four-chamber, A4C)超声心动图图像中旋转错位的自动评估。方法:采用多专家A4C图像数据集,通过多图像排序(multiple-image ranking)进行
目的:评估在模型训练期间保留由专家推导的相对结构,是否能够改善对心尖四腔(apical four-chamber, A4C)超声心动图图像中旋转错位的自动评估。方法:采用多专家A4C图像数据集,通过多图像排序(multiple-image ranking)进行注释,以沿顺时针至逆时针连续谱推导共识旋转排序。将传统逐点回归(pointwise regression)模型与共享权重成对(shared-weight pairwise)模型进行比较,后者接收两幅图像并预测其共识旋转评分之间的有符号差值。在三个独立专家排序测试集上,使用成对一致性(pairwise agreement)和Spearman相关(Spearman correlation)评估性能。通过留一专家(leave-one-expert-out)和循环一致性(cycle-consistency)分析进一步评估稳健性,并使用基于显著性(saliency-based)的可视化检查影响预测的图像区域。结果:与逐点回归相比,成对学习将平均成对一致性从74.86%提高至84.29%,平均Spearman相关从67.74%提高至85.43%。最佳成对模型达到成对一致性最高87.81%,Spearman相关最高91.23%。当排除个别注释者时性能保持稳定,循环一致性分析显示独立测试数据上循环偏好很少。视觉解释图表明模型关注临床相关心脏解剖。结论:直接基于专家推导的相对结构进行训练,相比传统逐点回归改善了与多专家共识的一致性。因此,成对学习为评估定性、连续的超声心动图图像质量属性(如旋转对齐)提供了稳健框架。
研究背景:超声心动图是评估心脏结构和功能的一线影像模态,其诊断价值依赖图像采集质量和标准化。心尖四腔(apical four-chamber, A4C)视图支持视觉判读以及腔室尺寸、心室容积、射血分数(ejection fraction, EF)和纵向应变等下游测量,但最佳A4C采集仍依赖操作者。患者体型、声窗、肋骨遮挡、呼吸、机器设置和探头操作均可改变解剖显示,降低视觉和定量评估可靠性。超声图像质量是多维属性,包括解剖可见性、技术信号质量、时间稳定性、短轴缩短、居中和采集正确性。旋转错位是采集正确性组成部分:探头绕成像轴顺时针或逆时针扭转,使成像平面偏离目标四腔平面,即使图像清晰并可归类为A4C,仍可沿顺时针-逆时针对齐轴偏移。旋转错位较整体图像质量评分、视图分类或短轴缩短受关注少。专家对旋转错位通常不是绝对评分,而是比较两幅图像哪个更顺时针或更逆时针,常规人工智能(artificial intelligence, AI)逐点回归将专家判断压缩为单图绝对分数,造成训练与判断方式不匹配。相对注释可减少这种不匹配。Dhutia et al.开发散斑追踪算法检测A4C内外侧探头平移,显示算法方向评估与专家共识一致,并建立正确A4C采集部分主观、专家共识是务实参考标准、客观方向指标支持训练和质控等原则。Zaman et al.在心脏磁共振中引入多图像排序。研究人员前期将多图像排序用于A4C旋转错位,但学习阶段仍为逐点回归。鉴于许多超声质量属性定性、连续且难以绝对评分,研究人员将学习问题重构为成对比较,以A4C旋转错位为代表性任务,训练共享权重成对模型预测两图共识旋转评分的有符号差值,再聚合为全局排序,测试保留相对结构是否改善与专家共识的一致性。
关键技术方法:样本来自Imperial College Healthcare NHS Trust超声心动图数据库,经Health Research Authority批准匿名导出常规临床护理数据,由经验丰富的超声技师使用多厂家标准系统采集。研究人员用视频视图分类框架识别A4C相关子视图,保留A4CH-Full 4080个、A4CH-LA 3079个和A4CH-LV 3744个视频;用心动周期相位检测模型选取舒张末期、收缩末期及两个中间帧;再以卷积神经网络(convolutional neural network, CNN)特征、主成分分析(principal component analysis, PCA)和聚类进行多样性选样。400个视频的1600幅图像由25名临床专家在Unity平台进行多图像排序,每批6幅,从最逆时针到最顺时针排列。开发集为1300幅训练、200幅内部验证、100幅内部测试,同一研究不跨子集;另设三个独立30幅专家排序评估集,各由10名专家独立排序。模型包括ResNet基线、Xception及14类和47类超声视图分类预训练;比较逐点回归与共享权重成对模型,成对目标为共识评分差,推理采用Elo式聚合;评价指标为成对一致性、Spearman相关、留一专家、循环一致性、Grad-CAM和显著性。训练使用TensorFlow 2.0、RTX 4090,图像256×256,最多20个epoch。
研究结果:
成对一致性:在三个独立专家排序评估集上,通过比较模型预测排序与多专家共识,所有骨干设置下成对模型均优于对应逐点回归。最佳成对基线模型在评估集2达到87.81%,14类预训练成对模型在评估集1达到87.35%;平均成对一致性为83.36%至84.29%,而回归基线为74.86%。
Spearman相关:通过模型全局排序与专家共识排序的相关分析,成对模型再次最高。最佳单个结果为14类预训练成对模型在评估集1达到91.23%,47类预训练成对模型在三个评估集最稳定,分别为88.65%、89.32%和86.87%。无超声预训练的回归表现较差,预训练显著改善回归但未消除成对优势;成对学习对预训练依赖较低。
推理计算性能:匹配的47类预训练模型中,成对模型将平均成对一致性从81.68%提高到83.36%,平均Spearman相关从0.82提高到0.88。每幅图像嵌入计算一次并缓存后,30幅图像排序耗时14.71±0.13 ms对13.12±0.08 ms,尽管成对模型参数更多,为33.71 M对24.07 M。
人类专家基准:30次专家观察中,个体专家与共识排序的平均Spearman相关为0.927±0.053,范围0.743至0.981;平均Kendall’s tau为0.789±0.078;平均成对一致性为0.895±0.039,范围0.777至0.947。最强成对模型池化Spearman相关为0.876,成对一致性为0.838,处于个体专家与共识一致范围内,但低于平均专家。
对个体专家排除的稳健性:在评估集1的留一专家分析中,成对模型保持高且稳定。14类预训练成对模型平均相关最高为91.63,两个预训练成对模型变异最低,说明性能不是由单一注释者驱动。
离群与可解释性分析:通过代表性排序离群和Grad-CAM、显著性图分析,成对模型比回归模型更接近专家共识对角线。成对模型注意力更集中于中央心脏区域,包括室间隔、心室腔和房室瓣平面;回归激活更弥散并扩展到解剖信息较少区域。共享离群图像通常质量低、边界不清,可视化为示意性证据。
原始注释分歧和循环一致性:4240次专家排序提交提取出107142个成对投票,覆盖99595个唯一图像对;7009对重复评估,其中1429对在两个方向重复判断,重复对少数投票不一致率为20.39%。原始合并专家多数投票图中,763886个完整三元组有21204个循环三元组,循环率2.7758%。模型在三个外部评估集的12180个三元组中,基线和14类预训练成对模型无循环,47类预训练成对模型有3个循环,循环率0.0246%。人与AI分析图和数据不同,应作描述性解释;结果支持共识生成作为去噪步骤。
讨论部分总结:成对学习在三个独立专家排序评估集上优于逐点回归,优势跨骨干出现并在留一专家分析中稳定。Grad-CAM和显著性分析提供互补定性支持,成对模型更关注临床相关心脏解剖,回归模型激活更弥散。人类基准显示模型排序处于个体专家与共识一致范围内,但低于平均专家,说明捕获了临床有意义成分,仍有提升空间。原始注释存在可测分歧和非传递结构,共识生成作为个体注释与成对训练之间的去噪步骤。方法学结论是:对自然通过比较判断的定性超声属性,在注释和模型学习中保留相对结构可能有益。临床意图是支持更标准化A4C采集、受训者反馈、质量控制和为下游测量选择更可靠图像,而非替代专家判读。局限包括未直接量化对EF、整体纵向应变(global longitudinal strain, GLS)、腔室容积等影响;共识目标可能丢弃注释者不确定性;架构未强制反对称或传递性,Elo式聚合仅用预测方向而未用幅度;计算基准使用预处理图像和高端GPU,未含采集及系统集成开销;旋转仅为多维采集之一,可能与其他错位共存;需多中心前瞻验证并与其他采集质量指标联合评估。
研究结论翻译:本研究评估A4C旋转错位更适合作为逐点回归问题还是成对比较问题;更广泛地,研究在模型训练中保留相对专家判断能否改善定性超声旋转对齐评估。基于相对注释的既往工作,包括心脏磁共振多图像排序和研究人员早期基于回归的旋转模型,研究人员将学习阶段重构为成对比较,使用专家共识旋转量表推导的目标。在三个独立专家排序评估集上,成对学习比传统逐点回归与多专家共识排序更强一致;该优势跨不同骨干出现,并在留一专家分析中稳定。Grad-CAM和显著性分析提供互补定性支持,成对模型更关注临床相关心脏解剖,而回归模型激活更弥散。人类基准显示模型排序处于个体专家与共识一致范围内但低于平均专家,说明捕获临床有意义成分,同时仍有改进空间。原始注释分析支持建模策略:原始专家排序在共识前存在可测成对分歧和非传递结构,因此基于共识评分差训练成对模型是刻意设计,共识生成作为个体注释和成对模型训练之间的去噪步骤;外部评估极低循环率提示共识监督产生内部稳定成对预测,尽管架构未显式传递性约束。这些结果支持实用方法学结论:对自然通过比较判断的定性超声属性,在注释和模型学习中保留相对结构可能有益;在A4C旋转错位中,成对学习比从单图直接回归绝对分数更忠实。临床角度,预期效用是支持更标准化A4C采集、受训者反馈、质量控制和为下游测量选择更可靠图像,而非替代专家判读。