医学图像分割中注释不确定性的隐匿价值:注释诱导评估不确定性(annotation-induced evaluation uncertainty)与概率注释表示驱动的可靠评估

《Frontiers in Imaging》:The hidden value of uncertainty in medical segmentation

【字体: 大 中 小 】 时间:2026年10月10日 来源:Frontiers in Imaging

编辑推荐:

  大多数分割算法的流程始于并终于一个经过整理的数据集(curated dataset)。在医学影像(medical imaging)中,这些数据集是临床医生付出巨大努力的结果,每个轮廓代表一系列知情决策的结果。由于这些数据集中投入了大量努力和经验,必须考虑关于注

  
大多数分割算法的流程始于并终于一个经过整理的数据集(curated dataset)。在医学影像(medical imaging)中,这些数据集是临床医生付出巨大努力的结果,每个轮廓代表一系列知情决策的结果。由于这些数据集中投入了大量努力和经验,必须考虑关于注释不确定性(annotation uncertainty)的信息在流程过程中丢失了什么。注释不确定性是任何包含专家解释的数据集的固有属性,在医学影像等安全关键领域(safety-critical domain)中尤其需要量化。在本观点文章(Perspective)中,研究人员考察丢失注释不确定性信息所带来的后果,不仅涉及数据集表示,也涉及模型评估的可靠性。研究人员将此描述为注释诱导评估不确定性(annotation-induced evaluation uncertainty):当多个不同的专家注释可能均为合理时,由用于评估的特定注释所引起的报告模型性能变异。相比之下,过去十年中大量研究关注模型不确定性(model uncertainty),包括开发预测分割(predicted segmentations)的概率表示(probabilistic representations),从而允许将细微空间信息纳入不确定性量化(uncertainty quantification)。应发展可比的注释不确定性表示,以补充这些进展,使评估不仅能够考虑预测中的不确定性,也能考虑注释中的不确定性。这将允许对医学分割(medical segmentation)模型进行更可靠和更有信息量的评估。
研究人员认为,医学图像分割中注释不确定性的问题长期被现有注释表示所遮蔽。医学影像自动分析涉及多种任务和成像模态,医学扫描量持续增长并推动放射科医生容量。随着自动化工具接近临床可用,临床参考标准的不确定性受到更多关注。当前参考注释表示限制了注释不确定性(annotation uncertainty)的表征,并遮蔽其对模型评估可靠性的影响。分割任务旨在识别图像中属于某一类别的像素,临床上常表现为勾画器官或肿瘤等目标边界,并以二值掩膜(binary mask)存储。二值掩膜虽便于计算,但许多医学目标并无清晰、明确边界。它实际上是专家解释,受视觉证据、注释协议和注释者既往经验影响;边界像素是否属于目标常存在不确定性,但该不确定性在分割表示阶段即被丢弃。这种将复杂空间观察压缩为简化表示的过程,从注释创建到分割模型评估反复发生。注释者内和注释者间变异性(intra- and inter-annotator variability)可部分恢复信息,但常被汇总为单一标量的注释相似性度量,导致注释者变异的位置、范围和分布信息在基准中丢失,并进一步使模型评估依赖于所采用的特定参考注释。研究人员因此提出并考察注释诱导评估不确定性(annotation-induced evaluation uncertainty):当多个不同专家注释均可能合理时,报告模型性能会随评估所用注释而变化。该研究并非提出新的分割方法,而是检查当前注释及其变异性表示如何不可逆地限制该不确定性表征,并推动更丰富的表示以支持更可靠模型评估。

研究人员开展的是观点文章(Perspective)性质的概念分析和文献综合,而非原始实验研究。其核心结论是:当前注释表示不足以表征注释不确定性;多注释者数据缺乏约束了注释不确定性建模和可靠评估;模型不确定性研究已较丰富,而注释不确定性表示应与之互补,使评估同时考虑预测与注释两侧的不确定性。其重要意义在于揭示报告性能可能条件于特定参考注释,并提出未来基准应保留专家分歧、采用更丰富注释表示,从而更可靠地区分合理差异与真正分割错误。

为开展该研究,研究人员采用的主要关键技术或方法框架包括:多注释者变异性研究(intra- and inter-annotator variability)、标签融合与多数投票(label fusion, majority voting;如 STAPLE)、相似性统计(Dice、Intersection-over-Union、Hausdorff 距离)、不确定性感知评估(Generalized Energy Distance, GED;Brier score;校准度量)、概率分割模型(Probabilistic U-Net、PHiSeg、CaliDiff)以及模型不确定性方法(MC Dropout)。涉及的样本队列或数据来源包括多注释者数据集 LIDC-IDRI 和 CURVAS 挑战等。

研究结果按原文小标题可概括如下。1 Introduction(引言):通过概念论证,指出当前参考注释表示限制注释不确定性表征,并提出注释诱导评估不确定性,强调目标不是新分割方法,而是检查注释表示对评估可靠性的影响。2 Sources of annotation uncertainty(注释不确定性来源):通过综述注释者分歧研究,指出成像模态、注释协议、分割目标属性以及注释者偏好和专长均可贡献变异;器官与病理目标的确定性不同,病理目标甚至可能存在存在性争议;总体注释变异混合固有与可避免来源,完美一致并不现实。3 Current representations of variability(当前变异性表示):通过分析单注释和多注释表示,指出单一标量、共识注释和 STAPLE 等融合方法会丢弃空间信息;多注释也可用于质量控制和训练指导;但许多基准缺乏注释者一致性报告,241 个医学图像分析挑战中 74% 未报告注释者间或注释者内变异性;公开多注释数据集如 CURVAS 对不确定性感知基准具有重要意义。4 Summarizing similarity statistics(相似性统计总结):通过讨论相似性度量,指出 Dice 和 Intersection-over-Union 等重叠度量将复杂空间关系聚合成单值,对小或复杂结构应谨慎;边界度量等互补度量可提供更细致比较;GED 可比较预测与参考分割分布,Brier score 和校准度量可评估概率预测,但仍依赖注释不确定性表示。5 Evaluating against uncertain benchmarks(面向不确定基准的评估):通过概念示例指出,专家注释本身是合理分割分布的样本;单一参考注释不能重建该分布,模型性能会随评估所用专家注释显著变化;理想情况下应对每个测试病例采用病例特异的合理注释概率表示,并进行分布间比较。6 Model uncertainty(模型不确定性):通过综述模型不确定性方法,指出贝叶斯方法、MC Dropout 和模型校准可表示预测置信;Probabilistic U-Net 使用 LIDC-IDRI 产生概率输出,其分布与 MC Dropout 不等价;模型不确定性与注释不确定性仍属不同概念;比较分布的评估理论早已存在,限制主要在于多注释数据缺乏。7 Discussion(讨论):当前关键限制是缺乏多注释数据;基准常为大量图像单次注释,财务成本约束明显;可考虑集中注释子集并近似全数据集合理注释分布,但仍需多注释数据验证;Joskowicz et al. 的工作提示 2 至 3 名注释者常仅捕获较大注释者群体变异的一部分;每份注释可视为底层合理注释分布的样本;注释者变异不应仅被缓解或消除,而富含注释质量、分割难度和评估背景信息;当前表示经多重聚合丢失信息,可信评估需要更详细信息以判断模型错误是否落在合理专家注释范围内。8 Conclusion(结论):研究人员认为,医学图像分割基准中的注释表示尚未跟上现代分割方法发展;单个二值注释不能反映全部合理注释;共识注释和标量总结虽实用,却丢弃图像间和图像内不确定性分布信息;日益增长的局限不在分割模型能力,而在注释的限制性表示;注释不确定性通过注释诱导评估不确定性传播到模型评估,使报告性能条件于特定参考注释;只要模型预测与单一二值掩膜比较,就不能正确区分合理差异与分割错误;未来基准应获取多个独立注释、记录注释协议并保留而非消除专家分歧;注释者数量应根据目标性质谨慎选择,2 至 3 名注释者可能不足以捕获全部注释不确定性;专家注释变异应纳入评估方法,使概率模型预测能与更丰富合理注释表示比较;编码模型不确定性不能替代测量注释者间变异性;分割实质性进展不仅依赖更强模型,也依赖更好基准表示;若期望分割模型表示不确定性,可信评估必须考虑比较两侧的不确定性。

讨论部分总结:研究人员强调,注释不确定性领域的核心瓶颈是多注释数据缺乏,且专家注释成本仍将限制数据获取。未来方向可集中于部分病例的多注释采样,并研究其能否近似整个数据集的合理注释分布,但验证仍依赖多注释数据。注释者数量本身重要,2 至 3 名注释者可能只捕获部分变异性。注释者变异不应仅被视为需减少的噪声,而应视为关于注释质量、分割难度和模型评估背景的丰富信息。当前从多观察到共识掩膜、从成对比较到标量值、从个体分数到平均统计的多重聚合,都会损失信息。没有单一表示能保留所有方面,但可信评估需要更详细信息,以判断模型错误是否位于合理专家注释范围内。

研究结论翻译:研究人员认为,在医学图像分割基准中,注释表示尚未跟上现代分割方法的发展。尽管存在表示预测置信度的复杂方法,但单个二值注释不能反映全部合理注释。共识注释和注释者变异的标量总结均为注释者分歧提供了实用解决方案,但它们丢弃了图像间和图像内不确定性分布的信息。研究人员认为,日益增长的局限不在于分割模型的能力,而在于注释的限制性表示。注释不确定性不仅仅是基准质量的度量——通过研究人员所称的注释诱导评估不确定性,它会传播到模型评估中,使报告性能条件于所使用的特定参考注释。尽管模型预测可以表示为概率输出,但只要它们与单个二值掩膜比较,就不能正确区分合理差异与分割错误。未来基准数据集应更强调通过获取多个独立注释、记录注释协议以及保留而非消除专家分歧来表征注释不确定性。注释者数量应仔细选择,同时考虑目标性质:2 至 3 名注释者可能无法捕获注释不确定性的全部范围。专家注释中的这种变异应被纳入评估方法,使概率模型预测能够与更丰富的合理注释表示进行比较。编码模型不确定性允许预测与注释之间进行更细致的比较,但不能被视为测量到的注释者间变异性的替代。分割的实质性进展最终不仅取决于构建更强大的模型,也取决于构建更好的基准表示。如果期望分割模型表示不确定性,可信评估必须考虑比较两侧的不确定性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号