跨CT、MRI与X射线分类任务评估预训练策略:ImageNet、RadiologyNET与RadImageNet的系统比较

《Journal of Imaging》:ImageNet, RadiologyNET, or RadImageNet? Evaluating Pretraining Across CT, MRI, and X-Ray Classification

【字体: 大 中 小 】 时间:2026年10月11日 来源:Journal of Imaging 3.8

编辑推荐:

  由于带注释的医学数据集有限,医学图像分类通常依赖于从大规模自然图像数据集(如ImageNet)进行迁移学习。然而,尚不清楚领域特异的预训练何时能带来更大益处。本研究评估了不同预训练权重对放射学图像分类任务中神经网络性能的影响。研究人员比较了四种策略:Image

  
由于带注释的医学数据集有限,医学图像分类通常依赖于从大规模自然图像数据集(如ImageNet)进行迁移学习。然而,尚不清楚领域特异的预训练何时能带来更大益处。本研究评估了不同预训练权重对放射学图像分类任务中神经网络性能的影响。研究人员比较了四种策略:ImageNet、RadiologyNET和RadImageNet模型微调,以及从随机初始化权重学习(Baseline)。实验在十次种子配对运行中进行,使用ResNet50、InceptionV3、DenseNet121、EfficientNet-B3和MobileNetV3-Large,分别应用于三个分类任务:多类别胸部CT、多类别BRISC脑MRI和二分类FracAtlas X射线骨折分类。预训练总体上比Baseline提高了性能,其中在胸部CT任务上观察到最大改进。Friedman检验发现,在所有三个任务中,每种架构的初始化策略之间均存在显著差异(所有p<0.05)。ImageNet在大多数架构–任务组合中取得了最佳结果,而RadiologyNET在特定情况下相当或更优,包括胸部CT上五种架构中的三种。RadImageNet的迁移表现不太一致,尤其在DenseNet121上。预训练模型通常也比随机初始化模型更快达到较高的验证性能。这些结果进一步支持了先前的研究发现,即在足够的下游数据上进行微调时,ImageNet预训练模型可以与领域特异的放射学模型表现相当或更好,而观察到的差异与源–目标对齐、下游数据可用性和网络架构的可能影响一致。
医学影像分类受限于标注数据匮乏,通常借助ImageNet等自然图像预训练模型进行迁移学习。然而,领域特异预训练能否带来更大收益尚无定论。为此,研究人员在前期构建RadiologyNET的基础上,进一步引入RadImageNet,在涵盖CT、MRI和X射线的三个分类任务中系统比较了四种初始化策略,以回答何时领域特异预训练优于通用预训练这一关键问题。

研究人员使用五种主流卷积神经网络架构——ResNet50、InceptionV3、DenseNet121、EfficientNet-B3和MobileNetV3-Large,在三个公开数据集上开展实验:多类胸部CT扫描数据集(946张图像,四类肺癌相关标签)、BRISC脑MRI数据集(6000张T1加权图像,四类)和FracAtlas X射线骨折数据集(4083张肢体X射线图像,二分类)。所有模型在相同训练条件下完整微调,每组配置使用配对种子重复十次运行;采用Friedman检验和Holm校正的Wilcoxon符号秩检验对F1分数进行统计比较,并使用t-SNE对特征空间进行辅助可视化。RadImageNet预训练权重仅适用于ResNet50、InceptionV3和DenseNet121,因此其参与比较的架构范围有限。

### 3.1 胸部CT扫描数据集

在胸部CT任务上,预训练总体上优于随机初始化。ImageNet在ResNet50(F1=0.9126)和InceptionV3(F1=0.8873)上取得最高平均F1,RadiologyNET在DenseNet121(0.9127)、EfficientNet-B3(0.9190)和MobileNetV3-Large(0.8548)上表现最佳。Baseline在三个架构中最低,其中MobileNetV3-Large的F1仅为0.1250,准确率0.25。Friedman检验显示每种架构的初始化策略间均存在显著差异。事后比较表明,ImageNet在所有架构上显著优于Baseline,RadiologyNET除InceptionV3外均显著优于Baseline,而RadImageNet在ResNet50上优于Baseline,但在InceptionV3和DenseNet121上显著更差。混淆矩阵显示ImageNet和RadiologyNET的误判主要发生于腺癌与正常类之间;RadImageNet初始化的InceptionV3和DenseNet121的预测与真实标签关联较弱。验证曲线表明,预训练模型通常比随机初始化更快达到高验证F1。

### 3.2 BRISC数据集

在BRISC脑MRI任务上,几乎所有预训练配置的F1均超过0.95。ImageNet在全部五种架构上取得最高F1,范围从ResNet50的0.9888到InceptionV3的0.9919;RadiologyNET均列第二,F1介于0.9729至0.9866之间。RadImageNet在ResNet50和InceptionV3上分别为0.9738和0.9562,但DenseNet121在十次运行中失败九次,平均F1仅为0.2597。Baseline在除DenseNet121外均为最低。Friedman检验表明所有架构差异显著;除EfficientNet-B3的ImageNet与RadiologyNET比较外,所有配对比较均显著,且DenseNet121上Baseline显著优于RadImageNet。混淆矩阵显示RadImageNet初始化的DenseNet121将大部分样本预测为垂体瘤,而ImageNet和RadiologyNET配置对无肿瘤类别几乎无误判。验证曲线显示预训练模型在较早epoch即达到高F1,Baseline波动较大。

### 3.3 FracAtlas数据集

在FracAtlas X射线任务上,整体性能低于BRISC,多数配置平均F1在0.87至0.95之间。ImageNet在全部五种架构上获得最高F1,从MobileNetV3-Large的0.9272到EfficientNet-B3的0.9467。RadImageNet在ResNet50和InceptionV3上与RadiologyNET相近,但在DenseNet121上最低且变异较大(F1=0.8729±0.0716)。Friedman检验再次显示所有架构存在显著差异。事后比较显示:ResNet50上ImageNet显著优于Baseline和RadImageNet,但与RadiologyNET差异不显著;InceptionV3上ImageNet显著优于其他所有策略,其余策略间无显著差异;DenseNet121所有配对比较均显著;EfficientNet-B3和MobileNetV3-Large的三种可用策略(ImageNet、RadiologyNET、Baseline)间均显著不同。验证曲线显示ImageNet初始化的模型自首个epoch即达到最高验证F1,RadiologyNET次之,RadImageNet收敛最慢,Baseline整体最差。

讨论部分指出,预训练获益程度与下游数据规模、源–目标对齐及网络架构密切相关。在数据最受限的胸部CT任务中预训练优势最大;RadiologyNET因包含53.7%的CT图像,在该任务上表现突出。BRISC任务中,RadiologyNET与ImageNet差距很小,而RadImageNet尽管MRI占比高,但因解剖区域覆盖广泛而未能获益。FracAtlas任务中,由于两个放射学源数据集中X射线占比极低,ImageNet仍为最优。架构方面,低容量的MobileNetV3-Large在领域对齐预训练下获益更明显;RadImageNet初始化的DenseNet121在所有任务中均不佳,可能反映其对预训练检查点或微调过程敏感,而非源–目标失配。此外,预训练模型普遍收敛更快、运行间稳定性更高。研究者也承认,优化设置对每种预训练源不一定最优,且未包含Transformer架构,这些因素限制了对因果机制的推断。

研究结论:本研究将RadImageNet纳入先前的ImageNet、RadiologyNET与随机初始化比较框架,通过五个架构、三个任务的十次种子配对实验,证实迁移学习在下游数据有限时尤为有益,但其效果因任务和架构而异。观察到的模式与源–目标对齐和下游数据可用性的可能影响一致,尽管这些因素未被独立操纵。ImageNet在大多数架构–任务组合中取得最强结果,而RadiologyNET在预训练与目标域更接近且下游数据更少(胸部CT任务)时具有竞争力或更优。因此,预训练权重的选择应综合考虑源数据组成与偏差、与目标任务的模态和解剖重叠、下游数据规模以及网络架构。未来工作应在更多源–目标组合和微调设置下评估这些交互,特别是超声数据(RadImageNet中有而RadiologyNET中没有)以及解剖重叠不同的MRI任务,以进一步厘清源数据多样性与源–目标对齐对特征可迁移性的影响。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号