基于OCT图像的分割引导多任务学习用于COVID-19后视网膜改变的自动化分析

《Engineering Science and Technology, an International Journal》:Segmentation-guided multi-task learning for automated analysis of post-COVID-19 retinal alterations in OCT images

【字体: 大 中 小 】 时间:2026年09月27日 来源:Engineering Science and Technology, an International Journal 5.1

编辑推荐:

  摘要:COVID-19大流行揭示了呼吸系统之外显著的全身性影响,包括视网膜的结构性改变。本研究提出一种可解释的、分割引导的多任务深度学习框架,用于利用光学相干断层扫描(OCT)图像检测COVID-19后的视网膜异常。研究人员构建了一个包含225名参与者(健康对

  
摘要:COVID-19大流行揭示了呼吸系统之外显著的全身性影响,包括视网膜的结构性改变。本研究提出一种可解释的、分割引导的多任务深度学习框架,用于利用光学相干断层扫描(OCT)图像检测COVID-19后的视网膜异常。研究人员构建了一个包含225名参与者(健康对照、非持续性COVID-19患者和持续性COVID-19后遗症患者)的新数据集,并采用一个两阶段框架进行分析,该框架联合优化疾病分类与像素级视网膜分层分割任务。研究人员在五种实验设置下评估了七种深度学习骨干网络。与仅分类的基线相比,所提出的两阶段多任务学习框架将分类准确率提升+1.08%,F1分数提升+1.91%,其中分割分支通过引导编码器关注具有解剖学意义的视网膜结构来增强特征鲁棒性。这些发现证明了分割引导的多任务深度学习在COVID-19后视网膜图像自动化分析中的潜力,同时也表明仅凭视网膜影像可能不足以充分区分持续性与非持续性症状表型。
论文解读:分割引导的多任务学习在OCT图像COVID-19后视网膜改变自动化分析中的应用

一、研究背景与问题

COVID-19大流行不仅造成急性呼吸系统疾病,还导致大量患者出现持续多系统后遗症,统称为COVID-19后综合征(Post-COVID-19 Syndrome, PCS)。视网膜作为中枢神经系统的直接解剖和免疫延伸,提供了评估微血管及神经退行性损伤的非侵入性窗口。已有研究利用光学相干断层扫描(OCT)和OCTA记录了SARS-CoV-2感染后的视网膜异常,包括视网膜神经纤维层(RNFL)、神经节细胞层(GCL)及中心凹无血管区(FAZ)的改变。然而,现有文献存在显著异质性:部分纵向研究报告感染一年后RNFL和GCL持续变薄,另一些研究则显示改变在数月内恢复。这种不一致可能源于PCS本身的多面性,其表现可分为疲劳主导、认知主导等不同症状表型。传统的组间平均分析方法依赖于人工提取特征(如全局层厚度或血管密度),难以处理此类表型异质性,会掩盖患者特异性信号,也无法捕捉区分PCS亚型的高维空间分布模式。因此,亟需一种鲁棒的自动化方法,将特定的局部视网膜结构模式与不同PCS表型相关联。

深度学习(DL)为直接从像素数据学习层次化表示提供了有力工具,但现有范式存在固有局限:仅分割模型(如U-Net)提供精确的层和血管空间定位,但不提供诊断分类;仅分类模型(如ResNet、VGG)可预测疾病存在,但缺乏解剖可解释性,其决策无法可靠追溯至特定视网膜特征。多任务学习(MTL)通过共享编码器联合优化分类和分割目标,已被证明在数据有限的医学影像场景中优于单任务基线,其作为归纳偏置迫使网络学习同时具有疾病判别性和解剖保真度的表示。据研究人员所知,尚无既往工作将硬参数共享MTL框架应用于同时分割视网膜层和分类OCT图像中的COVID-19后视网膜状态。

二、研究内容与结论

本研究提出一种新颖的两阶段多任务学习流水线。第一阶段进行纯分类预训练,使用图像级疾病标签初始化编码器;第二阶段将预训练编码器迁移至多任务学习框架,联合优化三类疾病分类(健康、非持续性、持续性)和像素级视网膜层分割。研究人员构建了一个包含225名参与者的新OCT数据集,分为100名健康对照、52名非持续性COVID-19症状患者和73名持续性后遗症患者。从每组随机选择10名患者(共30名)进行像素级标注。研究评估了七种深度学习骨干网络(VGG16-BN、ResNet50、DenseNet121、EfficientNet-B4、MobileNetV3、MobileViT-v2、MobileNetV4-Conv-Small)和五种分割解码器(U-Net、U-Net++、FPN、MAnet、LinkNet),并采用患者级五折交叉验证。主要结论包括:分割引导的多任务学习在重评估中使分类准确率提升+1.08%、F1分数提升+1.91%,超过仅分类基线;健康与COVID-19患病视网膜的二元分类性能较高(最高准确率91.72%),但三类分类性能较低(最高准确率72.56%),表明持续性与非持续性COVID-19视网膜表现存在显著重叠。

三、关键技术方法

研究人员采用两阶段深度学习流水线。第一阶段使用ImageNet预训练权重初始化骨干网络,以交叉熵损失和标签平滑进行纯分类预训练,采用AdamW优化器,学习率1×10??,权重衰减5×10??,训练30个周期,批大小16。第二阶段将预训练编码器迁移至多任务框架,共享编码器后接分类分支和分割分支,分割解码器以学习率1×10?3优化,共享编码器和分类分支以学习率1×10??优化,权重衰减1×10??。总损失函数为分类损失与分割损失的加权和(λ_cls=2.0,λ_seg=1.0),分割损失由交叉熵损失和Dice损失各占0.5组成。数据增强包括水平翻转、随机亮度对比度调整和仿射变换。可解释性分析采用Grad-CAM(卷积骨干)和EigenCAM(Transformer及混合骨干)。数据集来自Miguel Servet医院伦理委员会批准(C.I. PI21/113),所有图像使用Heidelberg SPECTRALIS平台采集,质量评分不低于25/40,预处理后分辨率为512×434像素。

四、主要研究结果

4.1 纯分类性能:在225名患者的三类分类任务中,所有骨干网络准确率范围为69.35%-71.48%,F1分数范围为63.34%-65.22%。EfficientNet-B4获得最高准确率(71.48%),DenseNet-121获得最高F1分数(65.22%)。结果表明仅凭分类任务难以区分疾病亚型,需要解剖引导的特征学习。

4.2 多任务学习性能:在30名标注患者上,多任务学习实现了分类准确率74.26%-84.37%和分割IoU接近80%、Dice超过87%。U-Net++和MAnet在不同骨干下表现最稳定。定性结果显示所有骨干均能产生解剖一致的视网膜层分割,验证了分割监督的有效性。

4.3 迁移性能:将多任务训练后的编码器在完整225名患者数据集上重新评估,U-Net++解码器产生最稳定的正向迁移,最高提升为准确率+1.08%、F1分数+1.91%(EfficientNet-B4)。注意力可视化显示多任务编码器的关注模式更加集中于解剖结构,证实分割监督增强了特征判别性。

4.4 失败分析:聚合五折一对其余混淆矩阵显示,健康类可分性最高,非持续性类最难识别,其假阴性数接近或超过真阳性数(如EfficientNet-B4正确识别1302个非持续性样本,误分类1870个)。持续性类具有中等判别性。错误主要源于疾病亚型间的特征重叠,而非疾病检测本身。

五、消融研究与讨论

损失权重消融实验显示,λ_cls=2.0、λ_seg=1.0的配置在纯分类数据集上获得最佳平衡(准确率+1.08%,F1+1.91%),而过度强调分类权重(λ_cls=6.0)虽提高多任务数据集上的分类性能,但未转化为迁移增益,提示过拟合。二元分类验证将非持续性和持续性合并为疾病类后,所有架构准确率升至88.32%-91.72%,证实COVID-19感染在视网膜上留有可检测的显著特征,但持续性与非持续性症状表型间缺乏足够的影像判别信息。

讨论部分指出,分割监督的主要益处在于空间信息对特征空间的塑造,而非分割精度本身。多任务学习作为正则化器,在有限标注数据下提高了样本效率。临床意义上,高二元分类精度支持OCT自动化筛查COVID-19相关视网膜受累的潜力,但三类分类性能有限提示患者报告的症状持续性可能不对应于影像可检测的独特视网膜表型,个体对感染的视网膜反应变异性或症状持续的病理生理机制可能并非主要反映在OCT可检测的结构改变中。

六、研究结论

本研究利用OCT成像,研究了两阶段多任务学习框架在COVID-19后综合征相关视网膜异常自动化检测中的应用。对225名参与者的新数据集(健康对照、非持续性、持续性COVID-19后分组)使用七种深度学习骨干、五种实验配置进行分析。实验结果表明:(1)健康与COVID-19患病视网膜的二元分类达到高性能,VGG16在对照对COVID-19(持续+非持续)设置中获得91.72%准确率和91.67% F1分数,证实COVID-19感染在视网膜结构中留下可测量的可检测特征;(2)三类分类性能显著较低,EfficientNet-B4搭配U-Net++获得最高准确率72.56%,表明非持续性与持续性COVID-19后状态在视网膜表现上存在显著重叠;(3)联合优化分类和分割目标的多任务学习框架,相比仅分类基线将分类准确率提升+1.08%、F1分数提升+1.91%,尽管仅在30名标注患者上进行微调,表明分割监督作为有效正则化器增强了学习特征的判别质量。研究局限性包括标注数据规模有限、单中心数据采集、缺乏外部验证和纵向随访,未来工作将探索纵向OCT数据、OCTA整合、多中心验证以及半监督和自监督学习技术。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号