《Pattern Recognition》:Comprehensive review of GANs and diffusion models in multimodal 3D medical image conversion
编辑推荐:
•研究GAN、扩散模型和混合方法在3D医学成像中的应用。•构建了一个涵盖MRI、CT、PET和X射线到CT任务的临床分类系统。•比较了这些方法在图像质量、解剖结构、临床实用性和效率方面的差异。•指出了可靠临床应用的主要障碍和未来发展方向。引言3D多模态医学图像转换在临床诊断和治疗
- •
研究GAN、扩散模型和混合方法在3D医学成像中的应用。
- •
构建了一个涵盖MRI、CT、PET和X射线到CT任务的临床分类系统。
- •
比较了这些方法在图像质量、解剖结构、临床实用性和效率方面的差异。
- •
指出了可靠临床应用的主要障碍和未来发展方向。
引言
3D多模态医学图像转换在临床诊断和治疗中变得越来越重要,因为它能够弥合使用不同设备或协议获取的图像之间的差异。在MRI中,序列合成(如T1/T2-FLAIR转换)可以弥补由于运动伪影、扫描时间有限或协议不完整导致的缺失数据[1]。除了同一模态内的合成之外,CT、MRI和PET之间的跨模态转换还可以整合互补的解剖和功能信息。这样的转换还可以减少重复检查,并支持多模态分析。在放疗计划中,将MRI转换为合成CT(sCT)可以降低辐射暴露并缩短治疗计划时间[2]。
生成对抗网络(GANs)是最早被广泛应用于医学图像转换的深度生成模型之一。通过生成器和判别器之间的对抗学习,GANs实现了成像模态之间的端到端非线性映射。已经提出了各种扩展方法来提高图像的保真度并减少对配对数据的依赖。例如,3D-MedTranCSGAN通过额外的非对抗性目标改进了脑部MRI到CT的合成[3]。循环一致性约束使得无需配对数据也能进行跨模态转换[4]。基于GAN的方法在MRI序列合成、MRI-CT转换和PET相关多模态转换等应用中表现出了良好的性能[5]。
最近,扩散模型(DMs)作为一种强大的替代方案出现,它将图像生成视为一个渐进的噪声添加和去除过程。与GANs相比,DMs通常提供更稳定的训练结果和更好的解剖一致性。目标引导的扩散模型(TGDM)能够从非配对数据中提取模态特定信息,并在脑部MRI到CT的转换中实现小于50 HU的均方误差(MAE)[1]。级联多路径扩散模型(CMDM)进一步将不确定性估计纳入了跨模态生成中[6]。为了提高效率,基于潜变量和小波的扩散模型能够高效地合成高维医学数据[7],[8]。这些进步将基于扩散的生成技术扩展到了MRI序列转换、CT合成、双能量X射线转换和放疗计划等领域。
混合框架利用扩散来提高重建的稳定性和解剖保真度。对抗性监督进一步增强了感知质量和效率。DiffGAN将对抗学习和局部视觉变换器结合到了基于扩散的MRI重建中[9]。M2O-DiffGAN将多对一的对抗性转换与条件扩散相结合,用于多中心超声的校准[10]。这些进展反映了向概率和混合方法发展的趋势。
如图1所示,本综述探讨了2019年至2026年间GANs、DMs和混合生成框架在3D多模态医学图像转换方面的发展。它重点关注这些方法的方法学特点、临床应用、评估策略以及仍存在的挑战。还讨论了数据稀缺性、领域差异和隐私限制等问题。通过将方法学进展与临床需求联系起来,本综述旨在明确生成模型在可靠3D医学图像转换方面的当前能力和局限性。
本综述的主要贡献总结如下。
- •
我们系统地回顾了2019年至2026年间基于GAN、DM和混合GAN-扩散方法的3D多模态医学图像生成技术。我们追踪了它们从直接对抗性转换到概率去噪和混合生成的方法学演变过程。
- •
我们根据临床应用对研究进行了分类,包括MRI序列合成、MRI-CT/sCT生成、PET相关转换以及X射线到CT的2D到3D重建。这一分类体系明确了每种方法的范围和价值。
- •
我们总结了当前的评估指标,包括像素级图像质量、解剖一致性、放射科医生盲评、下游任务性能、剂量计算准确性以及计算效率。
- •
我们讨论了临床应用的主要障碍,包括数据稀缺性、中心间领域差异、解剖结构的合理性、保护隐私的训练方式以及高分辨率3D生成的计算成本。我们还强调了技术指标与临床决策之间的差距。
部分摘录
方法论
本节简要介绍了与多模态医学图像转换直接相关的GANs和扩散模型的方法学概念。如图2所示,基于GAN的方法学习源模态和目标模态之间的直接对抗性映射,基于扩散的方法通过渐进式去噪进行条件生成,而混合GAN-扩散框架结合了两种范式的优势。在本综述中,GAN-扩散混合模型指的是
医学图像转换的方法学进展
在上述基础上,本节回顾了用于3D多模态医学图像转换的GANs、扩散模型及其混合变体。如图3所示,这些任务包括MRI到MRI序列合成、MRI到CT/sCT生成、PET相关转换以及X射线到CT的2D到3D重建。
临床验证和标准化评估
临床验证体系已经形成了一个协调的框架,涵盖了从像素级指标到临床决策影响的完整评估链。最近的研究趋势表明,单一指标评估正在逐步升级为多模态联合验证,更加注重验证生成图像在临床工作流程中的功能等价性。
未来方向
前面的章节展示了GANs和扩散模型在多模态3D医学图像转换方面的巨大潜力。然而,临床应用仍受到数据稀缺性、生物验证不足、隐私限制以及高分辨率生成计算成本的制约。本节概述了多模态预训练、物理引导生成、联邦学习和实时交互系统的未来方向。
总结和核心见解
本节综合了当前研究的关键见解,强调了从GAN到扩散的范式转变、临床转换的主要障碍,以及人工智能(AI)、医学物理、放射学和临床实践之间跨学科合作的需求。
结论
本综述系统地总结了GANs、扩散模型和混合GAN-扩散框架在3D多模态医学图像转换方面的最新进展。基于GAN的方法在跨模态转换和局部纹理生成方面仍然有效。扩散模型在复杂的3D合成任务中提供了更稳定的训练结果、概率建模和更好的解剖一致性。这些方法已应用于MRI序列合成、MRI到CT/sCT生成、PET相关转换等场景
CRediT作者贡献声明
Nan Jiang:撰写——评审与编辑、初稿撰写、可视化、验证、概念构建。Haolang Li:初稿撰写、调查、正式分析、数据整理、概念构建。Xiao Teng:初稿撰写、概念构建。Zhaohui Hu:评审与编辑、验证、指导。
关于写作过程中生成式AI和AI辅助技术的声明
在准备本文的过程中,作者使用了OpenAI开发的ChatGPT这一AI辅助语言工具来辅助语言润色、语法检查并提高手稿的可读性。
利益冲突声明
作者声明没有已知的利益冲突或个人关系可能影响本文所报告的工作。
致谢
本工作得到了国家自然科学基金(编号:62376282)和湖南省科技创新计划(编号:2025RC3117)的支持
Nan Jiang|Haolang Li|Xiao Teng|Zhaohui Hu