通过解剖结构引导的预训练生成基础模型潜空间操作实现无需训练的OCT去噪

《Artificial Intelligence in Medicine》:Training-free OCT denoising via anatomically guided latent manipulation of a pretrained generative foundation model

【字体: 大 中 小 】 时间:2026年10月14日 来源:Artificial Intelligence in Medicine 7.8

编辑推荐:

   **无训练去噪方法——通过冻结的变分自编码器(VAE)潜空间的确定性操作实现** **基于解剖结构引导的高斯化与三成分高斯混合模型(GMM)噪声估计** **在六个OCT数据集上,相比基线方法取得最先进的PSNR/SSIM性能** **单次前向传播即可在通用硬件上实现稳定、实

  

**无训练去噪方法——通过冻结的变分自编码器(VAE)潜空间的确定性操作实现**
**基于解剖结构引导的高斯化与三成分高斯混合模型(GMM)噪声估计**
**在六个OCT数据集上,相比基线方法取得最先进的PSNR/SSIM性能**
**单次前向传播即可在通用硬件上实现稳定、实时的去噪**
**通过余弦分析证实,在保留视网膜解剖结构的同时不会引入幻象**

---

**引言**

视网膜光学相干断层扫描(OCT)是一种无创成像技术,能够获取三维体积数据,解析视网膜神经系统和血管系统的分层结构。OCT以兆赫级速率采集数百万个深度分辨矢量,称为A扫描;这些A扫描被对齐后形成横截面图像,即B扫描。由此生成的三维体积可用于筛查视网膜疾病,例如糖尿病黄斑水肿(DME)、年龄相关性黄斑变性(AMD)和脉络膜新生血管(CNV)。近期研究还将神经退行性疾病——包括阿尔茨海默病、帕金森病、痴呆症和多发性硬化症——与视网膜层增厚联系起来,因此需要进行OCT检查[1]。然而,OCT图像常因运动伪影或眨眼而退化;因此,快速采集变得至关重要。在数秒内捕获整个体积会增加噪声并降低信噪比(SNR),使低信噪比图像成为必须解决的逆问题。

图像去噪正是此类逆问题的一个实例。它需要对底层图像模型进行假设,并结合关于任务的相关先验知识,将其表述为一个优化问题,即通过平衡数据保真项与正则化(先验)项来获得无噪声估计。第一项确保与观测到的含噪图像一致;第二项控制恢复图像的结构。

每张受斑点噪声污染的OCT B扫描$y$可按元素表示为理想B扫描$x$与失真分量$n$的乘积[1]。由于斑点噪声具有随机性,B扫描采用多种统计分布进行建模,如拉普拉斯-高斯混合、威布尔分布或贝塞尔-K分布,每种均基于对OCT图像结构的不同假设[2][3][4]。通过采用不同的数据保真度和先验假设,去噪问题可以被多种方式重新诠释。基于模型的方法依赖数学或统计先验,通常由非可学习超参数进行参数化,以调节保真度或先验强度。此类模型包括稀疏分解技术(如K-奇异值分解、K-SVD)、块匹配算法(BM3D、BM4D)[5][6]、阈值方法如全变分[7]以及小波分解[8]。基于模型的途径通常需要对每张图像进行迭代优化;其性能取决于所选模型在多大程度上捕捉了边缘数据分布。

相比之下,数据驱动技术利用可学习参数,基于观测数据缩小拟合优度的余量。它们可以在有监督或无监督模式下训练。在有监督学习中,需要噪声样本和干净样本共同学习从含噪域到无噪域的非线性映射;然而,在医学图像领域,提供干净的标注样本往往难以实现。未配对数据提供了一种较弱的监督形式,通常被重构为Cycle生成对抗网络(CycleGAN)或其他图像到图像的生成方法。CycleGAN的目标函数可写为:

$$\hat{\phi}, \hat{\theta} = \arg\min_{\phi, \theta} \mathbb{E}_{y \sim P(y)}[\|f(g(y; \theta); \phi) - y\|] + \mathbb{E}_{x \sim P(x)}[\|g(f(x; \phi); \theta) - x\|]$$

$$\hat{\omega} = \arg\min_{\omega} \mathbb{E}_{x \sim P(x)}[\log D(x; \omega)] + \mathbb{E}_{y \sim P(y)}[1 - \log D(g(y; \theta); \omega)]$$

其中两个翻译网络$f(\cdot; \phi)$和$g(\cdot; \theta)$与对抗判别器$D(\cdot; \omega)$协同工作。该范式要求来自每个域且上下文一致但仅在噪声特征上不同的样本;而在现实医学场景中,此类数据可能难以获取[9]。

当同一场景可以获取多个含噪版本时,数据驱动方法可以利用配对的独立污染图像进行训练,以恢复潜在的干净图像。核心洞察在于,在零均值噪声假设下,给定另一个含噪观测的条件期望将收敛于底层信号;因此,神经网络可以直接通过Noise-to-Noise(N2N)方法学习这一映射[10]。尽管如此,从同一生物场景获取多个样本往往难以实现。因此,N2N框架经过了几次关键扩展而不断演进。盲区变体如Noise-to-Void(N2V)和Noise-to-Self(N2S)通过训练时掩蔽像素来消除配对采集的需求,从而实现单图像恢复[11][12][13][14]。N2N家族已应用于多种模态,如OCT、扫描透射电子显微镜以及云点数据的去噪[14][15][16][17]。这些无监督方法在大数据集上训练盲区网络,并依赖于噪声在空间上独立或在每个像素附近仅有小相关性的假设;违反这一假设可能导致边界模糊。

自监督方法是另一类无监督技术,它结合成像设备的物理模型来评估去噪优化问题中的数据一致项或先验项,并将其与数据驱动方法相结合。如交替方向乘子法(ADMM)等迭代算法可以通过将联合最小化分解为可处理的子问题来解决这些问题,这些子问题在强制对测量的OCT B扫描进行保真和施加学习到的先验之间交替[18][19]。

对于OCT,前向模型通常表示为背散射场幅度的线性叠加后经过强度检测;在对数变换后,这得到了一个近似的加性高斯噪声模型,其方差与局部信号强度成正比。因此,去噪目标可写为:

$$\hat{x} = \min_{\mathbf{x}} \frac{1}{2}\|\mathbf{y} - \mathbf{x}\|_2^2 + \lambda R(\mathbf{x})$$

其中$\mathbf{y}$是含噪对数幅度,$\mathbf{x}$是潜在的无斑点图像,$R(\cdot)$是编码解剖先验的正则化器。引入辅助变量$\mathbf{z}$后,得到经典的ADMM分裂:

$$\mathbf{x}^{k+1} = \arg\min_{\mathbf{x}} \frac{1}{2}\|\mathbf{y} - \mathbf{x}\|_2^2 + \frac{\rho}{2}\|\mathbf{x} - \mathbf{z}^k + \mathbf{u}^k\|_2^2$$

$$\mathbf{z}^{k+1} = \arg\min_{\mathbf{z}} \lambda R(\mathbf{z}) + \frac{\rho}{2}\|\mathbf{x}^{k+1} - \mathbf{z} + \mathbf{u}^k\|_2^2$$

$$\mathbf{u}^{k+1} = \mathbf{u}^k + \mathbf{x}^{k+1} - \mathbf{z}^{k+1}$$

其中$\rho > 0$是惩罚参数,$\mathbf{u}$是缩放的偶变量。式(2)中的第一步有解析解:

$$\mathbf{x}^{k+1} = \frac{\mathbf{y} + \rho(\mathbf{z}^k - \mathbf{u}^k)}{1 + \rho}$$

这本质上是含噪观测与当前先验估计之间的加权平均。正则化步骤(式(2)第二行)可以被任何实现$R(\cdot)$近端算子的去噪器替代。在可插拔即玩(PnP)ADMM中,该近端映射被替换为任意图像去噪函数$H_\sigma$,得到:

$$\mathbf{z}^{k+1} = H_\sigma(\mathbf{x}^{k+1} + \mathbf{u}^k)$$

其中$\sigma = \lambda / \rho$表示$H_\sigma$所训练的有效噪声水平。这种替换允许我们嵌入高度表达性的数据驱动先验,如生成对抗网络(GANs)、扩散后验采样器或自监督生成模型,而无需显式制定手工设计的正则化器。

这些框架中的一个关键挑战是收敛性。经典的PnP-ADMM仅对非扩展去噪器(如BM3D)保证收敛[20][21][22]。近期工作通过施加Lipschitz约束扩展到了深度去噪器,并通过基于分数的的一致性模型进一步扩展到了扩散先验[23]。此外,基于斑点统计自适应调整$\rho$的预处理策略已被证明可以加速具有高度各向异性噪声的OCT数据的收敛[24]。

扩散模型学习一个逆向马尔可夫链,逐渐从高斯种子$x_T \sim \mathcal{N}(0, \mathbf{I})$中去除噪声,直到获得干净图像$x = x_0$。前向过程由转移密度控制:

$$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t} \, x_{t-1}, \, \beta_t \mathbf{I})$$

伴随噪声调度$\{\beta_t\}_{t=1}^{T}$。训练最小化分数匹配目标:

$$\hat{\theta} = \min_{\theta} \mathbb{E}_{q(x_0, x_t)}[|\epsilon_\theta(x_t, t) - \epsilon|^2]$$

其中$\epsilon$是前向步骤中添加的真实噪声,$\epsilon_\theta$由网络进行预测。在推理期间,逆向转移$p_\theta(x_{t-1} | x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_t^2 \mathbf{I})$被迭代应用,产生去噪图像$x_0$。由于模型以数据驱动的方式学习信号和噪声的去混合,扩散先验对于去噪等没有显式前向算子的逆问题尤为吸引人。

普通的逆向过程从训练期间学习的无条件分布中生成样本。为了将其引导向与观测值$y$条件化的特定干净图像,需要采用引导技术。无分类器引导(CFG)同时训练有条件和无条件模型,然后线性组合两种分数估计:

$$\epsilon_{guide} = \omega \, \epsilon_\theta(x_t, t, y) + (1 - \omega) \, \epsilon(x_t, t)$$

近期的实证研究表明,CFG有效地将扩散轨迹推离决策边界,从而强制与条件信号保持一致[25]。另一种方法是分类器引导,其中将单独的判别器的对数梯度$\nabla_{x_t} \log p(y | x_t)$添加到分数中;虽然功能强大,但它需要额外的网络并依赖可靠的分类性能。最近,扩散模型已经直接以自监督方式对含噪图像进行条件化。在盲区引导扩散中,一个盲区分支生成半干净图像,在采样期间引导主网络,缓解了盲区网络典型的细节丢失问题[26]。最后,通过在前向过程中干净图像与其含噪对应物之间进行线性插值,单个扩散模型可以处理多个噪声水平并具有可控强度;该策略被提出用于真实世界去噪方法[27]。

**可插拔即玩(PnP)框架**使用现成的去噪器替换迭代求解器(如ADMM或ISTA)中的近端算子。扩散模型可以充当此类先验。DiffPIR将扩散模型集成到PnP循环中,并以少于一百次神经函数评估的代价实现了最先进的超分辨率、去模糊和修复效果[28]。一致性模型从任何中间扩散步骤直接预测最终输出,也已被用作PnP先验,应用于修复和磁共振重建等线性逆问题[29]。这些工作证明了扩散先验在提供丰富的生成建模能力的同时,保留了经典PnP的灵活性。

在ADMM求解器中,先验和数据保真步骤通过施加约束$x = z$进行解耦。**通过ADMM解耦无训练引导扩散**将条件生成重构为两个子问题。第一个由无条件扩散模型控制,另一个由引导函数控制;它使用ADMM更新来自适应地平衡两者,消除了对手动调优引导权重的需求[30]。最近,**驯服ADMM中的基于分数的去噪器**提出了一种AC-DC去噪器,将自动校正、方向校正和基于分数的去噪嵌入到ADMM中,为弱非扩展算子建立了收敛保证[31]。这些发展为将强大的扩散先验嵌入到经过充分研究的优化框架中提供了有原则的途径。

由于扩散模型学习信号和噪声的联合分布,它们天然适合没有干净目标的自监督去噪场景。上述盲区引导框架就是这样一个实例[26]。

近期基于扩散的工作开始将去噪过程从像素空间转移到学习到的潜表示中。在此**潜扩散模型(LDM)**中,编码器将含噪观测$y_0$压缩为低维代码$z_t$。逆向扩散过程可以通过修改潜变量($z_t$)进行有意引导,以从噪声中实现特定语义;这种操作称为潜空间引导,将中间去噪轨迹视为可引导流形[32][33]。在这种设定下,去噪步骤不仅由噪声预测$\epsilon_\theta(z_t, t)$定义,还包含了操作项:

$$z_{t-1} = \mathbb{f}_\theta(z_t, t, \epsilon_\theta) + \eta \nabla_{z_t} \mathcal{L}_{manipulate}(z_t, \mathcal{R})$$

其中$\mathbb{f}_\theta$指扩散模型的标准去噪过程,$\mathcal{L}_{manipulate}$是从参考$\mathcal{R}$导出的操作损失。尽管扩散模型和LDM在图像生成中表现有效,但它们去噪能力仍存在许多潜在问题。由于变分自编码器(VAEs)是非线性的且空间纠缠的,混合或操纵潜变量往往无法产生对应的像素级干净变化。生成模型的训练和优化计算成本高昂,需要大量GPU训练时长[34]。

采用预训练基础模型而非从头训练网络具有多项实际优势。**基础模型**是大规模神经架构,在海量异构数据上训练,使其能够被微调或直接应用于广泛的下游任务,无需针对特定任务重新设计[35]。在图像处理中,此类模型学习退化无关的表示,捕获跨越多种噪声和模糊类型的底层干净信号。对于去噪,这使得单个网络能够抑制噪声,而此前需要为每种退化分别构建独立的处理流水线[36]。基础模型通常带来更高的恢复质量,减少对手工设计训练数据集的依赖,并可通过轻量级微调快速适应新的成像模态[37]。与此同时,它们也引入了显著的挑战:预训练需要巨大的计算资源(数百万图像对和多GPU集群),可能继承数据集偏差而在代表性不足的场景中产生伪影,且庞大的参数量使其在边缘设备或实时系统中部署困难。

自监督去噪的另一个途径是**零样本图像去噪**,它无需任何配对的干净/含噪训练数据或对底层噪声分布的显式知识,即可从图像中去除加性或乘性噪声。其核心在于利用图像域中固有的结构和统计规律性(如局部平滑性和频率一致性),从单个含噪观测中推断出干净的恢复结果[38]。例如,**扩散零空间模型(DDNM)**将图像嵌入扩散过程的零空间中;这种隐式先验作为一个强大的去噪器,无需任何有监督训练数据[38]。

同样地,跨频率一致性方法通过在高频分量和低频分量之间强制建立连贯性,从而在无需标注样本的情况下恢复真实世界噪声场景中的缺失细节[39]。零样本去噪方法直接弥补了传统扩散模型和大型基础模型的关键局限性。它们通过从含噪图像本身提取先验,消除了对外部数据集的依赖,并通过使用轻量级扩散步骤或简单的频率一致性检查替代繁重的训练和推理流程,大幅降低了计算成本[39],同时提高了对域偏移的鲁棒性,通过显式建模空间相关的真实传感器噪声,无需在新数据上进行微调即可可靠地恢复图像[40]。如前所述,零样本方法依赖内在先验,这可能无法捕捉高度结构化或传感器特定的噪声模式。当真实噪声与这些假设严重偏离时,去噪器可能会留下残余伪影或过度平滑细节。在缺乏有监督真值的情况下,自监督先验可能会以保真度换取平滑度,无意中移除实际上是信号而非噪声的细微纹理或边缘。由于需要多次前向和反向过程,零样本方法可被认为具有极高的计算成本。自监督图像去噪方法通常涉及大规模参数化网络和迭代优化方案,这会引入计算开销和收敛约束。与此同时,基于扩散或对抗模型的生成式修复方法虽然功能强大,但可能遭受幻觉伪影和数据保真度有限的困扰,特别是在结构完整性至关重要的临床成像中。尽管这些方法已经成熟,但在计算密集型的有监督去噪框架和可能改变解剖内容的生成模型之间仍存在概念上的差距。本研究在推理策略和优化要求方面,明确地将本去噪方法与现有的零样本、潜空间以及即插即用(PnP)修复方法区分开来。现有的无训练或零样本方法通常通过迭代优化来恢复清晰图像,例如拟合内在先验或执行扩散采样。相比之下,我们的框架在推理过程中不进行优化,而是利用冻结的预训练VAE的潜在表示,并直接应用从输入图像派生的确定性变换。此外,尽管许多潜空间修复方法会优化潜在变量或反复操作表示直到收敛,但我们的方法仅对潜在表示进行一次修改。噪声相关方向以自监督方式从背景区域估计,并通过确定性偏移来抑制与噪声相关的分量。最后,与在即插即用框架中将去噪器纳入ADMM等迭代求解器不同,我们的方法并未将去噪构建为优化问题。预训练VAE仅作为固定的生成先验使用,而所提出的机制直接变换编码后的表示。因此,本研究的主要贡献是引入了一种自监督潜空间方向抑制机制,该机制能够在无需梯度优化或模型微调的情况下实现无训练、单遍修复。在本研究中,我们通过引入一种无训练的、解剖学引导的去噪框架来弥补这一差距,该框架利用预训练变分自编码器(VAE)作为固定的基础模型。我们不是学习一个去噪映射,而是通过对解剖学隔离的背景区域进行估计,获取噪声主导的潜在分量,从而实现方向性潜空间噪声抑制。该策略能够在保留结构表示的同时,对斑点相关分量进行可控衰减。所提出的方法完全自监督,无需模型重新训练或微调,并通过单次确定性的编码-操作-解码流程运行。本工作的主要贡献如下:•我们提出了一种基于预训练生成基础模型的潜空间方向抑制的无训练OCT去噪新框架。•我们引入了通过高斯化和高斯混合模型进行解剖学知情的噪声区域估计策略,用于自监督潜空间噪声表征。•我们证明了所提出的算子具有稳定性,能提高定量信噪比,同时保留视网膜层边界,且不产生幻觉伪影。•我们在OCT数据集上提供了广泛的验证,展示了结构一致性、跨信噪比级别的鲁棒性以及对高质量扫描的最小失真。本文的组织结构如下。第2节回顾了所选的VAE模型并详细介绍了所提出的方法。第3节描述了实验设置。第4节报告了定量和定性结果。第5节评估了应用并讨论了研究发现。第6节总结了本研究。分节摘要——方法与材料本研究提出了一种基于预训练变分自编码器(VAE)作为固定生成先验的零样本、无训练OCT图像去噪框架。该方法无需重新训练、微调或配对的干净参考图像,而是完全通过对学习到的潜空间进行结构化操作来实现。图1展示了所提出方法的总体流程。其核心思想是执行可控的潜空间操作以抑制与噪声相关的分量。实验——实验在Python 3.13、Pytorch 2.10、CUDA 12.8和diffusers 0.3.7环境下运行。所使用的VAE为FLUX.2(从表1中的模型标识符对应的HuggingFace VAE子文件夹下载),包含8410万个参数。模型以bfloat16精度加载,将显存需求降低至2 GB以下。在所有实验中,我们固定超参数??=1以便与现有方法进行比较,在所有消融研究中使用??=0.3,并使用具有三个分量的混合模型。结果——定量评估的结果展示在图2中。各种方法的去噪图像可视化示例见图3。对于模拟含噪的HCIRAN数据,由于存在真值,我们在表4中计算了SSIM和PSNR,该实验的可视化结果也由图3提供。讨论——光学相干断层扫描(OCT)能够实现快速的视网膜体积成像,但提高采集速度通常伴随着更强的斑点噪声和信噪比(SNR)下降。在低信噪比条件下,视网膜层边界和精细微观结构细节变得难以区分,因此鲁棒的去噪成为后续定量分析中必不可少的预处理步骤。OCT去噪是一个病态逆问题,因为必须恢复出干净图像。结论——本研究提出了一种基于冻结的预训练变分自编码器潜空间操作的无训练OCT图像去噪框架。我们不是学习一个特定的OCT修复模型,而是从解剖学引导的背景区域估计一个噪声主导的潜在方向,并在含噪图像的潜在表示中抑制该分量。所得重建有效降低了斑点噪声,同时保留了视网膜解剖结构。CRediT作者贡献声明:Sajed Rakhshani:撰写-原稿,软件,方法论,调查研究,形式化分析。Hossein Rabbani:撰写-审阅与编辑,验证,监督,调查研究,概念化。利益冲突声明:作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。致谢:本工作部分由伊斯法罕医科大学资助,资助编号3401797。Sajed Rakhshani | Hossein Rabbani
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号