基于拉普拉斯扩散模型的低光图像增强

《Knowledge-Based Systems》:Low-light image enhancement based on Laplacian diffusion model

【字体: 大 中 小 】 时间:2026年09月28日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要:扩散模型在图像复原领域取得了显著的成功;然而,它们面临着快速采样能力不足、推理时间长以及在极低光场景下细节恢复不充分等挑战。为了解决这些问题,本研究提出了基于拉普拉斯的多分量扩散模型(LMCDM),这是一种将拉普拉斯分解与基于拉普拉斯的条件扩散模型(LCDM)相结合的新

  

摘要:扩散模型在图像复原领域取得了显著的成功;然而,它们面临着快速采样能力不足、推理时间长以及在极低光场景下细节恢复不充分等挑战。为了解决这些问题,本研究提出了基于拉普拉斯的多分量扩散模型(LMCDM),这是一种将拉普拉斯分解与基于拉普拉斯的条件扩散模型(LCDM)相结合的新型框架。LMCDM缓解了快速采样瓶颈问题,并增强了极低光条件下的图像质量。具体来说,它采用拉普拉斯分解将输入图像分离为低频(LF)和多尺度高频(HF)分量。低频分量由LCDM进行全局增强,有效降低了计算成本和推理时间,而高频分量则通过多尺度频率融合网络进行渐进恢复,显著提高了图像清晰度和噪声抑制能力。实验结果表明,LMCDM在多个公开数据集上达到了最先进的性能。具体而言,在LSRW数据集上,LMCDM达到了19.39的峰值信噪比,创造了新的基准。与现有方法相比,LMCDM在极低光条件下的图像复原质量和生成效率方面均具有显著优势,凸显了其在低光物体检测方面的巨大潜力。部分源代码可在以下地址获取:https://github.com/hemin9595mint-ui/LMCDM

引言:在现代计算机视觉和智能系统中,图像质量是影响系统性能的关键因素。然而,在低光条件下捕获的图像由于光照不足,往往会遭受信息丢失、细节模糊和噪声增加等问题。这种质量退化不仅降低了图像的视觉吸引力,还直接损害了系统在现实世界应用中的性能,特别是在自动驾驶[1]和安全监控[2]、[3]、[4]、[5]、[6]、[7]等领域。因此,在低光条件下提高图像质量已成为一个重要的研究焦点。

用于低光图像增强(LLIE)的深度学习方法通常可分为两类:非生成式模型和生成式模型。非生成式模型主要依赖于卷积神经网络(CNN)强大的特征提取能力,通过深度架构学习从低光图像到高质量输出的直接映射。例如,L3Fnet[8]通过利用几何线索并保持视图之间的极线几何一致性来恢复低光光场图像。PRIEN[9]通过引入循环单元来增强图像亮度、对比度并进行降噪。此外,一些轻量级网络使用知识蒸馏技术生成伪曝光图像[10]。LoliMVS[11]将低光增强与多视角立体重建相结合,提高了低光环境下的3D模型重建性能。RetinexWT[12]引入了一种基于小波的频域Retinex框架,利用低频光照线索引导高频细节恢复,以实现稳健的低光图像增强。尽管这些方法在某些极低光场景中显示出一定潜力,但它们在处理噪声干扰和保留结构细节方面仍存在局限性,这阻碍了它们在现实场景中的实际应用。

基于生成模型的方法,如生成对抗网络(GANs)和变分自编码器(VAEs),通过建模图像的潜在分布或使用对抗训练策略来生成高质量图像。GANs通过生成器和判别器之间的对抗训练来运行。生成器逐渐学会生成逼真的图像,而判别器则区分真实图像和生成图像。例如,LE-GAN[13]通过引入光照感知模块来优化图像亮度和色彩,显著减少了低光环境中的噪声和颜色失真。EnlightenGAN[14]采用无监督学习来生成具有增强亮度和保留细节的图像,从而提高低光图像的整体质量。相比之下,VAEs主要使用变分贝叶斯方法对图像的潜在空间进行建模。编码器将低光图像映射到潜在空间,解码器则根据该潜在表示生成增强后的图像。例如,LUD-VAE[15]通过应用改进的贝叶斯推断技术来减少图像噪声,从而增强增强效果。GCT-VAE-GAN[16]将VAE与GAN相结合,利用对抗训练进一步提高生成图像的细节表示能力。然而,尽管GANs和VAEs在图像生成方面表现优异,但这些模型在生成高质量细节时往往会遇到模式坍塌和模糊失真等问题[17]、[18]、[19]。

近年来,扩散模型作为一种新兴的生成模型类别,在解决传统生成方法中常见的模式坍塌和模糊失真等问题方面取得了重大进展。这些模型在LLIE领域也展现了强大潜力。例如,LightenDiffusion[20]引入了一种无监督扩散框架,将Retinex理论与潜在空间分解相结合,实现了高效的LLIE,同时确保了稳健的泛化能力。与在图像空间进行Retinex分解的传统方法不同,LightenDiffusion在潜在空间中分解非配对的低光和正常光图像,生成富含内容的反射率分量和无内容的光照分量。该方法提高了复原质量,同时减少了对配对训练数据的依赖。此外,Diff-Retinex[21]结合了Retinex分解模型来解决图像退化问题,而LLDiffusion[22]利用退化表示进一步增强图像质量。尽管扩散模型在稳定性和细节保留方面具有优势,但在极低光条件下仍面临采样速度慢、细节丢失和噪声残留等挑战(如图1(a)所示)。近期研究表明,信号分解技术可以作为缓解扩散模型采样速度慢和提高推理效率的有效策略。本研究比较了不同的分解方法,结果表明拉普拉斯分解(图1(b))比其他方法提取出更稳定且信息量更丰富的细节。与Retinex分解相比,拉普拉斯分解提供了更优的稳定性,更有效地保留细节,并减少噪声——特别是在极低光条件下,Retinex分解往往会导致信息丢失和噪声增加。此外,将不同分解方法与条件扩散模型(CDMs)的集成(如图1(c)所示)表明,拉普拉斯分解显著加快了推理速度,降低了计算成本,并提高了基于扩散的低光增强模型的实际适用性。

基于上述观察,本研究提出了基于拉普拉斯的多分量扩散模型(LMCDM),以应对极低光场景中细节丢失、噪声残留和推理时间过长等挑战。该框架将LLIE重新构建为将多级别信号分解与条件扩散相结合的优化过程。首先,采用多级拉普拉斯分解将低频分量和多个高频分量分离,有效地将全局光照与局部细节隔离。随后,基于拉普拉斯的条件扩散模型(LCDM)主要对低频分量进行扩散处理,显著降低了计算成本并提高了推理速度。同时,设计了一个多尺度频率融合网络(MSFFNet)以渐进式地将多尺度高频细节与低频分量进行集成,确保全局一致性和有效的噪声抑制。该方法在显著提高推理效率的同时产生了高质量的图像输出。最终,LMCDM成功应对了极低光场景中细节丢失和噪声残留的关键挑战。主要贡献可总结如下:

- LMCDM:引入了一种新颖的条件扩散框架,以应对极低光场景中的细节丢失、噪声残留和推理时间过长问题。该框架集成了LCDM和MSFFNet,实现了更高效的LLIE。
- LCDM:提出LCDM以解决扩散模型中快速采样的局限性,并增强极低光场景下的图像质量。通过将拉普拉斯分解与条件扩散相结合,LCDM有效增强了全局亮度,同时显著降低了计算成本和推理时间。
- MSFFNet的设计:开发了MSFFNet以渐进式融合多尺度频率分量。它引入了压缩与激励(SE)层来动态调整高频细节的权重并增强关键特征。该设计产生了更清晰、更精细的输出图像,同时有效减少了噪声和伪影。
- 在多个公开数据集上进行广泛的实验验证:在多个公开低光图像数据集和物体检测任务上进行了综合实验。结果表明,所提出的方法在失真指标和感知质量方面均达到了最先进的性能。

相关工作:从模型设计的角度来看,基于深度学习的LLIE方法可以进一步分为以下两种类型:

LMCDM框架:图2展示了所提出的LMCDM的整体流程。该方法旨在解决扩散模型耗时长的问题,并改善极低光场景下的细节恢复。通过将条件扩散的生成能力与拉普拉斯变换的高效分解特性相结合,LMCDM优化了采样效率和推理性能,使在复杂光照条件下实现快速准确的图像增强成为可能。在实验中……

实验结果:本节对所提出的模型进行了全面的分析和评估。首先介绍了实现细节,包括训练和测试配置。然后进行消融实验以验证框架内每个模块的有效性。接着在基准数据集上进行定量和定性评估,将所提出的方法与最先进的方法进行比较。最后,该方法被应用于人脸检测任务中,以……

结论:本研究提出了一种高效的LLIE框架LMCDM,该框架将拉普拉斯分解与条件扩散模型(CDM)相结合(即LCDM),以应对现有LLIE方法中的关键挑战,如细节丢失、噪声伪影和推理时间过长等问题。LMCDM应用拉普拉斯分解将输入图像分离为低频和多尺度高频分量,实现对全局亮度和精细细节的独立处理。通过融入拉普拉斯分解,LMCDM缓解了CDM固有的采样速度慢的问题……

作者贡献声明:Min He:论文审阅与编辑、论文初稿撰写、可视化、验证、软件、项目管理、方法学、调查研究、正式分析、概念构思。Chao Xie:论文审阅与编辑、可视化、资源获取、数据整理。Rugang Wang:指导、资源获取、资金获取。Yuanyuan Wang:方法学、正式分析。Feng Zhou:验证、指导、软件。Xuesheng Bian:指导、资金获取、概念构思。Zhaofeng Chen:……

利益冲突声明:作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

致谢:本工作部分由国家自然科学基金(批准号62301473和61901221)以及江苏省高校优势学科建设工程项目(批准号19KJA110002)支持。

Min He | Chao Xie | Rugang Wang | Yuanyuan Wang | Feng Zhou | Xuesheng Bian | Zhaofeng Chen
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号