面向结构保持低光照图像增强的几何感知深度引导表示学习
《Computer Vision and Image Understanding》:Geometry-aware depth-guided representation learning for structure-preserving low-light image enhancement
【字体:
大
中
小
】
时间:2026年09月29日
来源:Computer Vision and Image Understanding 3.6
编辑推荐:
•几何感知深度先验促进了结构一致的低光表示学习。
•Retinex 分解实现了光照不变的跨模态特征表示。
•多尺度注意力学习改进了几何和外观特征的层次聚合。
•LOL-D 为几何感知的低光表示学习提供了基准。
引言
低光图像增强(LLIE)旨在从在退化照明条件下拍摄的图像中
•几何感知深度先验促进了结构一致的低光表示学习。
•Retinex 分解实现了光照不变的跨模态特征表示。
•多尺度注意力学习改进了几何和外观特征的层次聚合。
•LOL-D 为几何感知的低光表示学习提供了基准。
引言
低光图像增强(LLIE)旨在从在退化照明条件下拍摄的图像中恢复可靠且结构一致的视觉表示。在实际计算机视觉应用中,视觉传感器经常工作在照明不足或空间光照不均匀的环境中。由于固有的成像限制,如动态范围受限、光子饥饿和信噪比(SNR)降低(Afifi 等人,2021),图像形成过程受到严重破坏。因此,低光图像通常会出现亮度衰减、对比度抑制、颜色失真和噪声放大等问题,从而降低了光度保真度和结构感知能力。
这种退化不仅影响视觉质量,还影响图像理解所需的特征表示的可靠性。从表示学习的角度来看,恶劣的光照削弱了与物体边界、空间布局和场景几何相关的结构线索,从而降低了学习特征的判别力和一致性。这一限制使得增强模型在图像重建期间难以保持几何一致的表示。因此,当应用于退化的低光输入时,下游视觉任务(包括物体检测、场景理解和模式识别)可能会受到严重损害(Salah 等人,2024,Hasan 等人,2024,Peng 等人,2024,Wu 等人,2025)。
因此,开发有效的计算模型以在不依赖硬件修改的情况下减轻光照引起的退化仍然是一个关键的研究挑战。在此背景下,LLIE 可以被解释为一个表示增强问题,其目标是从退化输入中恢复信息丰富且几何一致的特征,从而支持鲁棒的感知和下游视觉任务。
早期的低光图像增强方法主要依赖于直方图均衡技术(Abdullah-Al-Wadud 等人,2007,Ibrahim 和 Kong,2007)或源自 Retinex 理论的模型(Land,1977,Fu 等人,2015,Guo 等人,2017,M. Li 等人,2018,Park 等人,2017,Wang 等人,2013)。这些传统方法通过重新分布全局或局部像素强度来增强图像对比度。然而,它们通常缺乏适应复杂和空间变化光照条件的能力。
近年来,基于深度学习的方法已成为低光图像增强的主导范式。这些端到端模型从大规模训练数据中学习复杂的非线性映射,并在各种基准数据集上取得了卓越的性能(Cai 等人,2023,Chen 等人,2018,Abideen 等人,2026,Tan 等人,2026,Cui 等人,2022,Sun 等人,2026,Xu 等人,2022,Wu 等人,2025)。尽管如此,当面临涉及极端光照条件和复杂噪声特性的更具挑战性的现实世界场景时,现有方法的泛化能力和鲁棒性仍然有限。一个主要的限制是,虽然提高了整体亮度,但许多模型难以有效保留边缘和纹理等细粒度细节。
为了解决低光图像增强中细节保留不足和泛化能力有限的挑战,引入外部先验信息已成为一种有效策略。现有研究通过利用不同形式的先验探索了这一方向。例如,Dong 等人(2025)使用生成的结构线索来调节增强过程,Zhou 等人(2025)利用源自视觉 - 语言模型的感知先验来提高低光条件下的增强性能。然而,这些方法采用的语义或基于边缘的先验主要在二维图像层面运行,这使得难以完全表征真实场景的空间关系和几何约束,从而限制了物理一致性和测量稳定性。
考虑到深度信息可以被视为 RGB 成像的几何补充,并明确编码场景的三维结构特性,探索并整合深度相关的结构先验可以为低光图像增强提供有效约束。这种整合有助于在复杂且具有挑战性的光照条件下提高结构一致性和更可靠的视觉感知。
RGB 图像和深度图表现出显著的模态差异,这导致了互补的信息表示,但也为其联合利用带来了根本挑战。首先,深度估计对光照条件非常敏感。在低光场景中,深度推断模型需要同时从严重退化的视觉信号中恢复固有反射率特性和几何结构。在光照不足的情况下,这两个估计任务变得强耦合且相互干扰,使得直接的端到端深度估计特别容易产生偏差和不稳定。其次,一旦获得深度图,有效地将深度信息作为几何先验与 RGB 图像的颜色和纹理线索在不同网络层级中进行整合仍然并非易事。简单的融合策略,如特征拼接或逐元素加法,不足以适应不同场景和特征尺度下的不同模态贡献。不当的融合可能导致跨模态干扰甚至冲突,其中深度测量中的噪声污染了 RGB 特征,或者 RGB 图像中的低光伪影扭曲了几何表示,从而限制了整体模型性能。因此,将深度先验有效纳入低光图像增强过程构成了一个关键且具有挑战性的任务。
为了解决上述挑战,本文提出了一种用于低光图像增强的深度引导多尺度注意力网络(DMSA-Net)。所提出的框架采用了一种结合冻结伪深度提取和可训练深度引导增强的级联架构。整体框架由两个核心组件组成:(1) 前端深度估计模块,以及 (2) 多尺度注意力编码器 - 解码器融合模块。
前端深度估计模块基于 Retinex 分解和先进的视觉基础模型构建,旨在从低光输入中提取光照鲁棒的伪深度表示。具体而言,该模块首先应用预分解网络将低光图像解耦为光照分量 (L) 和反射率分量 (R)。反射率分量旨在保留固有纹理和结构信息,同时降低对光照变化的敏感性。然后将其输入预训练的单目深度估计器以获得更稳定的伪深度表示。
在获得伪深度先验后,下一步是自适应地将其整合到低光恢复特征中。受 Lin 等人 (2025) 的启发,我们仅在编码器内进行深度特征融合。这一设计选择是受到以下观察结果的驱动:编码器特征具有更好的泛化性,并与深度先验对齐良好,而解码器特征专门用于目标域重建,在解码器阶段融合深度提供的益处有限,并且可能会由于语义差距引入噪声。
相应地,我们在编码器的每个层级开发了一个多尺度深度融合 (MDF) 块。每个 MDF 块由一个三阶段渐进式特征处理流水线组成:首先,利用多分支注意力模块 (MbAM) 的并行多分支结构,对低光输入图像进行编码,以获得具有丰富感受野的鲁棒特征表示。在此基础上,我们创新性地引入了深度感知注意力特征融合 (DAAF) 模块,该模块采用交叉注意力机制自适应地将嵌入在深度图中的几何先验注入到图像特征空间中,从而为低光图像增强过程提供相对结构指导。此外,该模块结合了残差密集块 (RDB) 以有效恢复低光条件下丢失的纹理细节,进一步提高输出图像的感知质量。
我们在多个低光图像数据集上进行了广泛的实验。实验结果表明,我们的方法实现了卓越的恢复性能。图 1 视觉比较了我们的方法与其他前沿方法。总之,我们的贡献有四方面:
(1) 我们提出了一种解耦的深度估计框架,引入前端分解将几何深度估计与光照干扰去除分离,为低光增强实现鲁棒的内在场景表示。
(2) 我们引入了一种 MDF 块,该块结合了多尺度上下文建模、稀疏跨尺度注意力和跨模态 RGB-伪深度注意力以实现自适应特征融合。
(3) 我们设计了一个即插即用的深度感知注意力特征融合 (DAAF) 模块,该模块通过跨模态注意力自适应融合图像和深度特征,有效利用几何结构先验以增强低光恢复。
(4) 我们通过增强 LOLv1 和 LOLv2 构建了 LOL-D,加入了由冻结的伪深度提取流水线生成的单目伪深度图。这些图提供了相对的场景布局和边界线索,而不是传感器采集或真实值度量深度注释。它将在以下地址公开提供:https://github.com/toppyuser/LOL-D。
章节摘要
传统增强方法
传统的低光图像增强方法主要依赖于手动设计的启发式模型和增强策略。基于直方图均衡 (HE) 的方法 (Lee 等人,2013) 重新分布像素强度值以扩展动态范围 (Ibrahim 和 Kong,2007,C. Li 等人,2018,Celik 和 Tjahjadi,2011,Arici 等人,2009),而伽马校正 (Huang 等人,2012) 通过非线性映射函数调整整体亮度 (Rahman 等人,2016)。另一个重要的
所提方法
本节系统地介绍了深度引导多尺度注意力网络的理论框架。首先,在 3.1 节中,我们讨论了整合深度信息的动机,并概述了整体网络架构。接下来,在 3.2 节中,我们详细介绍了如何通过基于 Retinex 框架的前端任务从低光图像中鲁棒地提取深度信息。随后,3.3 节专注于
实验
在本节中,我们首先描述实现细节、评估数据集和性能指标。接下来,我们展示了与最先进方法的定量和视觉比较。最后,进行消融研究以验证每个组件的贡献。
结论
本文提出了 DMSA-Net,一种用于几何感知低光图像增强的深度引导多尺度注意力框架。所提出的方法通过引入深度相关的结构先验到低光表示学习中,解决了外观驱动增强模型的局限性。首先使用基于 Retinex 的分解策略获得光照鲁棒的反射率表示,从中可以推断出更稳定的相对场景布局和边界线索,在
CRediT 作者贡献声明
Fang Gao:写作 – 审阅与编辑,资金获取,概念化。Jiongkai Qin:可视化,验证,方法论,概念化。Jiabao Wang:项目管理,调查,数据整理。Jingfeng Tang:软件,资源,项目管理。Ming Cheng:监督,资金获取。Hanbo Zheng:监督,形式分析。Qingbao Huang:资源,方法论。Cheng Wu:可视化,形式分析。
未引用参考文献
Johnson 等人 (2016)
未引用参考文献
Cao 等人,2025,Wang 等人,2023,Ye 等人,2023,Zhang 等人,2024
利益冲突声明
作者声明他们没有任何已知的 competing financial interests 或个人关系可能会影响本报告中报告的工作。
Fang Gao|Jiongkai Qin|Jiabao Wang|Jingfeng Tang|Ming Cheng|Hanbo Zheng|Qingbao Huang|Cheng Wu
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号