一种轻量级可靠性感知门控自适应网络用于无参考低光照图像增强

《Signal Processing: Image Communication》:A Lightweight Reliability-aware Gated Adaptive Network for Zero-reference Low-light Image Enhancement

【字体: 大 中 小 】 时间:2026年09月30日 来源:Signal Processing: Image Communication 3.4

编辑推荐:

   • 基于可靠性感知门控融合的零参考低光照图像增强 • 学习型可靠性图 $N(x)$ 平衡特征增强与保留 • 多多项式混合色调映射实现渐进式曲线精化 • 超轻量级10K参数在GPU上达到119 FPS,在Jetson Nano上达到8.2 FPS ## 引言 低光照图像增强

  

• 基于可靠性感知门控融合的零参考低光照图像增强 • 学习型可靠性图 $N(x)$ 平衡特征增强与保留 • 多多项式混合色调映射实现渐进式曲线精化 • 超轻量级10K参数在GPU上达到119 FPS,在Jetson Nano上达到8.2 FPS

## 引言

低光照图像增强(LLIE)在提升视觉感知和增强下游计算机视觉任务的可靠性方面发挥着关键作用,这些任务包括物体检测、识别、自动驾驶、监控以及在恶劣光照条件下的医学成像。低光照条件下捕获图像的增强仍然是一项挑战,原因在于非均匀光照与空间变化的图像退化之间存在强耦合。在实际场景中,曝光不足区域由于光子数量少和传感器噪声的存在,往往包含高度不可靠的强度信息。在这些区域中,直接进行亮度放大可能会通过放大传感器噪声、引入晕影伪影以及扭曲结构细节而显著降低感知质量。因此,低光照图像增强(LLIE)本质上是一个病态问题,特别是在零参考设置下,即没有可用真值监督的情况下。

现有的LLIE方法通常可以分为有监督、无监督和零参考学习范式。有监督方法从配对的低光照图像和正常光照图像中学习直接映射关系,通常能够实现优异的图像重建质量。然而,收集大规模配对数据集耗费人力,这限制了其在多样化真实世界光照条件下的适用性。无监督方法减轻了对配对监督的依赖,但通常需要额外的约束来稳定优化过程。在这些范式中,零参考学习因其能够直接从退化图像中学习增强函数而无需配对真值监督 [1], [2], [3],受到了越来越多的关注。在这些学习范式中,LLIE的最新进展在很大程度上是由深度学习方法的推动所驱动的 [4], [5],包括卷积神经网络、基于Transformer的模型以及基于扩散的框架 [1], [6], [7], [8]。这些基于深度学习的方法在恢复可见度和细节恢复方面展现出了强大的能力。然而,许多高性能的LLIE方法依赖于大规模配对数据集和计算密集型架构,导致高内存消耗和高推理延迟。这限制了其在实时和资源受限环境中的应用,例如移动设备和边缘设备 [9]。因此,零参考方法作为一种实用的替代方案应运而生,通过消除对配对训练数据的需求,为实际部署提供了更大的灵活性。

尽管具有这些优势,零参考方法——即消除对配对数据的需求——仍然表现出三个基本局限性。第一,许多方法在空间区域上应用相对均匀的增强策略,忽视了低光照退化的高度非均匀特性。第二,特征融合通常使用固定或注意力引导机制,而没有显式估计退化感知的置信度。第三,增强变换通常使用单曲线公式设计,限制了其对多样化光照条件的适应能力。综合来看,这些局限性可能导致增强不稳定、过度增强以及明显的伪影,特别是在严重退化区域。

为了克服这些局限性,本文提出了一种轻量级可靠性感知零参考LLIE框架,集成了三种互补机制。第一,一个显式可靠性估计模块预测像素级置信度图 $N(x)$,该图具有双重作用:既识别空间变化的退化严重性,又在特征融合期间控制保留与增强之间的权衡,详见第3.2节。第二,一个门控自适应特征选择模块从多尺度特征生成 $K=3$ 个候选增强分支,并通过空间自适应softmax门控动态混合它们,实现根据局部退化特性进行逐像素特征聚合,详见第3.4节。第三,为补充像素级自适应曲线(PWAC)模块执行的渐进式基于曲线的精化,采用多多项式混合色调映射模块作为最终增强阶段;该模块维护 $K=3$ 个可学习多项式专家,其响应通过轻量级门控网络在空间上混合,为超出单曲线族适应能力的多样化光照条件提供额外的亮度灵活性,详见第3.7节。该框架仅在HSV色彩空间的亮度(Value)通道上运行,在保留色度保真度的同时,专注于增强对感知有意义的亮度信息。

该框架的核心设计原则是可靠区域和退化区域应区别对待:不是应用统一增强,而是网络显式识别可信区域进行保留,并选择性地增强退化区域。通过将可靠性图作为置信度估计器和空间门控,该框架减轻了与固定增强变换相关的过度放大伪影。门控自适应融合通过根据局部图像特征混合多个候选表示,进一步提高了空间灵活性,而多多项式混合则提供了超越单曲线公式的额外色调级自适应能力。尽管具有这些自适应机制,所提出的网络仍然是轻量级的,仅有10,386个参数和0.686 GFLOPs,在NVIDIA RTX 4060上处理256×256图像时达到119.4 FPS。在五个非配对真实世界基准数据集(VV、DICM、LIME、MEF和NPE)上的大量实验表明,与五种最先进的零参考方法(Zero-DCE、Zero-DCE++、Zero-DiDCE、SGZ和DSCNet)相比,本文方法实现了持续改进,在对比的轻量级方法中取得了最佳平均BRISQUE得分13.33和次佳平均NIQE得分3.57。代表性增强结果如图1所示。

本文的主要贡献总结如下:

- 提出了一种显式退化感知可靠性建模框架,其中单一学习型图 $N(x)$ 具有双重作用:既作为局部退化的像素级置信度估计器,又作为控制保留与增强权衡的空间门控机制。
- 提出了一种可靠性引导的门控自适应特征融合策略,其中 $K=3$ 个候选增强分支使用空间自适应softmax门控进行动态混合,实现根据局部退化特性进行逐像素特征选择。
- 引入多多项式混合色调映射模块作为最终增强阶段,以补充渐进式曲线精化。该模块采用 $K=3$ 个可学习多项式变换,其响应通过轻量级门控网络在空间上混合,提供了超越传统单曲线公式的额外亮度灵活性。
- 开发了一种轻量级实现,参数仅为10,386个,实现了实时低光照图像增强。

本文其余部分组织如下:第2节回顾低光照图像增强相关工作;第3节介绍所提出的可靠性引导轻量级增强框架;第4节描述实验设置、实现细节和消融实验;第5节展示实验结果和对比分析;第6节讨论所提方法的局限性和失效案例;最后,第7节总结全文并展望未来研究方向。

## 章节片段

### 经典LLIE方法(深度学习之前)

**直方图均衡(HE):** 直方图均衡及其自适应变体(例如AHE/CLAHE)通过重新分布强度值来增强对比度。虽然计算效率高,但这些方法纯粹基于统计驱动,没有显式考虑空间光照结构,在具有挑战性的低光照条件下通常导致过度增强、晕影伪影和噪声放大 [10]。

**伽马校正:** 基于伽马的变换提供简单的逐点亮度

## 概述

所提出的框架通过八阶段可靠性引导变换流水线进行低光照图像增强。给定输入RGB图像 $I \in \mathbb{R}^{3 \times H \times W}$,图像首先被转换到HSV色彩空间,然后仅对亮度通道 $I_V$ 进行处理,以保留色度保真度。

增强过程包括八个主要阶段,如图2所示。(1)输入与预处理:将RGB图像转换到HSV空间并提取Value通道 $I_V$,同时保留

## 训练与实现细节

所提出的零参考模型使用总共5179张图像进行训练,包括来自SICE Part 1数据集 [27] 360个场景的3021张多曝光图像和来自LOL-v2数据集 [28] 的2158张低光照图像。VV、DICM、LIME、MEF和NPE数据集仅用于测试,未包含在训练过程中。所有训练图像使用Lanczos插值调整为256×256像素。训练数据集使用固定的Python随机种子114进行随机洗牌。

## 定量与定性比较

本节介绍本文方法的定量和定性评估,并与最先进的轻量级和零参考增强模型进行对比。

**评估协议。** 遵循零参考LLIE惯例 [1], [15],输入一致性指标(PSNR、SSIM、MAE、LPIPS、DISTS)相对于输入低光照图像计算,以量化修改程度和结构保留情况。这些指标不衡量增强质量或

## 局限性与失效案例

尽管所提出的轻量级可靠性感知门控自适应网络在标准基准上取得了强大的定量和定性性能,但在极端环境条件下仍然存在某些局限性。图8展示了本文方法的代表性成功案例和失效案例。

## 结论

本文提出了一种将多多项式混合色调映射与可靠性引导自适应融合相结合的轻量级增强框架,用于零参考低光照图像增强。与假设均匀空间可靠性或依赖单曲线族的传统方法不同,本文方法引入了带空间门控的多多项式混合色调映射,通过自适应混合多个可学习多项式变换,实现了灵活的亮度调整。

## CRediT作者贡献声明

Supriya Singh:撰写——初稿,撰写——审稿与编辑,资源提供,方法论,调查研究。Deepa Raj:可视化,验证,监督。

## 生成式AI与AI辅助技术声明

**科学写作中生成式AI的声明** 在准备本作品期间,作者仅使用AI工具进行语言编辑和语法润色。使用这些工具后,作者根据需要对内容进行了审阅和编辑,并对所发表文章的内容承担全部责任。

## 利益冲突声明

作者声明,他们不存在任何已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。

Supriya Singh | Deepa Raj
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号