将感知线索与专家混合模型结合用于低光照图像修复

《Neural Networks》:Integrating Perceptual Cues with Mixture-of-Experts for Low-light Image Restoration

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  低光照图像增强与多退化联合修复:提出感知引导的混合专家模型IPCMoE,通过动态路由机制和任务专用专家协同处理光照不足、噪声、运动模糊及低分辨率问题,结合纹理记忆与增强专家模块实现自适应特征融合,在复杂夜间场景中显著优于现有方法。

  
李月洲|牛玉珍|徐黄标|徐瑞|胡宇琦|达慧|刘文曦|魏丽芳
中国福建省农林大学计算机与信息科学学院数字福建农业与林业大数据研究院,福州,350002

摘要

夜间图像的视觉感知常常受到各种退化的影响:低光照、噪声、运动模糊和低分辨率。尽管最近的方法在共同解决这些退化问题上取得了进展,但退化的模式和强度的多样性并未得到充分考虑,导致照明不一致和出现不必要的伪影。为此,我们提出将感知线索与专家混合模型(IPCMoE)相结合,以实现低光照低质量图像的灵活处理。通过利用感知线索,我们策略性地结合了专门的专家模型和选择性协作方法来进行特征增强和纹理恢复。为此,我们设计了定制的路由器和任务依赖的专家模型。具体来说,纹理记忆MoE用于保留有价值的特征以恢复高保真度细节,而增强MoE则能够自适应地整合特征增强线索和纹理线索,从而实现动态图像处理。与现有最先进模型相比,我们的IPCMoE在处理复杂低光照场景的各种基准测试中表现出更优越的性能。

引言

在图像处理领域,提高夜间场景的可见性引起了极大的兴趣(He等人,2025a;Ren等人,2025)。然而,现实世界中的图像退化通常更为复杂。除了低光照退化外,噪声(He等人,2025a)、运动模糊(Yuan等人,2007)和低分辨率也是夜间摄影中的常见问题,这些问题会导致纹理模糊、边缘失真以及捕获图像的细节不足。因此,同时处理这些视觉退化对于改善夜间图像的感知效果至关重要。
不幸的是,尽管提出了许多低光照增强(LLE)方法和图像恢复方法(例如去模糊或超分辨率模型),但将它们结合起来并不是一种实际可行的方法来恢复同时存在的退化现象:一方面,顺序采用现有技术可能会增加错误累积的可能性(Zhou等人,2022),从而引入不必要的伪影;另一方面,联合重新训练方法会面临计算成本增加以及模型之间的固有差距(Li等人,2024c)。
鉴于现有的低光照图像恢复方法,已经进行了以下开创性的尝试。对于联合低光照增强和去模糊:Zhou等人(2022)提出了一个包含用于特征增强的编码器和用于去模糊的解码器的LEDNet。Zou等人(2024)引入了向量量化码本,以匹配退化特征和照明先验,从而实现结构和细节的恢复。Li等人(2024c)通过设计两个感知辅助任务,使用并行多任务学习架构解决了这个问题。对于联合低光照增强和超分辨率:Rasheed和Shi(2022)首先在低分辨率空间增强暗部特征,然后进行上采样。Xu等人(2023)提出调整相对曝光水平以消除伪影,并引入了多尺度块采样的策略。Ye等人(2024a)开发了一个由语义先验引导的交互式网络,以生成正常光照下的高分辨率图像。总之,现有方法的关键在于为每种类型的退化开发专门的策略,并将其纳入端到端框架中。基于此,我们的工作进一步关注了在复杂场景中专门策略的灵活性和适应性。
我们认为,现有低光照图像恢复方法仍面临以下挑战:首先,联合退化图像的退化表现出复杂的模式和可变的强度。具体来说,全局亮度强度通常因图像而异,这种变化要求进行适应性处理以增强图像。同样,不同程度的模糊也需要适当处理以进行纹理恢复。其次,影响图像质量的主要因素在图像增强过程中可能会发生变化。例如,在光线不足的条件下,模糊退化可能不易察觉,而低光照退化是目前影响图像质量的主要因素。相反,当亮度提升到可接受的水平时,明显的边缘模糊或细节不足会极大地影响图像纹理的视觉感知。基于这些观察,我们认为应该明确特征增强和纹理恢复之间的关系,以生成视觉上吸引人的结果。
在寻求上述挑战的解决方案时,我们意识到动态和自适应地处理图像的能力是一个不可或缺的要素。因此,我们自然而然地转向了流行的专家混合模型(MoE)(Chen等人,2022b;Riquelme等人,2021;Ye和Xu,2023),该模型通过在一组专门的专家模型之间分配计算能力来提供高效的计算,同时假设每个输入只使用其中的一部分专家模型(Chen等人,2022b;Riquelme等人,2021;Ye和Xu,2023)。我们的动机在于观察到图像退化通常以多种模式和强度出现。然而,试图用单一的、整体的模型捕捉和恢复所有退化可能是具有挑战性的。鉴于MoE的优势,选择性专家协作使网络能够专注于图像的不同模式和属性,从而便于建模低光照、低质量图像与正常光照、高质量图像之间的依赖关系(图1(a))。
在本文中,我们提出将感知线索与专家混合模型(IPCMoE)相结合,用于低光照图像恢复。如图1(b)所示,我们通过设计一系列增强阶段来处理低质量图像。在每个阶段,输入在特征提取后同时由增强MoE(E-MoE)和纹理记忆MoE(T-MoE)进行处理。由于需要同时消除共存的图像退化,我们设计了受感知解耦机制启发的辅助任务(Li等人,2024c),以确保模型在优化过程中能够专注于受损的感知信息。为此,我们开发了纹理映射预测任务来帮助纹理记忆MoE提取纹理线索,并设计了缩略图增强任务来提取特征增强线索。最后,在特征增强线索的指导下以及纹理线索的整合下,我们的增强MoE能够实现自适应的特征处理,从而产生视觉上吸引人的结果。
具体来说,与直接使用标准MoE不同,我们通过设计专门的路由器和任务依赖的专家模型来开发感知集成MoE。我们设计了“纹理特征记忆库”来保存不同增强阶段的编码纹理特征,并相应地提出了T-MoE来生成纹理线索。此外,我们提出了E-MoE来提供具有集成感知线索的自适应处理。为此,我们设计了一个特征引导路由器来指导专家选择过程。同时,我们的E-MoE明确界定了特征增强和纹理恢复之间的关系,其中纹理线索与额外的专家模型进行自适应合并。与我们的先前工作(Li等人,2025)相比,我们对低光照图像恢复进行了彻底的研究,创建了一系列模型,进行了实验改进,提供了额外的方法学细节,进行了更深入的分析,并进行了更广泛的评估。
主要贡献总结如下:
  • •
    我们提出将感知线索与专家混合模型相结合,用于低光照图像恢复。我们的方法提供了一种动态和自适应的方法来处理联合退化的图像。
  • •
    我们设计了专门的路由器和专家模型来构建感知集成MoE:提出了纹理记忆MoE来保留有价值的细节以进行纹理恢复,以及用于具有集成感知线索的自适应特征处理的增强MoE。
  • •
    实验结果表明,我们的IPCMoE在低光照增强(LLE)任务、联合低光照增强和去模糊(LLE-Deblur)任务以及联合低光照增强和超分辨率(LLE-SR)任务的各种基准测试中表现出更优越的性能。
  • 章节片段

    图像恢复

    Cui等人(2022);Li等人(2024b);Wu等人(2023);Xu、Hou、Ren、Liu、Zhu、Yu、Wang、Shao(2020);Xu、Li、Niu、Xu、Chen、Zhao(2024)致力于提高低光照场景的视觉感知效果。对于传统方法,直方图均衡化和Retinex理论(Hao等人,2020;Xu等人,2020)是常用的增强亮度和颜色的技术。对于基于学习的方法,Wu等人(2023)提出整合先验知识

    方法论

    我们提出将感知线索与专家混合模型相结合,用于低光照图像恢复。在本节中,我们首先介绍所提出框架的概述。然后,我们详细描述了具有感知线索的专用MoE模型。随后,我们开发了三种IPCMoE变体用于低光照图像恢复。最后,我们介绍了损失函数。

    实验

    在本节中,我们首先介绍了实施所需的技术细节。接下来,我们对低光照增强、联合低光照增强和去模糊以及联合低光照增强和超分辨率进行了定性和定量评估。最后,我们进行了消融实验以验证我们方法的有效性。

    讨论

    在本节中,我们讨论了专家协作、模型复杂性和效率、极端挑战、实际问题以及未来的工作。

    结论

    在本文中,我们提出将感知线索与专家混合模型相结合,用于低光照图像恢复。为此,我们通过设计定制的路由器和任务依赖的专家模型来构建感知集成MoE。具体来说,T-MoE用于保留有价值的特征以恢复高保真度细节,而E-MoE则用于整合感知线索,以明确特征增强和纹理恢复之间的关系。广泛的实验表明

    CRediT作者贡献声明

    李月洲:撰写——原始草稿、方法论、概念化。牛玉珍:资金获取、概念化。徐黄标:撰写——审稿与编辑、调查。徐瑞:撰写——审稿与编辑、方法论。胡宇琦:撰写——审稿与编辑、验证。达慧:方法论、概念化。刘文曦:监督、概念化。魏丽芳:资源、项目管理。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

    致谢

    本工作部分得到了中国国家自然科学基金(项目编号62471142、62571127和62171130)的支持,部分得到了福建省自然科学基金(项目编号2023J01067)的支持,部分得到了福建省产学研合作项目(项目编号2024H6006)的支持,部分得到了福州市协同创新平台项目(项目编号2023-P-002)的支持,以及部分得到了重点技术研发与产业化项目的支持
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号