ES-PINN:一种基于环境感知的、融合物理信息的神经网络,用于从RGB图像中进行光谱重建

《Expert Systems with Applications》:ES-PINN: Environment sensing-based physics-informed neural network for spectral reconstruction from RGB images

【字体: 大 中 小 】 时间:2026年04月06日 来源:Expert Systems with Applications 7.5

编辑推荐:

  光谱重建在单张RGB图像中通过环境感知模块RSPDE与物理信息神经网络ES-PINN实现,创新性地融合Retinex理论、光场相位调制及LMS加权融合技术,建立物理约束模型提升跨光照泛化能力。

  
吴宇恒|吴光远|张晨龙|廖荣浩
山东科技大学(山东省科学院)轻工学院,济南 250353,中国

摘要

在变化的光照条件下,从单张RGB图像中重建光谱信息面临着重大挑战,这限制了现有算法的泛化能力。为了解决这些问题,引入了一种新的环境感知模块——相对光谱功率分布估计(RSPDE),并将其集成到所提出的基于环境感知的物理信息神经网络(ES-PINN)中。RSPDE利用Retinex理论,并结合虚拟时间帧和光场相位调制技术来模拟多级曝光水平。随后,使用LMS加权方法融合这些时空光照特征,生成与人类视觉系统的感知能力相匹配的光照图像。然后采用视觉长短期记忆(Vision-LSTM)网络将这些图像回归到光谱功率分布(SPD),为重建任务提供必要的光照数据。物理信息神经网络(PINNs)用于将光谱成像的积分过程转换为微分过程,确保重建模型的物理一致性,并提高其在不同光照条件下的泛化能力。此外,构建了一个包含19种常用光源的SPD库,用于进行稳健的基准测试,并通过广泛的实验验证来证明该方法在多个基准数据集上的有效性。

引言

光谱重建是指从捕获的图像中恢复场景的光谱反射率的过程。它还可以从RGB图像实现光谱超分辨率,以获得高分辨率的高光谱图像(HSI)。高光谱成像系统(HIS)比RGB具有更高的维度和更多的光谱带,能够表达更详细的场景信息。通过准确重建HSI,光谱重建可以增强图像分析、提高色彩保真度,并提取传统成像技术无法识别的材料特性。近年来,这项技术受到了广泛关注,在遥感(Hong等人,2021年;Huang等人,2023年)、环境监测(Lassalle,2021年)、医学诊断(Mangotra等人,2023年)、目标检测(Imani和Cerra,2025年)和物体识别(Lin等人,2021年)等应用中至关重要。
传统的光谱重建方法通常依赖于多光谱或高光谱成像系统,这些系统可以在多个狭窄的光谱带中捕获图像。虽然这些系统提供了高精度的光谱数据,但它们通常价格昂贵、体积庞大,不适用于消费电子或实时应用。近年来,计算光谱成像方法作为一种可行的替代方案出现,利用算法模型从标准RGB图像中估计光谱信息。这些方法提供了一种有效且灵活的解决方案,使得无需专用硬件即可将光谱功能集成到现有的成像基础设施中。当前的方法主要分为两类:基于数学和物理原理的方法以及基于深度学习的方法。经典的数学和物理方法主要关注机器学习(Liu和Hou,2023年;Nguyen等人,2014年)和稀疏编码(Fotiadou等人,2019年;Yan等人,2023年)。这些方法涉及处理和优化光谱信息或响应值,以学习从RGB到光谱反射率的映射,或使用稀疏编码来学习HSI重建的光谱字典。深度学习的最新进展为光谱重建任务提供了全新的解决方案。基于卷积神经网络(CNNs)和Transformer的方法迅速兴起。特别是CNNs的成熟,使得以CNNs或其变体为中心的模型成为主流(Cai等人,2022年;Fu等人,2019年;Hou等人,2025年;Xu等人,2024年)。
现有的方法在光谱重建方面取得了令人印象深刻的准确率;然而,这些结果依赖于测试集中的光照条件与训练集中的光照条件相对一致的假设。当应用于在未知和变化的光照环境下捕获的图像时,这些方法的性能通常会下降,其泛化能力也受到限制。尽管一些方法,无论是基于数学和物理原理还是基于学习的技术,在预处理或训练阶段都结合了白平衡或其他颜色一致性策略以实现颜色恒定性(Fu等人,2018年;Nguyen等人,2014年;Zhang等人,2016年),但在面对与训练集光照条件有显著差异的测试图像时,它们的重建准确率仍然不够理想。这些方法面临的主要挑战包括以下两点:一是光照变化的适应性:算法模型在面对变化的光照环境时不稳定;二是泛化能力的限制:模型在训练集之外的光照条件下表现不佳,或者需要大量的训练数据或构建复杂的网络结构,这限制了其性能。
在本文中,为了减轻计算负担并解决光谱重建算法在不同光照条件下的有限泛化能力问题,开发了一种名为相对光谱功率分布估计(RSPDE)的环境感知模块,并将其集成到所提出的ES-PINN中。RSPDE基于Retinex理论,利用虚拟时间帧模拟多级曝光水平,并采用光场相位调制技术获取低噪声的空间照度信息。随后,使用LMS加权融合获得时空光照图像,确保光照估计与人类视觉系统的感知能力相匹配。接下来,训练一个视觉长短期记忆(Vision-LSTM)网络(Alkin等人,2024年),将时空光照图像映射到相应的光谱功率分布(SPD),从而获得重建任务所需的光照信息。然后,利用物理信息神经网络(PINNs),通过非线性偏微分方程(PDEs)描述给定的物理定律,将光谱成像的积分过程转换为微分过程,从而开发出新的模型ES-PINN。所提出的模型将控制光谱反射率的物理定律作为光谱相关约束集成到网络架构中。通过将光谱成像过程通过虚拟微分算子转换为偏微分方程残差,确保了物理一致性,同时提高了在不同光照条件下的泛化能力。最后,ES-PINN有两种模式:一种是嵌入RSPDE的环境感知模式,另一种是用于快速训练的默认SPD模式。本文的贡献总结如下:
  • •
    引入了基于Retinex的RSPDE模块,该模块在各种虚拟时间帧中调制光场,并使用LMS加权融合来全面学习人类视觉系统感知的不同光照环境的状态,从而准确估计图像光源。
  • •
    开发了ES-PINN,将数据约束、光谱相关约束和边界条件约束集成到物理信息神经网络架构中。与纯数据驱动的模型相比,该模型不仅确保了重建结果的物理一致性,还提高了算法在不同光照条件下的泛化能力。
  • •
    构建了一个包含19种常用光源的SPD库,其中选择了8种用于实验验证。该库为基准测试和验证光谱重建算法提供了坚实的基础,便于对不同光谱范围内的成像进行更精确的建模和比较分析。
  • •
    设计了多种实验设置,并在多个基准数据集上进行了广泛的实验,以验证所提出方法的有效性,为在变化和未知光照条件下重建图像的光谱信息提供了有前景的解决方案。
  • 本文的结构如下:第2节回顾了光谱重建、光照估计和物理信息学习的相关工作。第3节详细介绍了所提出的框架,包括RSPDE环境感知模块和ES-PINN重建网络及其理论基础。第4节描述了实验设置,并分析了模型在多种条件下的性能比较。第5节讨论了所提出方法的特点、局限性和未来工作的方向。最后,第6节总结了本文。

    部分摘录

    从单张RGB图像进行光谱重建

    近年来,从单张RGB图像在真实世界光照条件下进行光谱重建的任务受到了广泛关注,提出了许多解决方案来应对不同光源和复杂场景特征带来的挑战。早期的方法旨在通过解决场景光照归一化问题来提高光谱重建的鲁棒性。Jiang和Gu(2012年)提出了一种方法,该方法只需要两张由消费级相机捕获的图像

    提出的方法

    在本节中,描述了一种使用LMS加权融合进行时空光照估计来估计光源相对SPD的方法,以及使用所提出的ES-PINN模型重建光谱反射率的方法。所提出方法的架构如图1所示。首先,计算场景图像

    实施细节

    实验在运行Windows操作系统的PC平台上进行,使用多环境联合框架。RSPDE模块中的光学调制组件以及ES-PINN在MATLAB 2024a中实现。RSPDE的训练组件嵌入在PyTorch框架中,并在RTX 3090 24 GB GPU上运行。值得注意的是,我们的PC配备了Intel Core i7-14700 K CPU和64 GB RAM,确保了代码的高效执行。

    讨论

    ES-PINN模型在不同和极端光照条件下的光谱重建中表现出色,与其他模型相比,始终能够实现更低的RMSE、更高的GFC和更好的色彩保真度。这证明了其在处理不可预测光照下的光谱重建方面的鲁棒性,这是现有方法面临的常见挑战。尽管CNNs和Transformer模型在光谱重建任务中取得了令人印象深刻的结果,但它们在处理

    结论

    在这项研究中,我们提出了一种通过基于Retinex的时空光照估计结合LMS加权融合来估计光源相对SPD的新方法。这种方法确保了估计的光照与人类感知响应紧密对齐,从而提高了重建光谱图像的保真度。随后,通过利用所提出的ES-PINN(该模型集成了光谱相关约束),我们将预测的SPD信息嵌入其中

    未引用的参考文献

    Cai等人,2022年;Hou等人,2025年;Rao等人,2020年

    CRediT作者贡献声明

    吴宇恒:方法论、写作——初稿编写、写作——审阅与编辑、软件开发、调查、形式分析、可视化。吴光远:资源获取、资金筹集、写作——审阅与编辑、监督。张晨龙:形式分析、可视化。廖荣浩:调查、形式分析。

    利益冲突声明

    作者声明以下可能的利益冲突/个人关系:吴光远报告称得到了智能绿色柔版印刷实验室的财务支持。如果还有其他作者,他们声明没有已知的利益冲突或个人关系可能影响本文报告的工作。

    致谢

    本研究得到了智能绿色柔版印刷实验室(ZBKT202401)和QUTJBZ项目(编号2025ZDZX17)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号