《Sensors》:PNG-Net: Physics Noise-Guided Network for Infrared Image Nonuniformity Correction
编辑推荐:
红外热成像被广泛用于工业故障诊断,因为它能够进行非接触式测量并揭示温度异常。然而,探测器非均匀性会降低图像质量,并可能影响后续分析。现有的非均匀性校正(NUC)方法在抑制结构噪声与保留精细图像细节之间存在权衡。为解决这一问题,研究人员提出了一种用于红外图像非均
红外热成像被广泛用于工业故障诊断,因为它能够进行非接触式测量并揭示温度异常。然而,探测器非均匀性会降低图像质量,并可能影响后续分析。现有的非均匀性校正(NUC)方法在抑制结构噪声与保留精细图像细节之间存在权衡。为解决这一问题,研究人员提出了一种用于红外图像非均匀性校正的物理噪声引导网络(PNG-Net)。首先,利用快速傅里叶变换(FFT)将输入图像分解为低频、中频和高频分量,并通过动态频带选择模块自适应地整合多频信息。其次,一个可学习的类功率谱密度(PSD-like)噪声估计器从傅里叶幅度谱中提取频谱噪声先验,各向异性掩模补充条纹噪声的方向信息。在特征恢复阶段,估计的先验噪声被纳入所提出的噪声引导堆栈(Noise-Guided Stack)中,以条件性地调制多尺度残差特征,从而通过分层编码器-解码器跳跃连接逐步恢复结构细节和热梯度。最后,采用全局残差学习来预测非均匀性校正残差。在合成的红外非均匀性数据集上,PNG-Net达到了48.92 dB的峰值信噪比(PSNR)和0.990的结构相似性指数(SSIM),在这两项指标上均优于所比较的方法。
电机是工业设备、轨道交通、电动汽车和航空航天系统的关键部件,其状态直接影响运行连续性、设备安全与维护成本。轴承磨损、转子不对中、转子断条、绕组短路和绝缘老化等故障会改变电机发热及表面温度分布,因此电机外壳、轴承端盖和绕组邻近区域的红外(IR)图像能够提供非接触状态监测信息。然而在实际工业环境中,由于红外焦平面阵列(IRFPA)探测器响应非均匀性、读出电路不一致以及环境温度漂移等因素,采集到的红外图像常被非均匀性(NU)噪声严重污染,具体表现为固定图案噪声(FPN)、条纹噪声和缓变的1/f闪烁噪声。这类噪声不仅降低热图像对比度和温度测量精度,还会掩盖局部热点、温度梯度变化等关键热异常特征,进而影响后续故障特征提取与诊断的准确性。
现有非均匀性校正(NUC)方法主要分为基于标定和基于场景两类:前者在探测器响应随温度、工作时间或老化漂移时需要重新标定;后者依赖场景变化或运动估计假设,假设不满足时会产生鬼影、残余图案或收敛缓慢。近年来,深度学习图像恢复模型虽在通用任务上表现优异,但多数直接将可见光去噪模型迁移到红外热图像恢复,忽略了红外NU噪声的形成机理与频域分布特性,导致条纹残差、热点过度平滑和细微热异常丢失。实际上,红外NU噪声在频域具有可用的统计规律:FPN、增益漂移和缓变背景偏移集中于低频;列间读出差异产生的垂直条纹在二维频谱中表现为定向集中谱线;1/f噪声功率谱随频率衰减。而真实目标的热结构同时跨越低、中、高频,因此不能仅依赖固定频段滤波,应依据噪声统计特性自适应抑制。
为此,研究人员提出了PNG-Net,一种物理噪声引导的非均匀性校正网络。该网络将IRFPA增益-偏移响应模型以及FPN和1/f噪声的频谱先验显式纳入网络设计,结合频域分解、学习到的频谱噪声先验与残差恢复。在合成数据集上,PNG-Net取得了48.92 dB的PSNR和0.990的SSIM,均优于所比较的多种方法。该工作表明,利用物理噪声频域先验能够有效抑制结构化噪声,同时保留边缘和热梯度,为红外热成像故障诊断提供更可靠的图像基础。
研究人员采用的数据集来自巴博尔诺什维尼理工大学电气与计算机工程实验室创建的公开电机红外故障数据集。他们将模拟FPN、条纹噪声和1/f噪声注入原始干净图像,构建了299张训练图像和70张测试图像,分辨率均为240×320。主要关键技术方法包括:(1)基于快速傅里叶变换(FFT)的频率分解,将图像分为低、中、高频分量,通过动态频带选择模块自适应融合;(2)类功率谱密度(PSD-like)噪声估计器从傅里叶幅度谱提取噪声先验,并构造各向异性掩模补充方向信息;(3)噪声引导残差堆栈利用噪声先验生成门控图,调制多尺度残差特征;(4)跳跃连接融合模块引入通道坐标注意力(CCA)调整特征;(5)损失函数由空间L1损失、光谱一致性损失和VGG感知损失加权组成。训练采用Adam优化器,初始学习率1×10
-4,批次大小8,共200轮。
4.1. Experimental Setup:研究人员在合成数据集上验证PNG-Net。采用PSNR、SSIM、条纹噪声指数(SNI)、行/列平均非均匀性(RMNU/CMNU)和边缘保持指数(EPI)等指标进行评估。所有对比方法在相同训练集上重新训练,并在相同测试集上评估。
4.2. Quantitative Evaluation:与SBNUC、NN-NUC、DnCNN、U-Net、MPRNet、NAFNet、AirNet、Uformer、Restormer、FFC、FFTformer等方法比较,PNG-Net在PSNR和SSIM上均最优,平均PSNR为48.92 dB。在不同噪声强度条件下的泛化测试中,PNG-Net依然领先。模型复杂度方面,PNG-Net单帧推理时间约为16.96 ms,具备良好实时性。此外,通过计算测试集上估算噪声PSD与真实噪声PSD的相关系数,平均值为0.729,表明所学习的PSD-like噪声先验接近真实分布。
4.3. Qualitative Analysis:视觉对比显示,多种基线方法在校正后留下残余图案或过度平滑,而PNG-Net在降低可见噪声的同时保留了更清晰的边界和场景结构。在方向性条纹噪声场景中,PNG-Net有效减少了列方向伪影,同时维持可见目标的几何轮廓。
4.4. Ablation Study:消融实验证明了各组件的贡献:去除频率分解和动态频带选择导致PSNR下降2.65 dB;去除PSD-like噪声估计和各向异性掩模导致PSNR大幅下降10.15 dB;去除跳跃连接融合模块使PSNR降低2.2 dB;将噪声引导残差块替换为普通残差块则使PSNR下降1.49 dB。这表明频域分解、噪声先验估计与方向掩模、跨尺度特征融合以及噪声引导调制均对最终性能具有关键作用。
4.5. Limitations and Future Work:当前实验基于成对合成数据结构,不能完全表征实际IRFPA系统中的探测器漂移、时间不稳定性、镜头效应和跨传感器差异。未来工作将评估PNG-Net在真实多传感器红外序列上的表现,并纳入温度误差、热点定位及下游故障诊断指标,推动工业部署;同时可与智能故障诊断框架结合,通过可解释学习机制和多模态融合进一步提升实用价值。
结论方面,研究人员提出的PNG-Net是一种用于红外图像非均匀性校正的物理引导网络,结合频带分解、学习到的PSD-like频谱噪声先验、各向异性掩模与残差恢复来抑制合成结构化噪声。动态频带选择器融合低、中、高频特征,PSD-like噪声估计器和各向异性掩模提供频谱条件信号,噪声引导残差堆栈进行条件调制,跳跃连接融合多尺度特征,全局残差学习生成最终校正图像。在合成测试集上,PNG-Net达到48.92 dB的PSNR和0.990的SSIM,证实了频谱条件与方向特征调制对所评估失真模式的适用性。但在实际IRFPA校正或工业部署前,仍需基于真实探测器数据进行进一步验证。