《Sensors》:Computational Imaging Method for Thermal Infrared Hyperspectral Imaging Based on a Snapshot Divided-Aperture System
Tianzhen Ma,
Zhijing He,
Bin Wu,
Yutian Lei,
Yijie Wang,
Xinze Liu,
Bingmei Guo,
Jiawei Lu,
Bo Cheng and
Liyin Yuan
+ 2 authors
编辑推荐:
为解决热红外光谱成像中同时实现快照成像能力和高光谱分辨率的技术挑战,本文提出一种基于快照分孔径成像系统(snapshot divided-aperture imaging system)的计算成像方法。该方法利用自研的分孔径快照多光谱相机(divided-ap
为解决热红外光谱成像中同时实现快照成像能力和高光谱分辨率的技术挑战,本文提出一种基于快照分孔径成像系统(snapshot divided-aperture imaging system)的计算成像方法。该方法利用自研的分孔径快照多光谱相机(divided-aperture snapshot multispectral camera),在单次曝光中同时捕获九幅低光谱分辨率图像。通过星点阵列校准方法(star-point array calibration method)实现子通道图像的精确配准。为构建光谱重建数据集,研究人员采用傅里叶变换红外高光谱相机(Fourier-transform infrared hyperspectral camera, FTIR HCam)同步采集真实场景的高光谱数据。在此基础上,应用神经网络模型从低维多光谱测量值中重建127通道高光谱信息。实验结果表明,该方法在保持系统紧凑性和快照成像能力的同时有效实现了高光谱重建,从而为动态热红外场景的高光谱感知提供了一种可行的技术途径。
**论文解读:基于快照分孔径系统的热红外高光谱计算成像方法**
**研究背景与问题**
热红外成像技术凭借夜间观测、烟雾穿透和温度感知等优势,广泛应用于环境监测、军事侦察、工业检测和医疗诊断等领域。然而,随着观测需求日益复杂,传统热红外成像在材料识别、伪装检测等应用中面临信息维度不足的局限,亟需高光谱成像(hyperspectral imaging)提供的精细光谱特征支持。同时,气体扩散、废气排放、燃烧等动态过程的研究对成像系统的时间响应能力提出更高要求,需要快照成像(snapshot imaging)能力。当前主流热红外光谱成像技术如色散扫描(dispersive scanning)、滤光片(filter-based)和傅里叶变换(Fourier-transform)系统,在快照能力、光谱分辨率和系统复杂度之间存在权衡:色散扫描依赖扫描成像,时间分辨率低;滤光片系统通道数有限或调谐速度受限;傅里叶变换系统结构复杂、易受振动影响且数据处理耗时。分孔径光谱成像系统(divided-aperture spectral imaging system)结构简单且支持多通道并行采集,具备快照能力,但通常通道数有限,限制了光谱分辨率。计算成像技术(computational imaging)的发展使得利用神经网络算法结合先验光谱信息,在硬件约束下实现高光谱信息重建成为可能。因此,本研究旨在开发一种结合快照分孔径硬件系统与数据驱动计算方法的成像方案,以同时实现快照成像和高光谱信息获取。该论文发表在《Sensors》。
**研究内容与结论**
研究人员设计并实现了基于快照分孔径系统的热红外高光谱计算成像方法。通过开发九通道分孔径快照多光谱相机(9-DAS MCam),在硬件层面实现单次曝光内多光谱信息的并行采集。针对分孔径系统固有的子通道空间偏差,提出基于星点阵列的精确配准方法,实现像素级光谱对齐。在此基础上,利用傅里叶变换红外高光谱相机(FTIR HCam)同步采集真实场景数据,构建配对数据集。进一步设计交叉层Transformer融合光谱重建网络(Cross-layer Transformer Fusion for Spectral Reconstruction Network, CTF-SRNet),成功从九通道低维光谱重建出127通道高光谱数据。实验结果表明,该集成方案在保持紧凑系统结构和视频级时间分辨率的同时,实现了高精度光谱恢复,为动态热红外场景中“快照成像能力”与“高光谱分辨率”的传统矛盾提供了可行的新途径,在环境监测、工业检测和安全侦察等领域具有重要应用潜力。
**关键技术方法**
研究采用的主要关键技术方法包括:(1)**九通道分孔径快照多光谱相机(9-DAS MCam)设计**:基于分孔径光学成像原理,采用3×3带通滤光片阵列与对应透镜阵列,在单次曝光中通过焦平面阵列(FPA)探测器并行记录九个光谱子图像。(2)**星点阵列校准方法**:设计专用星点阵列校准板,通过热红外光源照明产生衍射模糊斑,利用灰度加权质心提取算法测量子通道间像素偏移,并采用三次多项式几何变换模型实现子通道图像精确配准。(3)**双相机图像配准与数据集构建**:使用尺度不变特征变换(SIFT)算法和随机采样一致性(RANSAC)算法对9-DAS MCam与FTIR HCam图像进行特征点匹配与单应性变换,实现像素级对齐,构建包含1,292,800对样本的“多光谱输入-高光谱标签”数据集。数据采集在浙江省内进行,涵盖农田、道路、水体、建筑、矿物、林地、草地及多种人工材料场景。(4)**CTF-SRNet光谱重建网络**:包含特征增强模块、交叉层连接Transformer模块、特征融合模块和输出层,利用自注意力机制建模光谱特征全局依赖,通过残差连接保留细节信息,最终输出非负的127维高光谱辐射向量。
**研究结果**
**3.1 9-DAS MCam的实现**
基于设计成功开发了9-DAS MCam,采用焦距50 mm、F数1.2的光学系统,配合定制非制冷氧化钒红外探测器(像素阵列1280×1024,像元间距12 μm,NETD<50 mK),帧率30 Hz,输出14位数据。3×3定制带通滤光片阵列在6–12 μm范围内提供相邻且部分重叠的透射带。单次曝光可同时捕获九个特定光谱波段的红外图像,验证了快照多光谱成像能力。
**3.2 分孔径子通道图像配准**
通过星点阵列校准实验,利用公式计算星点孔径直径d=725 μm,采用灰度加权质心提取获取各通道相对于中心参考通道的像素偏移矩阵,建立三次多项式几何变换模型并进行双线性插值重采样。实验室和室外场景(约1000 m建筑、约3000 m山脊)对比显示,配准后九通道叠加图像从模糊重影变为轮廓清晰,验证了配准方法的有效性。
**3.3 训练数据获取**
使用9-DAS MCam与FTIR HCam同步采集,FTIR HCam光谱分辨率设为4 cm
-1,覆盖7.7–12.6 μm,经光谱裁剪保留8–12 μm范围内信噪比较高的127通道作为标签。通过瞬时视场角(IFOV)匹配(缩放因子ρ≈0.688)统一空间分辨率,再经SIFT和RANSAC实现像素级配准,最终构建包含1,292,800对样本的数据集,按8:2划分为训练集和测试集。
**3.4 光谱重建结果**
CTF-SRNet在训练集上训练1000轮后损失收敛,无过拟合。测试集上均方根误差(RMSE)低于0.0015,余弦相似度(S
cosine)主要在0.9997–1之间,表明重建性能优异。与多层感知机光谱重建网络(MLP-SRNet)和深度残差连接光谱重建网络(DRC-SRNet)对比,CTF-SRNet在RMSE上表现更优。对矿石、彩色涂层钢板、太阳能电池板等20种典型地物重建光谱与真实光谱高度一致。三次样条插值得到的多光谱数据仅能反映整体轮廓,无法捕捉精细光谱特征,而重建光谱能准确恢复细节,避免材料误分类。在AMD Ryzen 7 5800X CPU和NVIDIA GeForce RTX 3060 Ti GPU平台上,重建一幅225×236像素的高光谱图像耗时3.36秒,重建数据立方体与真实值在光谱特征上高度一致,且视觉噪声更低。
**讨论与结论**
**讨论**:该方法的核心优势在于简单的无运动分孔径光谱成像机制,可在单次曝光内获取高光谱信息,适用于燃烧或气体泄漏等动态过程的光谱-时间演化捕获。然而,当前存在若干局限:重建性能依赖训练数据的质量和覆盖范围,数据集可能缺乏极端温度目标或高特异性光谱特征样本,影响泛化能力;将像素级高光谱重建扩展至视频速率面临数据处理压力,需高度并行计算架构;实际应用中可先基于9通道图像进行异常检测,再对感兴趣区域局部重建以降低计算负载。未来工作可将重建网络与成像系统物理模型深度融合,增强可解释性和结果稳定性。该研究为实时、紧凑型热红外高光谱成像提供了可行技术路径,其核心概念可扩展至其他需要高时空和光谱分辨率的光学成像领域。
**结论**:本研究设计并实现了一种基于快照分孔径系统的热红外高光谱计算成像方法。通过开发9-DAS MCam,在硬件层面实现了单次曝光内多光谱信息的并行采集。针对分孔径系统固有的子通道空间偏差,提出基于星点阵列的精确配准方法,有效实现了像素级光谱对齐。在此基础上,利用FTIR HCam同步采集构建配对数据集,并设计CTF-SRNet,成功从九个低维光谱通道重建出127通道高光谱数据。实验结果表明,该集成方案在保持紧凑系统结构和视频级时间分辨率的同时,实现了高精度光谱恢复,为动态热红外波段中“快照成像能力”与“高光谱分辨率”的传统矛盾提供了一种实用的新途径,在环境监测、工业检测和安全侦察等领域具有重要应用潜力。