色差驱动的计算成像用于高光谱景深扩展
《Optics and Lasers in Engineering》:Chromatic aberration-driven computational imaging for hyperspectral depth-of-field extension
【字体:
大
中
小
】
时间:2026年10月01日
来源:Optics and Lasers in Engineering 4.2
编辑推荐:
• 轴向色差实现了超光谱景深的扩展。• 跨波段对焦互补性产生了全清晰的结构先验。• 无监督的AIF引导网络恢复了锐利的超光谱图像。• 景深在室内达到1–3 m,在室外达到1.2–45 m。
引言
超光谱成像能够同时捕获目标的光谱信息和空间信息,因此在目标识别、材料分析、精
• 轴向色差实现了超光谱景深的扩展。• 跨波段对焦互补性产生了全清晰的结构先验。• 无监督的AIF引导网络恢复了锐利的超光谱图像。• 景深在室内达到1–3 m,在室外达到1.2–45 m。
引言
超光谱成像能够同时捕获目标的光谱信息和空间信息,因此在目标识别、材料分析、精密检测、农业监测和医学诊断等领域具有巨大的应用潜力[[1], [2], [3], [4]]。然而,传统的超光谱成像系统面临空间分辨率、光谱分辨率、成像效率和景深之间的固有折衷[5]。这一局限在真实的三维场景中尤为突出,因为物体分布在不同深度的平面上。有限的景深导致某些深度的物体出现失焦和模糊,从而严重降低超光谱图像的空间锐度以及后续光谱分析的可靠性。在传统光学成像系统中,景深由多个因素共同决定,包括焦距、入瞳直径、成像距离和镜头光圈设置。在低光照条件下,通常需要大光圈来确保充足的光通量,这进一步减小了景深。同样,对于深度范围较大的场景,单一的焦距设置无法使整个场景都处于清晰对焦状态。在超光谱成像中,情况更为复杂:除了有限的景深外,镜头色差导致最佳对焦深度随波长而变化[6]。因此,某些光谱波段可能在近距离清晰对焦而在远距离模糊,而另一些波段则表现出相反的行为。在传统超光谱成像中,这种由色差引起的跨波段对焦不一致性通常被视为图像退化的来源,因为它引入了大量的波段间锐度变化,导致空间细节丢失和光谱保真度降低。
近年来,提出了多种扩展景深的方法。一个代表性例子是经典波前编码,它在光学系统中引入相位调制,以在一定的离焦范围内保持相对不变的点扩散函数(PSF)[7],随后通过数字图像恢复重建扩展景深的图像。焦点扫描成像在单次曝光期间连续移动焦平面位置,使不同深度的物体在曝光期间的不同时刻达到对焦状态[8],从而产生扩展景深的图像。光场成像捕获来自多个角度视角的光线,使后处理中的计算重新对焦成为可能[9],从而在一定程度上缓解了传统相机的景深限制。编码孔径方法采用特殊设计的孔径图案来促进失焦图像的恢复[10]。尽管这些方法通过不同的机制扩展了有效景深,但它们通常需要复杂的光学配置或定制的光学元件。
随着深度学习的快速发展,深度学习与光学成像的融合为扩展景深成像开辟了新的途径。Sitzmann等人开发了一种可微分成像模型,联合优化光学参数和图像处理算法,从而实现了扩展景深的超分辨率成像[11]。Akpinar等人将波前编码与卷积神经网络相结合,通过网络优化学习相位编码图案以实现扩展景深成像。然而,他们的方法依赖于特殊设计的衍射光学元件,对制造精度提出了严格要求,并且对训练数据的特征敏感[12]。Liu等人设计了一种专用镜头,并结合端到端成像网络计算重建具有扩展景深的高分辨率图像。他们的工作展示了深度学习和后端网络优化在即使使用低复杂度光学系统的情况下实现扩展景深成像的潜力[13]。在超光谱成像领域,Sahin等人提出了一种基于衍射光学和深度学习的方法来扩展成像景深[14]。Huang等人开发了一种扩展焦深金属透镜用于无色计算成像;然而,这种方法对金属透镜和其他光学元件的制造精度提出了严格要求[15]。
色差的存在也为扩展景深提供了一种物理线索。由于材料色散,传统透镜表现出明显的轴向色差,这通常被视为传统光学系统中需要校正的像差。然而,从计算成像的角度来看,色差可以作为自然编码的焦平面堆栈。Chakrabarti和Zickler利用波长相关的景深特性进行深度估计和图像去模糊,证明沿光谱维度的离焦变化可以用来恢复场景深度和清晰图像[16]。Cossairt和Nayar进一步引入了光谱焦点扫描(Spectral Focal Sweep),表明色差可以被利用来构建具有不同对焦状态的焦平面堆栈,从而扩展景深[17]。然而,这些重建过程通常依赖于场景反射率光谱或光谱先验,这限制了它们在复杂自然场景和密集采样超光谱数据中的直接适用性。Fitzgerald等人通过利用镜头色差结合不同波长的照明来扩展景深[18]。Ishihara等人基于多光谱图像中由色差引起的离焦差异进行深度估计[19]。总体而言,这些研究表明色差可以与光谱信息相结合,将传统上需要校正的退化因素转变为扩展景深成像中有用的物理线索。
在扩展景深成像的相关工作中,Chen和Shen利用多光谱图像的通道特性进行离焦恢复,指出色差导致不同光谱波段表现出不同程度的离焦[6]。Li等人提出了一种自适应参考图像和缩放图方法,通过构建参考图像来引导失焦超光谱图像的恢复[20]。Wei等人将光学成像模型与梯度先验相结合,实现了多光谱图像的盲离焦去模糊[21]。Zia等人进一步研究了超光谱图像中色差和离焦模糊对相对深度估计的影响[22]。为了解决超光谱图像中与波长和深度相关的离焦退化问题,Li等人提出了一种由粗深度信息引导的盲超光谱图像去模糊方法[23]。Zhao等人研究了基于超光谱成像中色差的深度估计,进一步证明焦点位置随波长的变化包含可利用的深度线索[24]。
基于上述洞察,本工作旨在扩展配备传统镜头的超光谱成像系统的景深。通过利用传统镜头获取的超光谱图像中随波长变化的对焦深度特性,我们将轴向色差视为有用的物理先验,并将由此产生的焦点变化视为自然编码的多焦点序列。相应地,我们提出了一种基于色差引起互补性的端到端超光谱扩展景深成像方法。该方法以多波段光谱图像作为输入,首先从不同光谱波段中提取互补的对焦信息,然后生成全清晰引导图像。该图像作为空间结构先验,实现整个超光谱范围内的锐利重建和计算景深扩展。
本工作的主要贡献总结如下:
1. 通过利用镜头的轴向色差,所提出的方法将波段间的离焦退化——传统上被视为不良效应——转化为有用的互补信息,为使用传统光学元件扩展超光谱成像系统景深提供了一种实用策略。
2. 开发了一种基于普通镜头和超光谱相机的低复杂度超光谱成像系统。收集了包含多个深度层次场景的真实数据集,以验证所提出方法在复杂三维环境中景深扩展的有效性。
3. 我们提出了一种由全清晰图像引导的无监督端到端超光谱图像恢复框架。通过有效利用跨光谱波段的互补锐利信息,该框架能够实现包含多个深度平面的场景的景深扩展和超光谱锐利重建。实验结果表明,在室内场景中实现了1–3 m的扩展景深成像,在室外场景中实现了1.2–45 m的扩展景深成像。
章节摘要
波长相关焦点变化分析
在传统基于透镜的成像系统中,有限的景深是影响三维场景锐利成像的主要因素。对于具有固定焦平面的成像系统,只有处于一定深度范围内的物体才能保持清晰对焦,而该范围之外的物体则表现出不同程度的离焦模糊。景深通常由焦距、光圈大小和成像距离等因素决定。对于包含多个深度平面物体的场景……
实验设置
本实验中使用的光谱仪是一种超光谱成像仪,集成了光谱分析与高分辨率数字图像处理。该仪器基于液晶可调滤光器(LCTF),采用凝视式超光谱成像构型。在从可见光到近红外区域(400–1000 nm)的光谱范围内,电子控制的LCTF执行顺序窄带光谱选择。高分辨率二维面阵图像是……
结论
本研究探讨了超光谱成像中的色差引起的离焦现象,其中对焦状态由场景深度和波长共同决定。我们探索了利用传统镜头的明显轴向色差及由此产生的跨光谱波段对焦互补性来实现景深扩展和超光谱图像去模糊的可行性。为了缓解传统超光谱图像去模糊方法在场景中的局限……
作者声明
本文目前未被其他出版物考虑。本文的发表已获所有作者批准,并已得到工作所在机构负责人员的默示或明示批准。如果本文被接受,未经版权所有者的书面同意,不会以相同形式在其他地方以英语或任何其他语言(包括电子形式)发表。
资助
本工作受国家自然科学基金支持(批准号:62271263、U23A20283和62427803)。本工作受基础研究稳定支持计划支持(批准号:WZCT202603002和WZXK20261005)。
CRediT作者贡献声明
赵庄:形式分析。江俊杰:项目管理。张星宇:资源。葛贝佳:软件。王广阳:项目管理。任浩:数据管理。刘祥云:可视化。姜少轩:撰写——初稿。韩静:经费获取。余昊天:可视化。白联发:监督指导。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文报告的工作。
赵庄 | 江俊杰 | 张星宇 | 葛贝佳 | 王广阳 | 任浩 | 刘祥云 | 江少轩 | 韩静 | 余昊天 | 白联发
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号