基于结构从运动(Structure-from-Motion, SFM)和多视图立体视觉(Multi-View Stereo, MVS)技术的超光谱图像三维重建

《Optics and Lasers in Engineering》:Hyperspectral images 3D reconstruction based on structure-from-motion and multi-view stereo

【字体: 大 中 小 】 时间:2026年01月01日 来源:Optics and Lasers in Engineering 3.7

编辑推荐:

  多光谱3D重建技术通过融合结构光估计与多视图立体视觉框架,解决环形扫描模式下重复纹理和复杂光照下的点云配准与光谱保真问题。

  
刘超|顾明辉|黄焕松|张鑫|李继国|焦青斌|徐亮|杨明宇|谭鑫
中国科学院,长春光学精密机械与物理研究所,长春,130033,中国

摘要

高光谱3D成像技术旨在获取具有高光谱反射率纹理的3D模型,在医学成像、精准农业和光学分选等领域具有巨大潜力。然而,由于复杂环境中光传播的复杂性,特别是在与各种介质相互作用时,高光谱3D模型的生成和应用面临许多挑战。为了实现高光谱数据与点云坐标之间的一一对应关系,许多研究人员开发了不同的高光谱三维成像系统来解决这一问题。在本文中,我们提出了一种基于结构从运动(SFM)和多视图立体视觉(MVS)的框架,用于处理由内部推扫式高光谱相机收集的多视图高光谱图像。在该框架中,引入了一个图像分割模块以在目标重建过程中抑制背景噪声。在结构从运动算法中,采用了一种适用于圆形扫描模式的匹配策略,有效减轻了重复纹理和大跨度不匹配对相机姿态估计的影响,从而提高了点云拼接的准确性。此外,我们利用多通道冗余信息增强了立体匹配深度估计的鲁棒性。我们还引入了一种融合机制,该机制结合了基于掩码的噪声抑制和统计反射率积分,以提高几何精度和光谱保真度。通过聚合冗余观测点的光谱,高光谱反射率不会发生严重失真。我们系统在真实世界数据上的实验结果表明,该方法能够有效处理光谱变化和几何复杂性。

引言

高光谱成像[1]和三维(3D)测量技术分别揭示了物体的材料和几何特性。随着对物体属性详细感知需求的增加,光谱信息和几何信息的融合测量技术已成为活跃的研究领域。从多视图高光谱图像直接进行3D重建是一种方法,通常依赖于结构从运动(SFM)和多视图立体视觉(MVS)[2]、[3]算法来生成高光谱点云。现有的高光谱3D重建流程采用了逐波段重建[4],并使用配准算法将不同光谱波段生成的点云合并。尽管这种方法能够重建3D信息,但它未能在连续的高光谱数据与密集的点云之间建立一一对应关系。
为了克服这一流程的局限性,本研究通过结合光谱波段来恢复几何信息,然后将全波段光谱数据基于光学成像模型映射到三维点云中,从而生成高光谱点云。该方法主要关注于改进SFM-MVS算法以处理多视图高光谱图像。然而,SFM-MVS算法通常是为遵循透视投影模型的灰度或彩色图像设计的,而高光谱成像设备(如外部推扫式和扫掠式高光谱相机)经常生成非透视图像,这需要额外的几何校正[5]。在本研究中,使用内部推扫式高光谱相机进行数据采集。这种相机通过采用图像空间扫描技术[6]生成一个近似透视投影模型的完整数据立方体。尽管可以获取透视高光谱图像,但在具有重复纹理、低对比度和非均匀照明的场景中,将SFM-MVS算法应用于多视图高光谱图像仍然具有挑战性。
首先,基于SFM算法的自校准算法在面对重复纹理和对称结构时,在估计相机内外参数时存在固有的局限性。这个问题源于相机姿态自校准的病态问题,其中估计结果对输入匹配点非常敏感。高光谱场景中重复纹理的普遍存在,加上物体对称性引起的视觉歧义,往往导致具有较大视角差异的图像之间的特征匹配不正确。即使是输入数据中的微小错误也会导致相机参数估计的显著偏差,从而影响整个3D重建流程的稳定性。尽管针对任意采集模式的穷尽匹配和视频序列的顺序匹配[7]提供了更广泛的适用性,但其校准精度仍然难以评估和保证,这直接影响了后续点云拼接的对齐精度。其次,在密集3D模型重建过程中,基于光度一致性的假设在高光谱图像中常常失效。复杂的照明变化和表面各向异性反射特性导致不同视角下的光谱强度发生非线性变化,大大增加了建立像素对应关系的难度[8]。最后,在近距离成像场景中,复杂物体几何形状与照明配置之间的相互作用会影响高光谱成像传感器捕获的光谱信号。这些几何效应阻碍了仅使用标准漫反射器将测量强度值准确转换为材料光谱反射率的转换,从而降低了光谱数据的实际效用。
为了解决这些挑战,本研究旨在改进现有的SFM-MVS模型,并开发一个稳定、鲁棒且准确的多视图高光谱3D重建框架。具体来说,为了克服具有对称结构和重复纹理环境中的相机自校准病态问题,通常采用正则化方法或引入先验信息。我们引入了来自受控旋转台的位置先验作为拓扑约束,从而提高了相机姿态估计的稳定性和准确性。为了提高在复杂照明条件下的密集匹配鲁棒性,我们设计了一个对照明强度线性变化不敏感的立体匹配代价函数,利用了光谱曲线趋势的稳定性特性。随后,应用多视图几何一致性约束来过滤无效的深度点。此外,为了减轻几何效应对光谱测量的影响,我们建立了几何信息与光谱信息之间的映射关系,并实现了多视图高光谱数据融合机制。通过对来自多个视图的冗余校准光谱反射率进行统计分析,我们有效减少了几何影响,最终生成了光度一致的高光谱点云。
在本文中,我们做出了以下贡献:
  • 1.
    我们提出了一个集成图像分割、相机自校准、多视图立体匹配和多视图深度图融合的框架,用于处理多视图高光谱图像。引入的图像分割模块减轻了边缘过拟合现象,并减少了融合高光谱点云中的背景噪声。
  • 2.
    我们为圆形扫描模式引入了一种自定义匹配策略,有效减轻了重复纹理和大跨度不匹配对相机姿态估计的影响。我们为高光谱图像匹配设计了一个代价函数,避免了由线性照明强度变化引起的匹配歧义。
  • 3.
    我们提出了一种多视图融合机制,以减轻非均匀照明引起的光谱反射率的几何效应,生成了在漫射照明条件下看起来被照亮的的高光谱点云。
  • 4.
    我们引入了一种重投影对比方法,用于客观评估重建的三维高光谱点云的光谱保真度,提供了一种科学和定量的方法来测量光谱保真度。通过这种评估方法,验证了不同统计融合方法的光谱失真程度。

相关工作

相关研究

已经提出了多种方法[9]来实现光谱和几何信息的映射,包括多源传感器融合[10]、[11]、计算光学技术[12]、[13]、[14]以及直接多视图重建。在这些方法中,传感器融合方法(例如,将高光谱相机与激光扫描仪结合)通常受到异构传感器精确配准的挑战,并且对系统校准参数非常敏感[15]。然而

多视图高光谱立体成像系统

在本研究中,我们建立了一个在圆形扫描模式下运行的多视图高光谱图像采集系统,该系统包括一个内部推扫式分散光谱仪、作为光源的卤素灯以及用于定位被测物体的电动转盘(如图1所示)。
该平台上的光谱仪覆盖了400 nm至1000 nm的光谱范围,具有300个光谱波段,提供了大约2 nm的高光谱分辨率。

结果与讨论

为了证明我们系统在测量形状和光谱方面的可行性,我们使用真实物体进行了形状和反射率恢复实验。在封闭的室内环境中,使用该系统从360°视角收集了盆栽植物和其他简单物体的高光谱数据。为了确保图像之间的重叠,每个物体通过8°的步长进行了45张高光谱图像的采集。数据进行处理和分析

结论

总之,本研究提出了一个多视图高光谱3D重建框架,该框架整合了几何和光谱属性的测量。该框架通过引入位置和掩膜图像等先验信息,增强了SFM-MVS流程,并通过多视图融合机制生成了高保真度的3D高光谱点云。其重要性在于为推进多维数据的集成提供了可扩展的途径。

CRediT作者贡献声明

刘超:撰写——原始草稿、软件、方法论、验证、形式分析。顾明辉:形式分析、调查。黄焕松:形式分析、调查。张鑫:可视化、验证。李继国:可视化、验证。焦青斌:验证、数据管理。徐亮:项目管理。杨明宇:撰写——审阅与编辑、方法论、概念化。谭鑫:监督、资金获取、资源。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

致谢

本工作得到了吉林省科学技术发展计划项目(20240302001GX, 20240601051RC, YDZJ202401310ZYTS, 20240402029GH, YDZJ202402022CXJD, 20250203092SF, 20230508038RC);天津市科学技术计划项目(23YFYSHZ00300);长春市科学技术计划(24GXYSZZ34);吉林省预算内资本建设资金(创新能力提升)(2024C014-8);中国科学院的战略重点研究计划的支持
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号