《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:PoseIDON: 6DoF pose estimation with foundation model features for marine sediment burial mapping
编辑推荐:
研究人员提出了一种名为PoseIDON的计算机视觉流程,该流程结合了深度基础模型特征与多视角摄影测量技术,旨在从遥控潜水器(ROV)视频中估计海底线六自由度(6DoF)对象位姿及周围海底方向,从而推断对象掩埋深度。该方法通过将CAD模型与观测图像对齐,并对局部
研究人员提出了一种名为PoseIDON的计算机视觉流程,该流程结合了深度基础模型特征与多视角摄影测量技术,旨在从遥控潜水器(ROV)视频中估计海底线六自由度(6DoF)对象位姿及周围海底方向,从而推断对象掩埋深度。该方法通过将CAD模型与观测图像对齐,并对局部海底进行平面近似拟合来实现深度估算。研究利用圣佩德罗盆地历史海洋倾倒场的54个对象(包括桶和弹药)录像对该方法进行了验证。模型实现了约10厘米的均掩埋深度误差,并解析了反映底层沉积物输送过程的空间掩埋模式。这种方法支持可扩展的非侵入式海底线测绘,并为污染场地的环境评估提供支持。
研究背景与意义
海床人造对象的测绘与成像是检查海洋碎片场、海底基础设施和文化保护的重要工具。然而,由于对象被沉积物遮挡,估计对象的掩埋状态仍然面临挑战。本研究聚焦于南加州圣佩德罗盆地一个历史倾倒场广泛区域调查期间成像的对象,这些场地倾倒了危险工业副产品,对海洋食物网和人类健康构成风险。特别是,该倾倒场在1947年至1961年间倾倒了化学工业品二氯二苯三氯乙烷(DDT),并在盆地沉积物中被广泛检测到。为了表征这些对象,研究人员通过执行六自由度位姿估计来测量其位置、方向和掩埋深度。这些信息为预测对象移动性提供了重要的初始条件,有助于推断对象成分,并估算海洋沉积速率。传统的标准方法需要原位采集沉积物样本并进行长达数月甚至数年的实验室测试,而利用计算机视觉和先验知识,仅使用相机数据即可估计6DoF位姿,从而实现对对象的最小侵入性描述技术。
关键技术方法
研究人员采用了一种结合深度学习技术与先验知识的新型方法。该技术流程首先利用基础模型特征进行单目粗位姿估计,随后引入经典多视角技术以强制实施三维几何一致性,最终将海底线相对于掩埋对象进行定位,并利用先验对象尺寸计算掩埋深度。具体而言,研究人员使用了DINOv2基础模型提取鲁棒特征,并结合FoundPose算法进行位姿估计。此外,研究还采用了Grounding DINO和Segment Anything Model(SAM)进行对象分割,以及COLMAP和OpenMVS进行三维重建。通过这些技术的整合,研究人员能够从任意ROV视频中计算任何对象的掩埋深度,而无需重新训练模型。
研究结果
模型性能评估
研究人员对54个不同海床对象的录像进行了评估,并与手动标记的位姿进行了比较。结果显示,模型的掩埋深度预测平均误差约为10厘米,相对对象高度的平均误差比为0.11。这表明模型在估计掩埋深度方面具有较高的准确性,尽管在深埋对象上存在一定的低估偏差。
映射掩埋深度
利用记录的经纬度位置,研究人员在搜索区域的一个子集上绘制了掩埋深度图。在一个密集的桶状对象区域(约2.8平方公里)内,中心区域的桶平均掩埋深度(0.39米)明显高于东部区域(0.29米)。模型的预测反映了这种关系,中心区域预测平均掩埋深度为0.38米,东部区域为0.24米。
运行时间
模型的运行速度也得到了测量。排除FoundPose的模板入职阶段,处理34张图像大约需要280秒,处理58张图像大约需要390秒(使用V100-32GB GPU)。
消融实验
消融实验结果表明,FoundPose的单目位姿估计过程中的特征度量细化对所有指标的变化影响微乎其微,因此在后续实验中未使用该功能。此外,除了经典的摄影测量方法COLMAP外,研究还测试了最近提出的深度学习中三维重建模型Fast3r和VGGT(未经额外训练)。正如预期,由于这些模型主要在陆地数据上训练,其重建质量显著下降。由于缺乏大规模、高质量的水下三维数据,这些模型未进行重新训练。
讨论与结论
外部掩埋因素
解释对象掩埋深度需要考虑三个主要因素:初始掩埋深度、沉积速率以及海床水流冲刷。在本研究中,深度电荷和捕鼠器等弹药由于其较重的质量和坠落速度,往往会在撞击海床时深深嵌入其中,导致其平均掩埋深度在统计上较高。因此,几乎所有捕鼠器和深度电荷仅可见其鳍部,大部分对象被遮挡,这影响了模型的性能。
局限性
PoseIDON的一个固有局限性是其顺序管道结构:任何阶段引入的错误都会向前传播并累积,因为每个步骤都依赖于前一个步骤的输出。如果早期步骤产生偏差或异常值污染的估计,后续步骤将无法从中恢复。当对象深埋或严重附着生物生长时,CAD模型渲染与真实对象之间的可靠对应关系会显著退化,这会暴露出特征匹配质量的问题。在这种情况下,错误特征匹配的比例变得足够大,以至于随机采样一致性(RANSAC)无法可靠地区分内点与异常值,从而破坏了所有下游步骤所依赖的位姿估计。这种失败模式在未爆炸弹药(如捕鼠器和深度电荷)中最为常见,它们往往垂直下落并在撞击时深深嵌入海床,留下的可见和可匹配特征很少。
结论
本研究提出了一种新颖的计算机视觉框架PoseIDON,能够利用标准ROV图像估计海床人造对象的掩埋深度。通过利用DINOv2的基础模型特征并将其与摄影测量和几何细化相结合,该方法在具有挑战性的水下条件下(包括遮挡、对象退化和可变光照)实现了鲁棒的6DoF位姿估计。该流程无需针对新对象类型进行重新训练,而是依靠CAD模型和通用化视觉特征。这使得能够在大型调查区域内进行可扩展且非侵入式的掩埋深度测绘。
研究人员在圣佩德罗盆地的54个目标(包括桶和弹药)上进行了评估,该方法实现了约10厘米的平均掩埋深度误差,并产生了与已知沉积过程一致的空间掩埋模式。值得注意的是,该模型识别了系统性低估偏差,并证明对象几何形状和初始冲击方向在决定观察到的掩埋深度方面起着关键作用。
该方法为侵入性沉积物采样提供了一种可行的替代方案,能够支持遗产废物场地的大规模海床掩埋评估,并以最小干扰支持环境监测。该方法为未来与基于物理的掩埋模型以及自主调查平台的整合奠定了基础,为量化沉积物动态和管理水下危害提供了新的机会。