基于先验指导的解混变压器,用于水下高光谱目标检测

《Optics & Laser Technology》:Prior-guided unmixing transformer for underwater hyperspectral target detection

【字体: 大 中 小 】 时间:2026年10月01日 来源:Optics & Laser Technology 4.6

编辑推荐:

  摘要 在近岸水下高光谱图像中,目标检测具有挑战性,这是由于水引起的退化以及目标分布极其稀疏。在浑浊的近岸环境中,现有的检测器往往无法将微弱的目标信号与占主导地位的背景杂波区分开来。高光谱解混提供了一种有吸引力的方法,它将每个像素光谱建模为混合体,并直接估计目标丰度。在本文中,我们

  摘要
在近岸水下高光谱图像中,目标检测具有挑战性,这是由于水引起的退化以及目标分布极其稀疏。在浑浊的近岸环境中,现有的检测器往往无法将微弱的目标信号与占主导地位的背景杂波区分开来。高光谱解混提供了一种有吸引力的方法,它将每个像素光谱建模为混合体,并直接估计目标丰度。在本文中,我们提出了引导光谱解混变换器自动编码器(GSUTA),这是一种基于端到端自动编码器的解混网络,用于输出用于检测的丰度图。为了缓解极端的目标稀疏性和严重的类别不平衡问题,我们开发了一种引导训练策略,通过狄利克雷采样合成富含有目标信息的伪像素,以实现循环一致性重建,并引入基于NDWI的正则化来限制预测结果仅出现在水域区域。为了解决高光谱维度和强烈的带间相关性问题,我们设计了一个分层变换器编码器,该编码器具有高效的分词能力和轻量级的细化阶段,以提取具有区分性的特征。此外,我们采用了一种堆叠的交叉注意力解码器,通过自适应地融合丰度信息和端元表示来捕捉非线性混合效应。在三个真实世界的河流场景数据集上的广泛实验分别获得了0.9743、0.9920和0.9982的AUC值,表明所提出的方法在近岸水下高光谱目标检测方面始终优于竞争方法。

引言
水下目标检测(UTD)对于多种海洋应用至关重要,包括环境监测、资源探索和安全操作[1]、[2]、[3]、[4]。与传统RGB成像相比,后者仅测量三个宽频带,因此提供的光谱区分能力有限,而高光谱成像(HSI)可以获取数十到数百个窄频带,基于特征光谱信号实现物质识别。这种丰富的光谱信息在水下场景中特别有益,因为在这些场景中,图像经常因浑浊和光照不足而退化,且目标可能在亚像素级别上与背景混合在一起。因此,近年来水下高光谱目标检测(UHTD)引起了越来越多的关注[5]、[6]。

传统的高光谱目标检测方法通常要么将像素光谱与已知的目标信号匹配,要么将目标视为相对于背景的异常值[7]、[8]、[9]、[10]、[11]。除了这些经典方法之外,最近的高光谱目标检测研究越来越多地探索基于学习的框架,包括集成模型和深度约束能量模型、带选择感知网络、图/CNN融合、光谱聚合与分离,以及最近的掩膜自动编码器、基于变换器的模型或对比学习框架[12]、[13]、[14]、[15]、[16]、[17]、[18]、[39]、[40]、[41]、[42]。尽管这些方法在许多陆地场景中有效,但它们在水下环境中的性能会大幅下降,因为水柱的吸收和散射改变了目标和背景的观测光谱[5]。此外,波长依赖的衰减和悬浮颗粒引入了复杂的非线性失真,进一步掩盖了微弱的目标信号,阻碍了可靠的区分。因此,UHTD旨在补偿水引起的退化,并在水下复杂(尤其是浑浊的近岸水域)环境中准确定位感兴趣的目标。

UHTD通常利用目标的光谱特征来识别高光谱图像中的水下物体。为了减轻水引起的光谱失真,现有方法大致可以分为两类。第一类基于固有光学性质(IOPs)的反演及相关的水柱补偿策略[21]、[22]、[23]、[24]、[25]、[27]。这些方法旨在通过显式估计水柱参数来恢复(或近似)底部/目标的反射率,然后补偿观测到的遥感反射率。通常使用考虑水深的正向模型将测量的反射率与IOPs(如吸收和后向散射系数)联系起来[20]。基于这一范式,Jay等人[21]提出了适应水深的经典检测器和基于GLRT的过滤器的变体,在这些方法中,未知的水柱参数被视为干扰变量,在检测过程中共同估计。为了进一步利用浅水环境中的空间连续性,他们引入了一个考虑空间的局部最大似然框架,该框架结合了像素相关性,无需先验环境知识即可生成适应水深的深度和质量估计[22]。Gillis[23]通过结合水深模型和非线性降维来处理高度失真的水下光谱问题,以更好地预测水下光谱响应。最近,Qi等人[24]提出了一个迭代网络,该网络在深度估计和目标检测之间交替进行,通过整合光谱和空间线索逐步细化两者。Li等人[25]通过从水深模型生成物理模拟样本,然后使用领域适应将这些检测器转移到真实场景中,从而缓解了实际水下训练数据有限的问题。尽管有了这些进展,但在近岸水域中,IOP反演可能是病态的:它对反射率噪声、大气校正误差和未建模的多重散射很敏感,这往往在浑浊或空间异质条件下导致不稳定的补偿[26]。

第二类方法采用高光谱解混(HU)来分离信号。HU不是显式反演水柱参数,而是将每个像素分解为端元信号(例如水、沉积物和目标)及其丰度,从而通过直接分离目标贡献来实现检测。为了提高在水下失真条件下的鲁棒性,最近基于HU的方法结合了非线性、先验和深度架构,而更广泛的基于自动编码器的HU研究进一步突出了注意力增强建模和更丰富的表示学习在稳定丰度估计中的价值[35]、[36]、[37]、[38]。Qi等人[28]提出了一个基于解混的卷积网络,并加入与水深相关的约束,以隐式考虑水柱效应,并通过迭代细化进一步扩展了该网络,以同时利用光谱-空间线索并抑制浑浊场景中的背景干扰。Liu等人[29]使用自动编码器对非线性混合进行了建模,并引入了伪像素引导以及循环一致性训练,以在极端稀疏条件下保持目标先验。Li等人[30]通过设计一个联合解混和检测网络,直接产生了具有区分性的目标图,从而进一步耦合了非线性解混和端到端定位。与IOP反演相比,HU避免了显式估计水柱参数,因此在捕捉近岸环境中常见的非线性效应和光谱变化方面更加灵活。受这种解混范式的启发,我们提出了引导光谱解混变换器自动编码器(GSUTA),它在复杂的混合条件下估计目标丰度,并使用得到的丰度图进行近岸UHTD。

尽管基于HU的UHTD取得了显著进展,但近岸场景仍然面临几个关键挑战:
1. 极端的目标稀疏性和类别不平衡:目标通常只占据一小部分像素(通常在亚像素尺度上),导致严重的不平衡;因此,解混模型可能偏向于主导的水背景,从而错过微弱的目标信号。
2. 高光谱维度和强烈的带间相关性:高光谱数据包含数百个带,由于波长依赖的衰减和散射而产生大量冗余;这种冗余可能会淹没微弱的目标线索,使区分特征提取变得复杂。
3. 复杂的非线性光谱混合:多重散射、颗粒相互作用和深度变化的衰减引入了非线性失真,违反了线性混合假设,降低了浑浊沿海水域中的丰度估计。

为了逐一解决这些挑战,我们提出了引导光谱解混变换器自动编码器(GSUTA),这是一个针对UHTD定制的基于自动编码器的非线性解混框架。首先,引导训练策略通过提供目标存在的伪像素监督以及限制响应出现在非水域区域之外,来缓解极端的目标稀疏性和类别不平衡。其次,分层变换器编码器通过高效的分词能力和轻量级的前馈细化来处理高光谱维度和强烈的带间相关性。第三,堆叠的交叉注意力解码器通过使用端元查询与条件丰富的键/值特征进行交互,以实现自适应的光谱重建。这三个组件共同将识别出的挑战与相应的模型设计直接联系起来,使得微弱的目标信号能够从以水为主导的背景中分离出来。

本研究的主要贡献总结如下:
1. 我们提出了一种引导训练策略,以解决近岸水下高光谱数据中的极端目标稀疏性和类别不平衡问题。它通过狄利克雷采样生成富含有目标信息的伪像素,并结合循环一致性和基于NDWI的正则化,提高了对微弱目标的敏感性,而无需额外的标签。
2. 我们设计了一个分层变换器编码器来处理高光谱维度和强烈的带间相关性。通过高效的光谱分词和轻量级的深度细化,编码器从冗余带中提取具有区分性的特征,同时以低计算成本保留微弱的目标线索。
3. 我们开发了一个堆叠的交叉注意力解码器来模拟近岸水域中的复杂非线性光谱混合。通过将预测的丰度与可学习的端元混合进行重建,它比线性或MLP解码更有效地捕捉水引起的失真,并获得准确的丰度估计。

本文的其余部分组织如下。第2节简要介绍了本研究的一些预备知识。然后,在第3节中详细介绍了GSUTA。第4节提出了实验结果、消融研究和核心超参数的分析。最后,第5节提出了本文的结论。

基于自动编码器的非线性解混
我们用?? ∈???×??×??表示一个HSI立方体,其中??和??是空间维度,??是光谱带的数量。设???? ∈???(?? =1,…,?????)是第??个像素的光谱。高光谱解混旨在估计一个与??个端元相关的丰度向量???? ∈???,使得????可以表示为这些端元的混合体。基于自动编码器的方法将高光谱解混视为一个自监督重建问题。自动编码器包括一个编码器??( ?),它将观测到的

提出的方法
在本节中,我们描述了用于近岸水下高光谱目标检测的GSUTA。如图1所示,输入包括一个近岸HSI立方体和目标材料的参考光谱,该参考光谱提供了在水下引起的失真下需要强调的光谱模式。给定每个像素光谱,所提出的分层光谱编码器学习多尺度光谱表示,并生成一个丰度向量,其目标

实验结果与分析
本节使用公共的河流场景数据集评估了所提出的GSUTA在近岸水下高光谱目标检测中的应用。我们首先描述了数据集和预处理过程,然后报告了与其他代表性水下目标检测方法和经典高光谱检测器的比较。进行消融研究以验证关键模块的有效性,随后分析了核心超参数。

结论
在本文中,我们提出了GSUTA,这是一个用于近岸水下高光谱目标检测的端到端框架。GSUTA整合了(i)一个分层变换器编码器,用于从高维和高度相关的带中高效提取具有区分性的光谱特征;(ii)一个堆叠的交叉注意力解码器,用于更好地模拟浑浊水域中的非线性混合,以实现准确的重建;以及(iii)一种引导训练策略,通过生成伪像素来缓解极端的目标稀疏性

CRediT作者贡献声明
Hongmin Gao:撰写——原始草稿,项目管理。
Yu Pei:验证,方法论。
Zhonghao Chen:监督。
Shufang Xu:撰写——审稿与编辑,资金获取,正式分析。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能会影响本文报告的工作。

致谢
本研究得到了江苏省基础研究计划(项目编号BK20252043)的资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号