《Optics & Laser Technology》:Conditional variational autoencoder ensemble for noisy hyperspectral image classification
编辑推荐:
高光谱图像分类中提出CVAE2框架,结合条件变分自编码器与集成学习,通过条件编码捕捉标签差异,多模型集成增强稳定性,置信度度量融合重建误差与分类概率实现噪声标签检测与纠正,实验验证其优于现有方法。
Youqiang Zhang|Xuesong Li|Hao Shi|Guo Cao|Haitao Zhao
南京邮电大学物联网学院,中国江苏省南京市210003
摘要
标签噪声在高光谱图像(HSI)分类中一直是一个持续的挑战,因为损坏的注释会导致传统模型过拟合并降低性能。为了解决这个问题,我们提出了一个条件变分自编码器集成(CVAE2)框架,该框架结合了生成建模、集成学习和基于置信度的标签校正。具体来说,我们设计了一个能够捕捉干净标签和噪声标签之间差异的标签感知CVAE,并将其扩展到一个在自助子集上训练的集成模型上,以稳定预测并增强鲁棒性。一种新的置信度度量方法,结合了重建误差和分类概率,使得错误标记样本的可靠检测和校正成为可能。此外,一个联合优化目标确保了准确的重建、鲁棒的分类和渐进式的噪声校正。在几个基准HSI数据集上的全面实验表明,CVAE2始终优于现有的最先进方法,在不同的噪声水平下都能保持优越的性能,即使在高噪声场景下也是如此。这些结果突显了CVAE2作为先进遥感及相关光学成像应用中抗噪声成像分析框架的潜力。
引言
高光谱成像将空间信息和光谱信息结合到一个系统中,通过数百个连续且狭窄的光谱带提供详细的材料特征描述。通过捕捉在传统成像中通常无法区分的细微变化,HSI能够实现精确的材料区分和定量分析。这一能力使其成为精准农业[1]、环境监测[2]、异常检测[3][4]和城市基础设施分析[5]等多种应用中的重要工具。此外,HSI处理和系统发展的进步对于将丰富的空间-光谱数据转化为实用的光学传感解决方案至关重要,进一步扩展了HSI在现实世界中的应用范围。
HSI分类是利用光谱/空间特征为每个像素分配类别标签的高光谱分析的核心任务。HSI分类包括无监督和有监督方法。无监督方法,如聚类[6][7][8],通常不需要标签信息,而有监督方法通常需要足够数量的标记样本。在过去的几十年中,已经开发出了多种有监督方法,包括支持向量机(SVM)[9]、随机森林(RF)[10]、逻辑回归[11]、线性回归[12]、朴素贝叶斯[13]、神经网络[14][15]和变换器网络[16]。然而,这些方法高度依赖于大量的准确注释。标签噪声,通常由注释错误或缺乏专业知识引起,会降低训练质量并限制模型的泛化能力,特别是在标记数据有限的情况下[17]。
因此,开发抗噪声学习方法对于推进HSI处理技术并确保基于HSI的光学传感系统的实际应用至关重要。近年来,研究人员在减轻HSI分类中的标签噪声方面做出了各种努力,这些努力可以归纳为三个主要领域[18][19][20][21]:
- 1) 预训练标签去噪:这些方法旨在在模型训练之前识别并去除噪声标签。例如,Jiang等人[19]使用多尺度光谱-空间图来规范噪声检测。Bahraini等人[22]应用了一种修改后的均值漂移算法来过滤错误标记的样本,而Tu等人[23]结合了超像素到像素的距离和密度峰值聚类来去除噪声数据。
- 2) 在线标签校正:这些方法在训练过程中检测并调整噪声标签。Li等人[24]提出了自适应选择性损失传播,而Feng等人[25]设计了一个使用非均匀采样的空间-光谱优化网络。Kang等人[26]通过检测概率整合了域过滤和标签校正。
- 3) 鲁棒模型学习:这些方法训练出能够容忍噪声的模型,而无需显式的去噪。Liao等人[20]引入了一个具有联合正负学习的元权重网络(MWNet)。Sarpong等人[21]提出了一个双光谱-空间自适应残差网络(DSSRA)以在噪声中保持性能。Wang等人[27]构建了一个自适应注意力网络(AAN),Ma等人[28]提出了一个抗噪声的空间池化变换器(SPTNet),Zhang等人[29]使用三重对比学习(TCRL)来学习鲁棒表示。
尽管现有的策略,如预训练去噪、在线标签校正和鲁棒模型学习,在标签噪声下改进了HSI分类,但它们也有明显的局限性。预训练去噪可能会丢弃有信息但标记错误的样本,在线校正可能会引入新的错误,而鲁棒学习往往完全忽略错误标记的数据,这限制了在高噪声水平下的性能。
为了解决这些挑战,我们提出了一个条件变分自编码器集成(CVAE2)框架。我们的动机是明确利用和建模样本与标签之间的内在关系,从而估计每个样本的真实标签分布,并识别和纠正噪声标签。鉴于CVAE的强大生成能力,我们利用CVAE来捕捉样本-标签依赖性,并通过类条件重建揭示不一致性。这使得能够可靠地检测到提供的标签与其潜在光谱特征不符的样本。为了进一步减少与单个生成模型相关的偏差和不确定性,我们构建了多个CVAE的集成,从而实现更稳定的重建行为和更可靠的标签分布估计。总体而言,我们将三个互补的组件整合到一个统一的设计中:(1)标签感知的条件推理,使潜在空间能够捕捉干净标签和噪声标签之间的差异;(2)基于集成的稳定性,其中在自助子集上训练的多个CVAE降低了噪声敏感性并提高了泛化能力;(3)一种新的标签置信度度量(CD),它将分类置信度与重建误差结合起来,为噪声标签的检测和校正提供了一个原理性的度量标准。这种组合在HSI分类中尚未被探索过,并直接解决了现有方法的缺点。
本研究的主要贡献如下:
1) 带标签感知的条件建模用于噪声标签:我们设计了一个标签感知的CVAE,它根据类别信息对编码器和解码器进行条件化,使潜在空间能够捕捉干净标签和噪声标签之间的差异。
2) 为标签噪声量身定制的集成框架:我们提出了CVAE2,一个结合了条件潜在建模和自助多样性的集成框架,比单个CVAE提供了更可靠的噪声标签检测和校正。
3> 基于置信度的噪声校正与统一的损失:我们引入了一种基于置信度的标签校正机制,它将重建误差与分类置信度结合起来,并通过一个平衡重建、分类和噪声校正的统一联合损失进行优化。
4) 在具有挑战性的噪声条件下的全面验证:我们在四个基准HSI数据集上进行了广泛的实验,证明了CVAE2在鲁棒性方面优于现有的最先进方法,尤其是在高标签噪声水平下。
本文的其余部分结构如下。第2节回顾了关于自编码器、变分自编码器、集成学习及其在遥感中应用的相关工作。第3节介绍了所提出的方法。第4节讨论了实验结果,第5节总结了本文。
小节片段
自编码器和变分自编码器
自编码器(AE)[30]通过编码器-解码器结构学习低维表示。编码器将输入映射到潜在的,解码器从重建。该模型被训练来最小化重建误差,通常使用均方误差。
变分自编码器(VAE)[31]通过将潜在变量建模为分布来扩展AE。编码器输出和,定义了一个高斯分布,从中抽取;解码器重建
方法
在这项研究中,我们提出了CVAE2,一个用于标签噪声条件下的HSI分类的新框架。我们的方法不仅构建了HSI数据的潜在表示,还明确将这些表示条件化为标签信息。这种条件化使CVAE2能够捕捉光谱特征和类别标签之间的复杂依赖关系,从而更准确地区分正确标记的样本和错误标记的样本。
为了克服
HSI数据集
为了评估所提出的CVAE
2模型的性能,我们在三个广泛使用的高光谱数据集上进行了实验:Indian Pines、Salinas Valley和Pavia University,具体如下。
- 1. Indian Pines (IP):该数据集由AVIRIS捕获,描绘了美国印第安纳州的农田,大小为145×145像素,包含200个光谱带(0.4–2.5 μm),去除了水吸收带。它的空间分辨率为20 m,包括16种土地覆盖类型,主要是作物和植被类型(图4)。
- 2. Salinas
结论
在这项工作中,我们提出了CVAE2,一个用于标签噪声下鲁棒HSI分类的条件变分自编码器集成。与现有方法不同,CVAE2整合了三个新颖元素:(1)一个能够捕捉潜在空间中干净标签和噪声标签之间差异的标签感知CVAE;(2)一个利用自助多样性来稳定预测并降低噪声敏感性的集成框架;(3)一个结合
CRediT作者贡献声明
Youqiang Zhang:撰写——原始草案、方法论、研究调查、资金获取。Xuesong Li:撰写——审阅与编辑、软件。Hao Shi:形式分析、概念化。Guo Cao:项目管理、资金获取。Haitao Zhao:项目管理、资金获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究部分得到了国家自然科学基金(项目编号:62201282)、江苏省自然科学基金(项目编号:BK20231456)和天津智能技术与系统重点实验室开放项目(项目编号:TJKL-AITS-20241003)的支持。