《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Dual Student Self-Distillation for Hyperspectral Image Classification With Noisy Labels
编辑推荐:
本文针对高光谱图像分类中标签噪声导致模型性能下降的问题,提出了一种名为双学生自蒸馏(DSSD)的新框架。该研究通过双学生交叉验证和定制化自蒸馏机制,动态生成细粒度监督信号,有效缓解了错误累积。在三个基准数据集上的实验表明,DSSD在10%-50%的噪声水平下均显著优于现有最优方法,总体精度最高提升5.62个百分点,为实际遥感应用提供了高效鲁棒的解决方案。
在遥感技术飞速发展的今天,高光谱成像技术能够同时获取地物的丰富光谱反射率和空间信息,显著提升了地球观测的质量,在精准农业、环境监测、城市规划等领域扮演着关键角色。随之而来,高光谱图像分类(HSIC)——即给图像中的每个像素分配一个特定类别标签的任务——在过去几十年里受到了遥感界的广泛关注。尽管众多基于深度学习的方法已经取得了令人满意的结果,但一个严峻的现实问题是,在实际应用场景中,训练数据中的错误标注(即标签噪声)几乎不可避免。这些噪声可能源于复杂地物区域的不准确地面配准、数据传输过程中的信息丢失,或者人工标注时固有的主观性错误。标签噪声的存在会误导分类器,显著降低土地覆盖分类的性能,从而限制高光谱图像的实际应用价值。
传统方法以及一些复杂的深度学习模型尝试应对这一挑战,但它们大多存在一个共同缺陷:依赖于在混合了干净和噪声样本的数据上训练,或者进行硬标签校正,这容易导致错误累积。错误累积是指模型在训练过程中,错误地将噪声样本识别为“干净”样本,并在此后的训练阶段重复和放大这种误判,形成一个自我强化的恶性循环,最终加剧噪声传播并严重降低模型性能,尤其是在高噪声场景下。
为了从根本上解决上述挑战,研究人员在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了他们的最新成果。他们提出了一种名为双学生自蒸馏(Dual Student Self-Distillation, DSSD)的新型端到端框架,旨在实现噪声标签条件下高光谱图像的鲁棒分类。
为开展研究,作者主要运用了以下几项关键技术:首先,构建了双学生网络架构,采用交叉更新策略,使两个结构相同但独立初始化的网络相互协作,基于置信度动态选择并交换小损失样本进行训练;其次,设计了一种定制化的自蒸馏机制,直接从网络演化的知识中生成包含置信度校准的软目标损失和语义感知的软非目标损失的细粒度监督信号;最后,引入了一个噪声感知的自适应损失函数,其关键参数ξ能根据估计的噪声率动态调整,在强噪声场景下甚至允许ξ大于1,以主动抑制不可靠的原始标签的影响。实验在Salinas Valley (SV)、University of Pavia (UP)、Kennedy Space Center (KSC)以及更具挑战性的Houston2018等多个高光谱数据集上进行,均采用了添加合成噪声(包括对称噪声和非对称噪声)的训练样本。
Dual Student Learning Network
DSSD框架的核心是一个双学生学习网络。该框架包含两个结构完全相同的学生网络(STU1和STU2),每个网络均包含一个特征提取器和一个分类头(G1和G2)。训练采用小批量方式进行。在每个训练迭代中,两个网络并行处理同一批样本,并分别计算其损失。关键创新在于其交叉更新样本选择机制:每个网络根据计算出的样本损失进行排序,并应用一个自适应的选择阈值R(t)来筛选出损失较小的样本(即高置信度的、可能干净的样本)。随后,这些筛选出的样本子集在两个网络之间进行交换,即STU1用STU2筛选出的样本更新其参数,STU2用STU1筛选出的样本更新其参数。这种策略使得每个网络能够从另一个网络的“视角”中学习,有效减少了单个网络对噪声标签的过拟合风险,抑制了错误累积。
Customized Soft Labels for Self-KD
为了解决样本选择后训练数据可能不足的问题,并充分挖掘有限样本中的丰富知识,DSSD引入了定制化软标签的自蒸馏(Self-KD)机制。该机制不依赖于预训练的教师模型,而是直接从学生模型自身的预测中生成软标签作为监督信号。具体而言,它包含三个核心部分:
- 1.
软目标标签(Soft Target Labels):通过一种创新的方式对网络输出的概率进行变换(如平方操作并结合原始硬标签和批次均值),生成动态更新的、能够更好拟合数据分布的软目标,用于计算目标损失Ltarget,从而缓解潜在错误硬标签的约束。
- 2.
软非目标标签(Soft Non-Target Labels):为了给非目标类别提供更具语义逻辑的排序信息,该机制利用对中间特征的弱监督输出(Pweak(t))并结合Zipf定律,生成平滑的软非目标分布Z(c),并据此计算非目标损失Lnon。这有助于模型保留类别间的关系,学习更鲁棒的决策边界。
- 3.
总自蒸馏损失:最终的自蒸馏损失LCLS是原始交叉熵损失Lori、软目标损失Ltarget、软非目标损失Lnon以及弱监督损失Lweak的加权和。其中,平衡参数ξ并非固定值,而是根据估计的噪声率ε自适应调整的函数。在高噪声场景下(ε ≥ 0.3),ξ可以大于1,这意味着模型被鼓励更信任自身生成的软标签,甚至对与可能错误的原始标签一致的行为进行惩罚,这被证明能有效降低噪声引起的方差。
Experiments and Analysis
研究在三个经典高光谱数据集(UP, SV, KSC)和一个更具挑战性的Houston2018数据集上进行了广泛的实验,并与多种先进方法(如SSRN, DCRN, TCRL, SPTNet, GLHLE等)进行了对比。评价指标包括总体精度(OA)、平均精度(AA)和Kappa系数。
- •
在UP数据集上:在30%噪声水平下,DSSD取得了99.89%的OA,显著优于其他方法(如TCRL的96.60%)。分类图谱显示,DSSD生成的结果在视觉上几乎与真实地物图一致,边界清晰,区域均质性好。
- •
在SV数据集上:即使在该相对简单的数据集上,DSSD仍以99.40%的OA领先,比次优方法高出4.09个百分点。其分类图谱显示出异常干净和明确的作物边界。
- •
在具有挑战性的KSC数据集上:DSSD的优势尤为明显,在样本有限、类内方差高的情况下,其OA达到97.18%,比SPTNet(94.86%)和TCRL(94.74%)高出约2.3个百分点。可视化结果证实DSSD能更好地处理光谱相似类别,生成更平滑准确的地图。
- •
在不同噪声水平下的评估:无论是在对称噪声还是更具挑战性的非对称噪声(噪声在相似类别间系统性错误标注)设置下,DSSD在10%至50%的噪声比率范围内均表现出最优越和最稳定的性能。例如,在KSC数据集上50%对称噪声下,DSSD的OA为93.48%,领先次优方法1.86个百分点。在60%非对称噪声的极端条件下,DSSD在SV数据集上的OA(86.18%)比第二名SPTNet(72.91%)高出13.27个百分点。
- •
在Houston2018数据集上的验证:在训练样本仅占总数0.3%的小样本、高噪声(30%-50%)极端场景下,DSSD再次证明了其强大鲁棒性。在30%噪声下,其OA达到83.97%,比第二名SPTNet(78.35%)高出5.62个百分点。
- •
消融实验:通过系统地移除DSSD的关键组件(如协同教学机制、软标签自蒸馏、定制化损失函数),研究证实了每个组件对最终性能的重要贡献。进一步的精细消融表明,置信度校准(CC)和弱监督排序(WSR)机制各自都能显著提升模型性能,它们的协同作用是DSSD成功的关键。
- •
参数影响分析:实验验证了所提出的自适应ξ调整策略优于固定的ξ值或其他简单的分段常数策略,特别是在高噪声场景下,其平滑线性调整能实现偏差-方差权衡的最优解。
- •
骨干网络消融:研究还比较了以CNN、Transformer和Mamba作为特征提取骨干的DSSD变体。结果表明,虽然Mamba骨干(DSSD-Mamba)能带来微小的精度提升(如在Houston2018上噪声0.3时OA为85.22%,比CNN骨干的83.97%高1.25%),但CNN骨干在计算效率(FLOPs仅0.35M,GPU内存仅0.02G)和推理速度上具有压倒性优势(训练速度比Mamba快约8.5倍),实现了精度与效率的最佳平衡。
- •
复杂度与效率比较:DSSD展现出卓越的计算效率。其模型复杂度(FLOPs)和内存占用(GPU Memory)远低于其他对比方法(如SSRN, SPTNet等),使其非常适合在计算资源有限的硬件平台上部署。
结论与意义
该研究成功提出并验证了DSSD这一针对高光谱图像噪声标签分类问题的创新框架。通过双学生交叉验证和定制化自蒸馏的协同作用,DSSD能够有效筛选可靠样本并利用模型自身演化知识生成鲁棒的监督信号,从而显著抑制了标签噪声的负面影响。大量实验证明,DSSD在多种噪声类型和不同噪声水平下,均能取得领先且稳定的分类性能,同时在计算复杂度上保持了极高的效率。这项工作为实际遥感应用中不可避免的标签质量问题提供了一个强大而实用的解决方案,标志着高光谱图像分类鲁棒性研究的重要进展。尽管DSSD表现出色,作者也指出了其局限性,例如对预定义噪声率的依赖以及在高度不平衡数据集上可能面临的挑战,这为未来研究指明了方向,包括开发自动噪声率估计机制和集成类别平衡策略,以进一步提升框架的自主性和普适性。