面向含噪标签多标签遥感图像分类的双视角动态样本划分方法
《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Dual-view Dynamic Sample Partition for Classification of Multi-label Remote Sensing Images with Noisy labels
【字体:
大
中
小
】
时间:2025年12月16日
来源:IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 5.4
编辑推荐:
针对多标签遥感图像分类中标签噪声严重影响深度学习模型性能的问题,研究人员开展了“双视角动态样本划分(DVDSP)”主题的研究。该方法通过定义新的标签差异度量,动态划分清洁与噪声样本子集,并设计联合损失函数(BCE+MGCE)进行差异化训练。实验结果表明,DVDSP在三个公开数据集上显著优于现有先进方法,尤其在较高噪声率下优势明显,为复杂噪声环境下的遥感图像解译提供了有效解决方案。
随着遥感技术的飞速发展,我们能够获取到海量的对地观测图像。如何高效分析和利用这些宝贵数据,成为了一个重要的科学挑战。其中,遥感图像分类是进行分析的基础,它旨在识别图像中包含的地物覆盖信息。由于一幅遥感图像中往往同时存在多种地物类型,多标签分类(为单个样本分配多个类别标签)比单标签分类更能满足实际应用中对图像语义理解的深度需求。近年来,深度学习的崛起极大地推动了遥感图像分类的研究进展。然而,深度网络的训练通常需要大量带有精确标注的样本。在实际应用中,受限于人力物力,很难获得准确且大规模的标注样本。人工标注不仅耗时费力,还容易受到标注者主观性的影响,从而导致标签噪声的出现。研究表明,神经网络容易过拟合这些带有噪声的标签,从而降低模型的泛化能力。
上图清晰展示了ResNet-50模型在一个多标签遥感数据集上,其性能指标(mAP、OF1、CF1)随着标签噪声率增加而逐渐下降的趋势。这种由标签噪声引起的显著性能退化,促使研究者们探索能够减轻其影响的鲁棒性解决方案。与单标签噪声(一个样本被错误地标记为另一个类别)不同,多标签噪声更为复杂,包括加性噪声(增加了不相关的标签)、减性噪声(遗漏了相关的标签)以及两者混合的情况。现实场景中,错误的标注和遗漏的标注往往并存且难以明确区分,这使得在混合标签噪声下研究多标签学习具有更重要的现实意义。
针对上述问题,本文提出了一种用于混合标签噪声下多标签遥感图像分类的双视角动态样本划分方法(DVDSP)。该方法的核心思想是,基于一种新的差异度量来区分带有噪声标签的样本和带有清洁标签的样本,并在网络训练中对这两类样本采用不同的损失项。具体而言,DVDSP首先对可能含有噪声标签的遥感图像分别进行强增强和弱增强,生成双视角图像。这两幅增强后的图像被送入两个权重共享的学习网络,分别得到该图像的双视角后验概率和类别预测。然后,基于后验概率、类别预测和可能含有噪声的已知标签,计算标签差异度。该差异度被用来判断已知标签是否包含噪声,从而将图像样本划分到清洁或噪声子集中。这种样本划分是动态进行的,在每个训练周期(epoch)都会根据新计算的标签差异度量重新划分样本。同时,DVDSP引入了一个联合损失函数,该函数由用于清洁标签样本的二元交叉熵(BCE)损失和用于噪声标签样本的多标签广义交叉熵(MGCE)损失组成。
本研究的主要贡献包括:1)提出了一种用于含噪标签多标签遥感图像分类的双视角动态样本划分方法;2)定义了一种基于双视角预测和潜在噪声标签的新标签差异度量;3)设计了一个结合了BCE损失和MGCE损失的联合损失函数;4)在三个公开基准多标签遥感数据集上进行了广泛实验,证明了DVDSP方法的优势。该研究为解决实际应用中标签噪声对深度学习模型性能的负面影响提供了有效的技术途径,相关成果发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上。
为了开展研究,作者主要采用了以下几个关键技术方法:首先,构建了基于双视角(强弱数据增强)的标签预测模块,利用共享权重的卷积神经网络(CNN)提取特征并生成预测;其次,设计了动态样本划分策略,通过新提出的标签差异度量(DP(m)i)和自适应阈值(Ω(t))动态区分清洁与噪声样本;第三,定义了联合损失函数,对清洁样本子集使用二元交叉熵(BCE)损失,对噪声样本子集使用多标签广义交叉熵(MGCE)损失进行鲁棒训练。实验在AID multi-label、UCM multi-label和DFC15 multi-label三个公开数据集上进行,并引入了类依赖的噪声转移矩阵来模拟不同比率(0.2, 0.4, 0.6, 0.8, 0.9)的混合标签噪声。评估指标包括均值平均精度(mAP)、样本级和类别级的精确度(OP/CP)、召回率(OR/CR)和F值(OF1/CF1, OF2/CF2)。
研究人员使用了三个公开的多标签遥感图像数据集:AID multi-label数据集(包含3000张图像,17个对象级类别)、UCM multi-label数据集(包含2100张图像,17个对象级类别)和DFC15 multi-label数据集(包含3342张图像,8个对象级类别)。样本按80%训练集和20%测试集的比例随机划分。为了引入噪声标签,研究采用类依赖的噪声转移矩阵随机翻转清洁标签,模拟了从0.2到0.9共五种噪声率。评估采用了均值平均精度(mAP)以及样本级和类别级的精确度、召回率和F值等多种指标。模型采用在ImageNet上预训练的ResNet-50进行特征提取和分类,使用SGD优化器,并设置了特定的超参数(如动态阈值平衡因子λ=0.95,MGCE损失控制参数q=0.7)。弱增强采用随机裁剪和水平翻转,强增强采用RandAugment。
B. Experimental Results and Analysis
1) Comparisons with State-of-the-Art Methods
DVDSP与多种先进方法进行了比较,包括DISC、HLC、SIGNA、SST、NATAL、Co-teaching、DivideMix和RCML。实验结果表明,随着标签噪声率的增加,所有方法的性能均出现显著下降,这证实了标签噪声对模型性能的严重影响。然而,DVDSP在所有噪声率和所有数据集上的绝大多数指标(共135次比较中,117次最优,129次位列前二)均取得了最佳或次佳性能。特别是在高噪声率下(如0.8和0.9),DVDSP的优势更为明显。平均性能(Avg.)显示,DVDSP在mAP、OF1、CF1等关键指标上全面领先于其他对比方法,证明了其强大的鲁棒性。研究还发现,数据集的空间分辨率对分类性能有影响,高分辨率图像(如DFC15,0.05米)能提供更丰富的空间细节,有助于提升方法对标签噪声的鲁棒性。
上图量化了DVDSP相较于DISC方法在不同数据集上平均mAP、OF1和CF1的性能提升,显示出DVDSP在UCM和DFC15数据集上具有更显著的优势。
消融实验评估了DVDSP中动态样本划分策略的关键组件有效性。对比了四种方案:基线(仅使用BCE损失)、随机初始化阈值(RT)、固定阈值(FT)和另一种动态阈值策略(DS)。结果显示,DVDSP(采用本文提出的动态阈值调整策略)在几乎所有指标上都取得了最佳性能。基线方法对噪声标签高度敏感,易过拟合。RT策略因初始阈值不当导致早期噪声判断偏差。FT策略阈值固定且过高,在训练后期会将大量噪声样本误判为清洁样本。DS策略初始阈值过低,容易误分清洁样本。DVDSP通过合理的初始阈值设定和动态衰减机制,实现了更可靠的样本划分。
上图(图4-6)分别展示了在AID、UCM和DFC15数据集上,不同组件对DVDSP在mAP、OF1和CF1指标上的有效性评估。
3) Parameter sensitivity analysis
参数敏感性分析探讨了平衡因子λ和控制参数q对DVDSP性能的影响。实验在AID数据集、噪声率为0.4的条件下进行。λ控制动态阈值的初始值和衰减速率。λ过小会导致初始阈值过大,衰减过快,易将噪声样本误判为清洁样本;λ过大会导致初始阈值过小,样本划分标准过于严苛,易将清洁样本误判为噪声样本。实验表明,当λ从0.9增加到0.99时,mAP值先显著提升后下降,在λ=0.95附近达到最佳。
q参数影响MGCE损失对噪声的鲁棒性。q过小(接近0)时,MGCE退化为标准交叉熵,对噪声敏感;q过大时,损失函数梯度平缓,虽能抑制噪声影响,但也可能削弱对清洁标签的学习。实验表明,当q从0.1增加到0.9时,mAP值先升后降,在q=0.7时取得最大值。
上图(图7-8)分别展示了λ和q对DVDSP在mAP指标上的影响。
本文提出的双视角动态样本划分方法(DVDSP)有效解决了多标签遥感图像分类中的标签噪声问题。该方法通过定义基于双视角预测和潜在噪声标签的标签差异度量,动态地将训练样本划分为清洁和噪声子集,并设计了结合BCE损失和MGCE损失的联合目标函数进行网络训练,从而增强了对噪声的鲁棒性。在三个多标签遥感图像数据集上的实验结果表明,即使在高噪声率下,DVDSP也能取得优异的分类性能。
尽管DVDSP取得了显著效果,但该方法尚未利用标签相关性这一对分类有益的信息。未来的工作将探索在噪声标签下捕获准确的标签相关性信息,以进一步提升多标签学习的性能。该研究为复杂标注环境下遥感图像的精准、自动化解译提供了新的思路和有效的工具,具有重要的理论价值和实际应用前景。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号