《Journal of Visual Communication and Image Representation》:Deep semi-supervised learning method based on sample adaptive weights and discriminative feature learning
编辑推荐:
Jiawei Wang|Weiwei Shi|Xiaofan Wang|Xinhong Hei中国陕西省西安市西安工业大学计算机科学与工程学院,邮编710048摘要半监督学习通过基于伪标签和一致性正则化的多种方法取得了显著成果。尽管付出了诸多努力,但如何有效利用既有标记数据又无标
Jiawei Wang|Weiwei Shi|Xiaofan Wang|Xinhong Hei
中国陕西省西安市西安工业大学计算机科学与工程学院,邮编710048
摘要
半监督学习通过基于伪标签和一致性正则化的多种方法取得了显著成果。尽管付出了诸多努力,但如何有效利用既有标记数据又无标记数据仍是一项重大挑战。在本研究中,为更好地利用有限且宝贵的标记数据,我们提出了一种在批次内自适应调整权重分配的策略。该策略能够考虑到标记数据的差异性,根据不同样本的损失情况来调整其对整体损失的贡献,从而使模型更准确地识别出那些难以处理的样本。实验结果表明,这种权重重新分配策略显著提升了模型的泛化能力。此外,为增强所学特征的同类紧凑性和类间区分度,我们还引入了基于余弦相似度的判别性特征学习正则项。这一正则项旨在强化同一类别内的特征一致性,同时提升不同类别之间特征的差异性。通过这一机制,模型能够优先学习具有判别性的特征表示,确保真实标记的特征与高置信度伪标签的特征被归为一组,同时将属于不同簇的特征区分开来。该方法可与主流的半监督学习方法结合使用,我们已通过实验对其进行了验证。实验结果证明了我们的方法在各种常用的图像分类数据集上都能有效提升半监督学习任务的性能。
引言
在计算机视觉领域,图像分类一直是一项至关重要的任务。然而,获取大规模的标记训练数据往往成本高昂且耗时较长,这就凸显出半监督学习的迫切需求。目前,半监督学习领域已经取得了显著进展,Duan等人于2024年、Chen等人于2023年、Duan等人于2023年、Huang等人于2024年、You等人于2023年都做出了相关研究,尤其是在利用无标记数据来拓展学习范围方面,Berthelot等人于2021年、Verma等人于2022年、Tifrea等人于2023年也有了重要成果。Lee等人(2013)提出的伪标签方法的核心在于利用模型的预测能力为没有标签的数据生成伪标签,进而筛选出可靠的伪标签作为监督信息,以提高模型的预测性能。与此同时,一致性正则化技术通过要求模型在面对输入数据的不同增强版本时仍能保持预测一致性,进一步提升了这一过程的效果。
为了获得更可靠的伪标签,主要的研发方向之一就是使用基于阈值的伪标签。Sohn等人(2020)的FixMatch方法通过固定阈值来筛选标签,从而保证伪标签的质量。后续的研究则致力于如何以灵活合理的方式设定阈值。不过,这样的筛选方式可能会导致不同类别的标签出现不平衡问题。Guo等人于2022年、Lai等人于2022年、Guo和Li于2022年、Oh等人于2022年等人的研究则为利用不平衡的类别标签进行模型训练提供了有益的见解。尽管在半监督学习领域已经开展了大量研究并取得了显著成果,证明无标记数据可以被有效利用,但针对如何进一步优化少量标记数据的利用方法的研究却相对较少。实际上,这些珍贵的标记数据往往包含丰富的类别信息和具有判别性的特征,而这些正是提升模型性能的关键所在。
基于以上分析,针对标记数据,我们提出了一种自适应权重重新分配策略,旨在帮助模型更准确地识别困难样本。有些样本可能更容易被模型正确分类,而另一些样本则由于各种原因(如噪声、模糊度等)而难以被正确分类。因此,在每批数据中,应该给那些模型预测不确定性较高的样本赋予更大的损失权重,这样模型在训练过程中就能更加关注这些样本。与近期在神经架构搜索领域出现的自适应优化技术不同,Xue等人于2023年、2024年的研究,我们的方法直接作用于固定网络的样本和特征空间,避免了架构搜索带来的计算开销。通过动态调整不同样本的权重,我们的方法能够专注于那些对模型分类来说更具挑战性的样本,从而提升模型的整体识别能力。
除了提升标记数据的利用效率外,我们还引入了基于余弦相似度的判别性特征学习正则项,以进一步提升半监督学习的效率。一致性正则化仅能将那些具有高置信度伪标签的样本的特征向对应类别的中心靠拢。而我们的正则项则利用了余弦相似度的优点,比如对方向的敏感性、尺度不变性,以及在自然图像分类任务中对高维数据的稳定性。它同时利用标记数据以及高置信度伪标签数据,来优化特征向类别中心的聚类效果。这种方法能够在不增加复杂度的情况下显著提升网络性能,而且适用于任何深度神经卷积网络。
我们的主要贡献可总结如下:
我们提出了一种简单高效的自适应权重重新分配策略,通过动态调整模型对预测不确定性较高的样本的关注度,提升了模型的灵活性。
我们设计了一种基于余弦相似度的判别性特征学习正则项,使得具有相同标签的图像在特征空间中更加接近,而不同标签的图像则会被进一步分隔开。
实验结果证明了上述权重分配策略和特征学习正则项的有效性,我们的方法在传统的半监督算法以及最先进的算法中均取得了更好的性能。
章节节选
相关工作
结合自监督学习的半监督学习自监督学习被认为是半监督学习中一种有效的方法,它通过设计预训练任务来利用无标记数据,从而获取有意义的特征表示。例如,Chen等人(2020)的SimCLRV2方法首先在无标记数据集上学习图像的通用特征表示,并结合了蒸馏技术。之后,这些特征会在少量标记图像上进行微调,从而在特定的分类任务中取得优异的性能。
方法
本节首先回顾了半监督学习框架中关于一致性正则化和伪标签技术的早期研究,随后详细描述了我们提出的方法及其具体实现方式(见图1)。
实验
在这一部分,我们通过实验验证表明,我们的自适应权重分配策略和判别性特征学习正则项:1)可以与最先进的方法相结合,在统一的半监督学习评估基准上取得优异成绩,Wang等人于2022年提出了这一评估基准;2)具有广泛的适用性,与多种主流方法结合使用时都能带来显著的性能提升。
结论
我们提出了一种自适应权重重新分配策略以及基于余弦相似度的判别性特征学习正则项。我们的方法可以集成到半监督学习领域的多种主流方法中,从而显著提升性能。自适应权重调整策略旨在让模型更多关注那些确定性较低的样本,而基于余弦相似度的特征学习方法则有助于提升模型的区分能力。
CRediT作者贡献说明
Jiawei Wang:写作——初稿撰写、结果验证、资源准备、项目管理、方法设计、研究实施。Weiwei Shi:写作——审稿与编辑、研究指导、软件开发、资源协调、项目管理、方法设计、数据整理、资金筹集。Xiaofan Wang:写作——审稿与编辑、结果可视化、研究指导、软件开发、资源协调、形式化分析、数据整理。Xinhong Hei:写作——审稿与编辑、结果验证、研究指导、资源协调、资金筹集。
利益冲突声明
作者声明,他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。
致谢
本研究得到了中国国家自然科学基金的资助,项目编号分别为62476217、U25A20451和U21A20524;同时 also获得了陕西省重点研发计划的资助,项目编号为2024NC-YBXM-227;此外还得到了碑林区科技计划项目的资助,项目编号为GX2438。