MAPLE:结合多种视角与增强的伪标签生成技术,实现无监督的人脸重识别

《Sexual & Reproductive Healthcare》:MAPLE: Combination of multiple angles of view and enhanced pseudo-label generation for unsupervised person re-identification

【字体: 大 中 小 】 时间:2026年01月01日 来源:Sexual & Reproductive Healthcare 1.7

编辑推荐:

  提出多视角全局-局部特征融合的无监督ReID方法MAPLE,通过改进DBSCAN聚类机制和动态阈值策略提升伪标签精度,并整合领域自适应技术解决分布差异问题。在Market-1501和MSMT17数据集上显著优于现有方法。

  
Mai T. Do | Anh D. Nguyen
日本广岛市菱山大学

摘要

人员ReID的主要目标是在多个监控摄像头中识别特定的个体。尽管早期的研究集中在使用深度学习模型的监督式ReID上,但将其应用于实际场景时发现了一些挑战,例如庞大的数据量和增加的手动标注成本。这导致了对无监督ReID技术的兴趣激增,无监督ReID技术利用的是未标记的数据。无监督人员ReID方法可以分为无监督域适应(UDA)ReID方法和完全无监督学习(USL)ReID方法。虽然UDA ReID利用了从源域到目标域的知识转移,但由于域差异可能会受到限制。相比之下,USL ReID完全依赖于未标记的数据集,提供了灵活性和可扩展性,但面临特征表示和伪标签准确性方面的挑战。本研究介绍了MAPLE来解决这些挑战。我们的贡献包括一种将局部区域信息与全局特征结合的新策略(称为多角度视图),一种改进的基于DBSCAN方法的无监督聚类方法,以及将域适应集成到无监督学习中的方法。在Market-1501和MSMT17等基准测试上的广泛实验表明,我们的方法性能优于一些最先进的成果,证实了其实际潜力。

引言

人员重新识别(ReID)是一个重要的研究领域,它在社会保障和教育等多个领域显著提升了用户体验。ReID的目标是在多个监控摄像头中识别特定的行人,如图1所示。最初的研究集中在使用深度学习模型的监督式ReID上。然而,这些方法在现实世界应用中的广泛使用揭示了一些重大挑战,例如大量的数据量和与手动标注相关的时间成本增加。这些挑战导致了对无监督ReID技术的兴趣日益增长,无监督ReID技术利用未标记的数据进行训练。
无监督人员ReID方法可以分为两大类:无监督域适应(UDA)ReID方法[1]、[2]、[3]和完全无监督学习(USL)ReID方法[4]、[5]、[6]、[7]。UDA ReID使用未标注的源域和完全标注的目标域通过迁移学习进行训练。然而,对源域的依赖可能会限制模型性能,因为目标域的有效性取决于知识转移的质量。相比之下,USL ReID完全依赖于未标记的数据集,在实际应用中提供了更多的灵活性和可扩展性,但面临特征表示和伪标签准确性方面的挑战。本研究介绍了MAPLE来解决这些挑战。我们的贡献包括一种将局部区域信息与全局特征结合的新策略(称为多角度视图),一种改进的基于DBSCAN方法的无监督聚类方法,以及将域适应集成到无监督学习中的方法。在Market-1501和MSMT17等基准测试上的广泛实验表明,我们的方法性能优于一些最先进的成果,证实了其实际潜力。

引言

人员重新识别(ReID)是一个重要的研究领域,它在社会保障和教育等多个领域显著提升了用户体验。ReID的目标是在多个监控摄像头中识别特定的行人。最初的研究集中在使用深度学习模型的监督式ReID上。然而,这些方法在现实世界应用中的广泛使用揭示了一些重大挑战,例如大量的数据量和与手动标注相关的时间成本增加。这些挑战导致了对无监督ReID技术的兴趣日益增长,无监督ReID技术利用未标记的数据进行训练。
无监督人员ReID方法可以分为两大类:无监督域适应(UDA)ReID方法[1]、[2]、[3]和完全无监督学习(USL)ReID方法[4]、[5]、[6]、[7]。UDA ReID使用未标注的源域和完全标注的目标域通过迁移学习进行训练。然而,对源域的依赖可能会限制模型性能,因为目标域的有效性取决于知识转移的质量。源域和目标域的数据分布差异可能会阻碍成功的知识转移,从而限制模型的能力。相比之下,USL ReID方法完全依赖于未标记的数据集,在实际应用中提供了更多的灵活性和可扩展性,无需外部数据。此外,一些UDA方法[2]、[3]使用基于GAN或扩散的风格转移技术,需要大量的计算资源和较长的调整时间。
最近的USL ReID方法通常结合了模块化元素,如聚类算法[8]、[9]、[10]、记忆库[5]、[7]和对比损失函数[11]、[12],以建立坚实有效的框架。一般的USL ReID过程包括:(1)使用聚类算法生成伪标签;(2)使用记忆库中的正样本和负样本,根据伪标签对查询实例应用对比损失;(3)更新记忆库的聚类表示向量,以进行后续的训练轮次,使网络发展出强大且具有区分性的特征。
然而,现有的伪标签生成策略仍然存在明显的局限性。例如,基于聚类的方法[6]、[10]由于刚性分配经常产生噪声伪标签,而基于风格转移的适应方法[2]、[3]引入了较大的计算开销,并需要仔细调整。此外,传统的基于池化的表示[13]往往忽略了细粒度的局部细节,导致聚类中心不准确和伪标签不稳定。尽管一些工作尝试通过重新选择或软标签转换[2]、[7]、[10]来改进伪标签,但这些方法引入了必须为每个数据集手动调整的额外超参数,限制了它们的泛化能力。
研究挑战: 总之,我们目前面临的主要挑战如下:
  • 1.
    虽然全局信息通常被优先考虑以实现模型的高区分性能,但这种方法可能会忽略从局部区域分析中获得的宝贵见解。因此,结合全局和局部环境的数据对于提高训练效果至关重要。
  • 2.
    依赖于聚类算法生成的伪标签显著影响了各种无监督学习方法在人员重新识别中的性能。这些算法有时会为样本分配错误的标签,导致多个身份共享一个共同的伪标签,或者在未标记的数据集中导致单个身份被分配多个标签。这种错误标记可能会破坏学习过程。
主要贡献: 本研究的主要目标是介绍一种新的USL方法,用于人员ReID问题,通过解决上述挑战来提高准确性。因此,本研究的主要发现可以简要总结为以下重要贡献:
  • 1.
    我们提出了一种方法,利用部分区域的信息和全局特征作为整体特征,以确保在学习过程中获取所有必要的信息。
  • 2.
    我们提出了一种简单的方法来提高使用DBSCAN方法时的无监督聚类过程的准确性。
  • 3.
    我们分析了纯无监督学习的弱点,然后介绍了将域适应技术集成到我们方法中的方法,这显著提高了性能。
  • 4.
    最后,我们在两个著名的基准测试Market-1501和MSMT17上进行了广泛的实验,以评估和验证我们提出的方法的性能。结果表明了该研究方向的实际潜力。我们的方法优于一些最先进的成果。
本文的结构如下:第2节首先概述了纯无监督学习在人员ReID(USL)方面的应用和相关文献的回顾。第3节详细介绍了我们提出的方法。第4节展示了我们的实验结果,并将我们的方法与最先进的技术进行了比较。最后,第5节总结了我们的贡献并概述了潜在的未来研究方向。

章节片段

问题陈述

目标是构建一个模型Ω,它具有一组参数θ,该模型在未标记的数据集上进行了训练,但在ReID过程中表现出色。具体来说,未标记的训练数据集表示为Dt={(xi)i=1Nt,其中Nt是数据集中的样本数量。同样,为了评估模型,作为模型部署环境的评估数据集表示为De={xi,yi}i=1Ne,其中xie和yie表示第i个样本及其

MAPLE:提出的无监督人员学习方法

为了解决第1节中概述的主要挑战,并基于第2节中讨论的相关研究,我们采取以下方法解决问题:
  • •
    首先,我们通过使用ClusterNCE损失[19]、记忆库[12]和Resnet架构作为图像编码器骨干来建立基线。
  • •
    随后,我们通过修改骨干来提高图像表示能力。
  • •
    在接下来的阶段,我们实现了一种简单但有效的机制来提高效率

实验和评估

为了实现引言部分的目标,我们首先详细概述了实验设置。接下来,我们使用各种已建立的基准测试对我们的方法进行了全面分析。最后,我们通过将其性能与以往研究中的几个最先进基线进行比较来评估我们方法的有效性。

结论

在这项研究中,我们提出了一种新的图像表示方法,称为多角度视图图像表示(MAV),专门用于无监督人员重新识别(ReID)。我们的方法通过整合全局和局部图像上下文来提高特征空间中的表示区分性,利用了部分特征之间的关系。我们提出了一种动态epsilon策略来适应性地更新距离阈值

CRediT作者贡献声明

Mai T. Do:写作 – 审稿与编辑、撰写原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。Anh D. Nguyen:写作 – 审稿与编辑、监督、项目管理、方法论、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号