分层融合与局部感知的Transformer用于遮挡人物的重新识别

《Neural Networks》:Hierarchical Fusion and Local-aware Transformer for Occluded Person Re-identification

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  提出分层融合与局部感知Transformer(HFLAT)方法,通过特征分层融合模块增强关键区域身份特征,特征分离模块抑制背景干扰,局部感知多头注意力机制提取细粒度特征,在四个数据集上验证模型性能优于现有方法,Rank-1准确率达79.6%-95.9%,mAP达64.7%-90.8%。

  
杜海顺|黄传尔|曹琳冰|李杰如|张文哲
河南大学人工智能学院,郑州,450046,中国

摘要

遮挡人员重新识别(ReID)旨在解决当个体图像部分被遮挡时如何匹配这些个体的问题。近年来,基于Transformer的遮挡人员ReID方法受到了广泛关注。然而,尽管现有方法取得了有希望的结果,但大多数方法并未充分考虑不同图像块对身份识别的不同贡献,也没有充分强调关键区域中的身份信息。此外,这些方法通常缺乏提取细粒度局部特征的能力,这使得难以完全挖掘嵌入在身体各部位中的身份信息。为了解决上述问题,我们提出了一种分层融合和局部感知Transformer(HFLAT)用于遮挡人员ReID。具体来说,我们首先设计了一个特征分层融合模块,该模块根据每个图像块对全局特征向量的相对重要性对其进行分层和融合,从而强化关键区域的身份区分特征。然后,我们设计了一个特征分离模块,通过使用图像块级显著性分析来区分前景特征和背景特征,从而减轻背景和遮挡对模型性能的负面影响。此外,我们设计了一个局部特征提取模块,该模块利用局部感知的多头注意力机制来限制特征之间的交互范围,提高了模型获取细粒度局部特征的能力。在Occluded-DukeMTMC、Occluded-ReID、Market1501和DukeMTMC-ReID数据集上的实验结果表明,HFLAT达到了当前遮挡人员ReID的最先进性能。具体而言,在Occluded-DukeMTMC和Occluded-ReID数据集上,我们的方法分别实现了79.6%和89.8%的排名第一准确率,以及64.7%和84.9%的mAP值。在Market1501和DukeMTMC-ReID数据集上,我们的方法分别实现了95.9%和90.6%的排名第一准确率,以及90.8%和82.2%的mAP值。

引言

人员重新识别(ReID)任务旨在从多个不重叠的相机视角中识别和匹配目标个体。由于深度学习技术的快速发展,关于ReID的研究取得了显著进展(Luo等人,2019年;Qian等人,2017年;Zhou等人,2019年)。然而,在实际情况中,如图1所示,由于树木和车辆等物体的遮挡,行人经常会出现身体部分缺失的情况。因此,如何在行人部分被遮挡的情况下提高ReID模型的性能已成为一个核心挑战。
近年来,遮挡人员ReID引起了更大的兴趣,其关键在于从部分遮挡的图像中提取特征以减轻遮挡的影响。为此,提出了各种遮挡人员ReID方法。现有方法大致可以分为基于外部辅助信息的方法(Gao等人,2020年;Huang等人,2020年;Miao等人,2019年)和基于Transformer的方法(Li等人,2021年;Lin等人,2024年;Wang等人,2022b)。基于外部辅助信息的方法通常通过利用辅助信息(如人体姿势或关键点)来定位未遮挡的身体区域,从而减少遮挡对行人特征区分能力的影响。基于Transformer的方法主要利用Transformer的全局建模优势,整合各种注意力机制来提取更具区分性的特征。尽管这些方法取得了一些令人鼓舞的结果,但大多数方法对不同图像块的处理并不区分。它们不仅未能量化不同图像块对身份识别的不同贡献,还忽视了对关键区域的关注。此外,大多数方法未能有效隔离行人图像中包含的有效或有害信息,从而无法减轻背景和遮挡对其模型性能的负面影响。特别是,尽管它们具有很强的捕获全局上下文信息的能力,但它们获取细粒度局部特征的能力严重不足,无法完全提取行人不同身体部位中的身份信息。
为了解决上述问题,我们提出了一种分层融合和局部感知Transformer(HFLAT)用于遮挡人员ReID。首先,我们设计了一个特征分层融合模块(FHFM),根据每个图像块对全局特征向量的相对重要性对其进行分层和融合,从而增强关键区域的身份区分特征。随后,我们设计了一个特征分离模块(FSM),通过使用图像块级显著性分析来区分前景特征和背景特征,从而减轻背景和遮挡对模型性能的负面影响。此外,我们设计了一个局部特征提取模块(LFEM),该模块利用局部感知的多头注意力机制来限制特征之间的交互,提高了模型获取细粒度局部特征的能力。本文提出的主要贡献如下:
  • •
    我们提出了一种用于遮挡人员ReID的分层融合和局部感知Transformer(HFLAT)。
  • •
    我们设计了一个特征分层融合模块(FHFM),根据图像块对全局特征向量的相对重要性对其进行分层和融合,以增强关键区域的身份区分特征。
  • •
    我们设计了一个特征分离模块(FSM),通过使用图像块级显著性分析来区分前景特征和背景特征,从而减轻背景和遮挡对模型性能的负面影响。
  • •
    我们设计了一个局部特征提取模块(LFEM),通过使用局部感知的多头注意力机制来限制特征之间的交互,提高了模型的细粒度局部特征提取能力。
  • •
    我们在四个数据集上进行了广泛的实验,以验证模型的效率和先进性。
  • 相关研究

    相关工作

    随着深度学习技术的快速发展,人员ReID取得了显著成果(Luo等人,2019年;Qian等人,2017年;Zhou等人,2019年)。然而,在实际场景中,图像中的行人经常被树木或车辆等物体部分遮挡,导致关键身体部分丢失。为了解决这个问题,学者们提出了一系列遮挡人员ReID方法,这些方法可以分为基于外部辅助信息的方法(Gao等人,2020年;Huang等人)

    提出的方法

    本节首先概述了HFLAT框架,然后详细介绍了特征分层融合模块(FHFM)、特征分离模块(FSM)和局部特征提取模块(LFEM)。最后,描述了用于模型训练的损失函数。

    数据集和评估指标

    为了评估HFLAT的性能,我们在Occluded-DukeMTMC(Miao等人,2019年)和Occluded-ReID(Zhuo等人,2018年)这两个遮挡数据集,以及Market-1501(Zhang等人,2015年)和DukeMTMC-ReID(Zhang等人,2017年)这两个通用数据集上对其进行了评估。这四个数据集的基本信息见表1。
    Market-1501数据集由清华大学于2015年发布,包含12,936张训练图像、3,368张查询图像和15,913张 gallery 图像

    结论

    本文提出了一种用于遮挡人员ReID的分层融合和局部感知Transformer(HFLAT)。在HFLAT中,我们首先使用特征分层融合模块对图像块特征向量序列进行分层和融合,增强关键区域的身份区分特征。然后,我们使用特征分离模块区分前景特征和背景特征,减少背景和遮挡对模型性能的负面影响。

    未引用的参考文献

    缺失的引用:Vaswani等人(2017年),Dosovitskiy等人(2021年),He等人(2018b年),Ye等人(2022年),Zhang等人(2021年),Guo等人(2019年),Xu等人(2021年)

    CRediT作者贡献声明

    杜海顺:撰写 – 审稿与编辑,撰写 – 原稿,监督,资金获取。黄传尔:撰写 – 审稿与编辑,软件开发,数据管理。曹琳冰:撰写 – 原稿,方法论。李杰如:验证,形式分析。张文哲:可视化,验证。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

    致谢

    本工作部分得到了河南省科学技术发展计划项目(编号222102110135)和中国国家自然科学基金(编号62176088)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号