多场景中被遮挡人物的重新识别:一种结合感知优化技术的协同交互框架

《Engineering Applications of Artificial Intelligence》:Occluded person re-identification in multi-scenarios: A Synergistic Interaction Framework with Perception-Aware Optimization

【字体: 大 中 小 】 时间:2025年12月30日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  多遮挡协同框架通过感知优化策略提升遮挡下的人脸识别准确率,包含多场景遮挡增强、跨模态交互融合、多尺度特征聚合及自适应注意力调节模块,实验在Occluded-Duke上表现优异。

  
宁 Enhao | 米 Junfeng | 谢 Sheng | 马海飞 | 宁 Xin
中国科学院半导体研究所,中国 100083

摘要

一个鲁棒的遮挡人物重识别系统旨在处理现实世界场景中遇到的各种遮挡类型。然而,现有方法的适应性有限,因为它们主要是针对单一类型的遮挡进行优化的,无法考虑多场景遮挡的耦合效应。在本文中,我们提出了具有感知意识优化的协同交互框架(SIF),以提高多遮挡场景下的人物重识别(Re-ID)性能。SIF 包含四个关键组成部分,这些组成部分采用了人工智能技术实现。首先,多场景遮挡增强模块通过结合场景先验生成多样化的遮挡样本,从而全面覆盖多源耦合遮挡。其次,交互与融合模块在异构特征之间建立双向知识传递,以确保有效匹配并提高语义一致性。第三,多尺度聚合模块在多个尺度上聚合特征,以增强模型对物体尺寸变化的鲁棒性。第四,自适应注意力调节模块动态抑制背景干扰,专注于显著区域,进一步提高识别精度。在主流基准数据集上的实验结果表明,所提出的方法在遮挡、部分遮挡和常规数据集上表现出优异的识别性能和适应性,特别是在 Occluded-Duke 数据集上实现了 76.2% 的排名第一准确率和 65.8% 的平均精度(mAP)。

引言

遮挡人物重识别(Re-ID)旨在解决在遮挡条件下跨时间、视角和场景变化匹配和检索特定个体的关键问题(Huo 等人,2021 年;Zheng 等人,2019 年;Lin 和 Wang,2021 年)。在安全系统中,监控设备通常部署在具有复杂空间配置的广阔区域内,以最大化覆盖范围。这种部署导致图像分辨率较低,个体姿势动态变化,运动轨迹多变,使得获取高质量无遮挡样本变得困难。因此,遮挡人物 Re-ID 仍然是计算机视觉领域一个具有挑战性和紧迫性的问题。
通过对监控场景中遮挡模式的系统研究,我们将人物 Re-ID 面临的挑战分为两种不同类型。首先,由于人类频繁移动和多样的监控角度,个体的动作和姿势不断变化(例如,手臂摆动、弯曲、头部转动),导致身体部位相互遮挡。这种类型的遮挡源于个体的内在因素,在动态环境中表现为连续现象。我们将其称为内部遮挡或自我遮挡。其次,另一种遮挡源于检测帧内的复杂背景,可能包括其他人、车辆和建筑物。这种类型在拥挤区域和动态环境中尤为普遍。我们将其称为外部遮挡,因为它由非目标因素驱动,并受到周围环境的影响。如图 1 所示,我们提供了人物 Re-ID 场景中这两种遮挡类型的详细分类。
最近的研究通过知识蒸馏(Jia 等人,2023 年)、数据增强(Xia 等人,2024 年;Tan 等人,2024 年;Zhao 等人,2021 年)和外部模型(Liu 等人,2024 年;Zhai 等人,2021 年;Xu 等人,2021 年)等方法,增强了模型在遮挡环境中捕获可靠人物特征的能力。然而,这些方法存在某些局限性。它们的视角和范围往往局限于简单的单维遮挡建模,受限于关注单一遮挡类型的预设条件。这导致在多源遮挡的耦合效应下表示机制不足。例如:(1)由于运动或姿势变化引起的肢体遮挡是动态的,基于显式和静态数据增强的方法在适应内部遮挡方面存在固有局限性。(2)外部模型方法中缺乏结构和形状先验,导致语义判别模糊,无法有效处理外部遮挡。(3)基于属性的方法利用可见外观纹理进行判别辅助;然而,缺乏动态关联和感知会导致语义不连续性,从而在处理多样化的遮挡场景时鲁棒性不足。我们认为,这些内在局限性在感知表示和现实世界环境之间造成了关键差距,极大地限制了此类模型的实际应用。
一个鲁棒的遮挡 Re-ID 模型应该能够整合所有遮挡场景。为了实现这一目标,我们提出了一种跨多种场景的遮挡人物 Re-ID 新方法:具有感知意识优化的协同交互框架(SIF)。我们同时考虑了不同遮挡场景对识别器的影响,旨在将多遮挡 Re-ID 场景的特征映射到一个一致且可泛化的空间中。通过挖掘不同遮挡现象中独特的知识,模型被引导以适应各种遮挡状态。具体来说,我们为多种场景设计了定制的数据增强策略,这些策略在场景先验知识的指导下模拟更真实的遮挡条件。换句话说,在这些定制策略的指导下,不同的遮挡场景在数据层面被有效地聚合和再现。此外,除了增强数据多样性外,我们还增加了特征多样性。通过执行扩展特征和原始特征的独特交互和融合,有效信息在它们之间高效传递。每个融合特征单独平衡了不同增强路径对模型的贡献,实现了特征级别的选择。
人物大小和背景的变化往往是不可避免的。为了解决这个问题,我们设计了一个多尺度聚合模块,通过全面配置不同大小的池化域和感受野来增强模型在不同尺度区域捕获详细和判别信息的能力。此外,我们引入了一种抗干扰注意力调节机制,该机制在特征选择和权重分配过程中提高了模型对人物身份特征的综合理解。总之,本工作的创新和贡献如下:
  • •
    我们构建了一个多场景遮挡增强模块,生成多样化的遮挡样本,解决了传统方法中单一类型遮挡和数据-场景分布差异的问题。
  • •
    我们设计了一个新颖的交互与融合模块,其中交互组件连接增强特征和原始特征,以防止分布偏移,融合组件采用门控机制来平衡贡献,提高特征灵活性和效率。
  • •
    我们设计了一个多尺度聚合模块和一个自适应注意力调节模块。前者解决了尺度敏感性和细节-语义不平衡问题,后者通过精确调整减少了噪声敏感性并缓解了注意力偏移。

相关工作

相关工作

遮挡问题的普遍存在限制了识别系统的实际应用。一般来说,遮挡人物 Re-ID 需要在信息丢失、噪声干扰和视角不对齐等复杂条件下解决人物匹配问题。鉴于其在实际应用中的重要性,这一领域受到了学术界的广泛关注。近年来,研究人员从不同角度提出了多种策略来解决这些问题

概述

SIF 的整体架构如图 2 所示。首先,给定一个人物图像,我们使用多场景遮挡增强模块生成多个样本元组,模拟不同的遮挡场景。接下来,所有生成的样本被输入到预训练的 ViT 中进行特征提取。随后,原始样本的特征与所有增强样本的特征配对,并输入到交互与融合模块中。该模块增强了

数据集和评估指标

我们在两个遮挡、部分遮挡和常规人物 Re-ID 数据集上验证了我们提出方法的有效性。
Occluded-Duke(Miao 等人,2019 年)是一个基于 DukeMTMC(Zheng 等人,2017 年)数据集的遮挡人物 Re-ID 数据集。训练集包含 15,618 张 708 个人的图像,查询集包含 2210 张 519 个人的图像,图库集包含 17,661 张 1110 个人的图像。值得注意的是,训练集图像中有 9% 被遮挡,查询集图像中有 100% 被遮挡,图库集图像中有 10% 被遮挡。

讨论

本文提出了一种名为 SIF 的人物 Re-ID 方法,适用于各种遮挡场景。与仅限于单一类型遮挡的传统模型不同,我们通过为多种场景定制的数据增强策略模拟了现实世界场景中发现的多种内部和外部遮挡及条件。所提出的 IM 通过计算特征相似性来确定注意力权重,确保最相关的特征点得到增强

CRediT 作者贡献声明

宁 Enhao:写作 – 审稿与编辑,撰写原始草案,项目管理,方法论,资金获取,形式分析。米 Junfeng:可视化,验证,项目管理,方法论。谢 Sheng:验证,监督,资金获取,数据整理。马海飞:可视化,验证,项目管理,数据整理。宁 Xin:写作 – 审稿与编辑,形式分析,数据整理,概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了 国家自然科学基金(项目编号:62373343)和 国家重点研发计划(项目编号:2024YFE0210600)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号