基于结构感知最优传输的 RGB-红外组重识别
《Pattern Recognition》:RGB-Infrared Group Re-Identification via Structure-aware Optimal Transport
【字体:
大
中
小
】
时间:2026年08月27日
来源:Pattern Recognition 9.1
编辑推荐:
•针对 RGB-IR G-ReID 独特挑战的两阶段框架。
•模态感知调谐模块学习鲁棒的跨模态行人特征。
•结构感知最优传输实现灵活的群组匹配。
•在实现约三倍推理速度的情况下达到最先进的精度。
引言
RGB-红外群组重识别(RGB-IR G-ReID)旨在跨非重叠摄像头视图
•针对 RGB-IR G-ReID 独特挑战的两阶段框架。
•模态感知调谐模块学习鲁棒的跨模态行人特征。
•结构感知最优传输实现灵活的群组匹配。
•在实现约三倍推理速度的情况下达到最先进的精度。
引言
RGB-红外群组重识别(RGB-IR G-ReID)旨在跨非重叠摄像头视图匹配人群,特别是在黑暗场景下捕获的红外图像与明亮场景下捕获的 RGB 图像之间,从而实现跨不同环境的有效跨模态检索。这种能力对于现代视频监控系统具有广泛的应用,这些系统需要在一天和一夜之间变化的光照条件下进行鲁棒的群组匹配 [1]。与传统 G-ReID 任务 [2] 不同,RGB-IR G-ReID 面临着由大模态差距和动态群组变化(即特定模态的外观变化、遮挡和群组成员构成变化)的耦合效应引起的独特挑战(见图 1)。
具体而言,这两项挑战的结合在 RGB-IR G-ReID 中创造了独特的联合挑战,这在社区中较少被研究。这一困境的核心在于,在动态群组变化下的群组匹配本质上依赖于个体特征的质量以获得鲁棒的群组表示。然而,大模态差距从根本上引入了特征偏差,并使个体表示不可靠。因此,当基于特征聚合的传统 G-ReID 方法 [3] 应用于这种跨模态场景时,个体级的特征偏差会通过个体特征交互在群组级被加剧。这种放大导致群组表示区分度降低,从而降低系统性能。
虽然一些开创性工作已在解决模态差距或群组外观变化方面取得进展,但这些方法在面对 RGB-IR G-ReID 特有的联合问题时效果不佳。现有的 G-ReID 方法 [4] 通常依赖图神经网络(GNNs)[5] 或视觉变压器(ViT)[6] 等架构,通过整体特征聚合构建鲁棒的群组表示。然而,这些基于聚合的方法本质上假设个体特征是无偏且模态不变的,这在 RGB-IR 场景中被根本性违反。如前所述,这种聚合过程可能会放大由模态差异引起的个体级偏差。因此,这些模型的性能仍然处于次优状态。另一方面,CPM [1] 展示了一种专用群组匹配方法的有效性,该方法将群组建模为个体集合,并通过搜索特征集的所有排列并选择使匹配成本最小的那个来计算群组之间的相似度。虽然它可以部分减轻特征偏差的影响,并且对模态差异相对鲁棒,但由于缺乏个体特征之间的交互,CPM 在处理动态群组外观变化时仍然无效。因此,这两种策略都不是专门为 RGB-IR G-ReID 中的核心冲突设计的。基于聚合的方法遭受由大模态差距引起的加剧的特征偏差,而现有的群组匹配方法效率低下且不太适应群组变化。这突显了对更高效和有效的群组匹配方法的需求,并激发了我们的工作。
在本文中,我们提出了一种两阶段方法来解决 RGB-IR G-ReID。具体而言,我们的框架通过首先减轻主要模态偏差,其次通过最优传输解决动态群组外观变化以实现鲁棒的群组匹配,从而逐步解决这一联合挑战。在成员层面,为了减轻模态差异并提供更可靠的特征基础,我们引入了一种轻量级的模态感知调谐模块(MATB),该模块自适应地细化共享骨干网络的特征,以生成更具区分度和特定模态的行人表示。在群组层面,我们提出了结构感知最优传输(SAOT),这是一种新颖的群组匹配方法,将群组匹配问题构建在 OT 框架内。OT 为建模群组成员之间灵活和软对应关系提供了强大的数学视角,使其天生能够处理动态群组外观变化。然而,现有的基于 OT 的构建主要依赖个体级传输成本或标签/样本对齐,因此没有显式编码 RGB-IR 模态差距下的成对群组结构一致性。SAOT 采用结构感知方法,不仅利用个体匹配成本,还利用每个群组内成员对之间的相似度。这使我们能够有效去偏和细化成本,从而得出一种新的排列不变度量,即结构感知最优传输距离。我们提出的两阶段 RGB-IR G-ReID 系统耦合了 SAOT 和 MATB,相继在成员和群组层面解决联合挑战,以实现鲁棒的、模态不变的群组匹配。MATB 和 SAOT 是互补的:MATB 提高了个体跨模态特征的可靠性,而 SAOT 使用这些细化后的特征在布局和成员变化下执行结构感知的群组匹配。
本研究的主要贡献总结如下:
•我们提出了一种两阶段、结构感知的战略框架,以解决 RGB-IR G-ReID 中独特的联合挑战,该框架有效解决了模态差距和显著的群组外观变化。
•我们引入了两个新颖组件:一种轻量级的模态感知调谐模块,它自适应地细化共享特征以减轻模态差异;以及一种新颖且高效的群组匹配方法,结构感知最优传输,它利用成员对之间的结构信息,有效解决了 RGB-IR G-ReID 中的群组外观和布局变化。
•我们在三个数据集(CM-Group、VVIG 和 CSG)上进行了广泛实验。我们的方法在 CM-Group 数据集上的 Rank-1 精度上以 12.88% 的显著优势超越了最先进的方法,并证明在推理速度上快了约三倍。
章节片段
群组重识别
群组重识别(G-ReID)最初由 Zheng 等人 [7] 提出,旨在跨非重叠摄像头视图匹配同一群人,可大致分为单模态和跨模态设置。早期工作主要集中在手工特征上。例如,一些方法使用协方差矩阵 [8] 来表示群组。然而,这些方法在处理布局和成员变化时表现不佳。大规模数据集的发布,例如
问题定义与模型概述
在本节中,我们旨在解决 RGB-IR G-ReID 问题,该问题旨在确定两幅群组图(分别在 RGB 和红外模态下捕获)是否属于同一组个体。设 GR={g1R,…,gnR} 代表在 RGB 模态下捕获的 n 幅个体图像的群组,而 GI={g1I,…,gmI} 代表在红外模态下捕获的 m 幅个体图像的群组。设 p(?) 为一个函数,返回给定图像的行人身份。遵循标准 G-ReID
实现细节
我们使用 PyTorch 实现该方法,并在 NVIDIA RTX3090Ti GPU 上训练。我们在所有实验中使用在 ImageNet [36] 上预训练的 ResNet-50 [35] 作为 MATB 中的共享骨干网络,其中去除了最后的下采样步幅。所有输入群组图均使用提供的边界框进行裁剪,并调整为 CM-Group 的 384 × 128 和其他数据集的 256 × 128。为了确保与 CPM [1] 的一致性,我们采用 MPANet [33] 作为特征提取器。
在训练阶段,标准数据
结论
在本文中,我们设计了一种新颖且有效的框架,以解决动态群组变化耦合显著模态差距的独特联合挑战。我们提出的模态感知调谐模块以最小的参数开销减轻了模态差异并增强了特征区分度。此外,我们利用个体和成对结构信息构建了一种新颖的群组相似度度量,用于跨模态群组匹配。值得注意的是,我们的工作提供了一个新的
CRediT 作者贡献声明
刘明宇:写作 – 审查与编辑,写作 – 原始草稿,可视化,验证,监督,资源,方法论,形式分析,数据整理。黄思涵:写作 – 原始草稿,可视化,验证,方法论,调查。李贵宇:写作 – 原始草稿,方法论,调查。张泉:写作 – 审查与编辑,写作 – 原始草稿,调查。党志生:写作 – 审查与编辑,写作 – 原始草稿,监督。胡剑方:
关于手稿准备过程中生成式 AI 和 AI 辅助技术的声明
在本工作的准备过程中,作者使用了 ChatGPT (OpenAI) 来辅助语言编辑和清晰度改进。使用该工具后,作者根据需要审查和修订了内容,并对已发表文章的内容承担全部责任。
竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系,这些利益或关系可能影响本论文中报告的工作。
刘明宇 | 黄思涵 | 李贵宇 | 张泉 | 党志生 | 胡剑方
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号