《Neurocomputing》:DMANet: A domain-prior driven multi-level alignment network for visible-infrared person re-identification
编辑推荐:
陶泽|高兆泽|崔天茂|李浩伟|季浩斌|张健|张世超中南大学计算机科学与工程学院,中国湖南长沙410083摘要可见光-红外人物重识别(VI-ReID)是一项对于公共安全和智能交通等全天候应用至关重要的跨模态任务。然而,可见光图像与红外图像之间的巨大模态差异给特征对齐带来了重大挑战。
陶泽|高兆泽|崔天茂|李浩伟|季浩斌|张健|张世超
中南大学计算机科学与工程学院,中国湖南长沙410083
摘要
可见光-红外人物重识别(VI-ReID)是一项对于公共安全和智能交通等全天候应用至关重要的跨模态任务。然而,可见光图像与红外图像之间的巨大模态差异给特征对齐带来了重大挑战。现有方法通常严重依赖任务特定的监督数据,而忽视了模态信息,导致跨模态语义一致性较低,性能受限。为了解决这些问题,我们提出了基于领域先验的多级对齐网络(DMANet),该网络将模态领域先验信息纳入模型中。这种方法引入了多级监督信号,超越了任务标签,以增强语义对齐。具体而言,在对齐过程中,DMANet采用了一个双分支特征提取器:一个分支整合了几何结构、纹理模式和对比度线索,以学习跨模态共享特征并在统一的表示空间中进行有效对齐;另一个分支通过成像系统之间的内在等价性和跨模态变换来表征模态特定特征,提供额外的监督信息。通过这两个分支的交互,模型充分揭示并利用了模态的异质性和共性,从而提高了VI-ReID的性能。在SYSU-MM01、LLCM和RegDB等基准测试上的广泛实验表明,DMANet在Rank-1准确率和mAP方面始终优于最先进的方法,尤其是在模态差异较大和光照条件具有挑战性的情况下。代码可在以下链接获取:
https://github.com/lambett/DMANet。
引言
近年来,随着深度学习应用的广泛部署[2]、[13]、[14]、[48]、[61]、[63],对可靠、连续的重识别(ReID)方法的需求日益迫切[53]。为满足这一需求,城市监控系统越来越多地配备了双模态相机,这些相机可以根据环境光照条件在可见光和红外成像模式之间动态切换。这使得在白天和夜晚都能一致地获取行人图像。在这种背景下,VI-ReID作为一种关键解决方案应运而生,它通过实现跨模态的稳健身份匹配,扩展了传统的单模态ReID方法[27]。
当前的VI-ReID研究大致可以分为图像级和特征级方法。图像级方法旨在通过使用模态转换[41]、[51]、[54]或模态融合[4]、[9]、[10]、[22]在像素级别减少模态差异。模态转换将图像从一种模态转换为另一种模态(例如,从红外转换为可见光),以最小化视觉领域的差异,而模态融合则通过整合两种模态的互补信息来合成混合图像。虽然这些方法有助于弥合光谱差异,但它们在转换或融合过程中往往会引入伪影或模态特定的噪声,从而影响识别性能。相比之下,特征级方法侧重于通过提取具有模态意识的嵌入来学习语义特征表示,通常使用多个特征提取器分别处理可见光和红外输入[36]、[38]、[50]。这些方法将两种模态的特征投影到一个共享空间中进行对齐,但它们往往只关注共享特征的学习,而忽略了模态特定信息。这种忽视导致在复杂现实世界场景中的性能不稳定。
尽管VI-ReID取得了显著进展,但有效解决可见光图像与红外图像之间的巨大模态差异仍然是一个主要挑战。大多数现有方法在VI-ReID任务中严重依赖身份分类损失来刚性指导共享特征空间的对齐。然而,在实践中,这样的对齐特征没有真实标签,仅靠任务监督不足以驱动学习既具有模态共享性又具有模态特定性的深度表示。此外,虽然将模态共享特征嵌入到统一空间中可能有助于减少模态差异,但这往往以丢弃关键的身份感知线索为代价,例如可见光图像中的纹理和颜色细节或红外图像中的热辐射结构。因此,构建一个同时保留模态异质性和共性的额外对齐监督机制对于提高VI-ReID中的跨模态语义一致性至关重要。
为了解决上述挑战,我们提出了DMANet,这是一种在充分利用多级监督的同时进行特征对齐的VI-ReID方法,以增强跨模态语义一致性。DMANet采用了一个双分支特征提取器,明确地将模态共享特征与模态特定特征分开,从而减轻了跨模态干扰,同时保留了每种模态固有的身份区分线索。在模态共享特征分支中,我们嵌入了一组在行人图像中常见的领域先验,如几何结构、纹理模式和前景与背景的对比度特征。这些先验通过一级监督损失嵌入到学习过程中,指导网络在属性-语义层面对齐特征。在模态特定特征分支中,我们将特征对齐概念化为与跨模态图像变换功能等价。基于这一假设,我们引入了一个伪感知约束,模拟这种变换,将对齐后的特征空间视为两种模态的语义丰富代理。这种先验作为监督,减少了了对任务特定损失信号的过度依赖。为了更好地平衡两个分支,DMANet根据每个样本自适应调整模态共享分支和模态特定分支的权重,并构建了一个跨分支知识蒸馏损失。我们的贡献可以总结为:
•强调了在VI-ReID中过度依赖身份分类损失的局限性,这限制了网络学习准确语义表示的能力,并降低了其在弥合可见光-红外模态差异方面的有效性。
•提出了简单而有效的DMANet方法,用于在VI-ReID中构建多级监督。它结合了多级监督和领域先验,如几何结构、纹理模式和对比度特征,以生成从观察到的视觉模式到潜在表示的稳健映射。
•引入了一个自监督模块来处理没有真实标签对应关系的特征对齐,利用在领域不可知先验下的感知-成像过程,该过程认为成像响应对变换是等变的。
•广泛的实验表明,所提出的框架在各种评估设置中都具有鲁棒性,并且在多种场景下始终优于最先进的方法。
章节片段
领域先验建模
领域先验建模利用了对行人结构和模态特定成像特征的先验知识来指导表示学习[24]、[25]、[57]、[60]。最近的研究表明,将物理可解释的视觉线索(如轮廓、几何形状和区域对比度)嵌入到深度学习框架中,可以有效弥合数据驱动和模型驱动范式之间的差距,从而提高跨模态对齐效果。例如,Jiang等人[19]
方法论
我们首先阐述问题并概述框架。然后,我们详细介绍了双分支特征提取器,包括领域先验嵌入、伪感知和协作邻居学习模块。最后,我们介绍了DMANet的总体损失函数。
实验
在本节中,我们进行了广泛的实验,以验证所提出的DMANet在从可见光和红外模态中提取共享表示方面的有效性。
结论
在这项工作中,我们提出了DMANet,以解决VI-ReID这一对全天候应用(如公共安全和智能交通)至关重要的跨模态匹配任务所固有的挑战。我们的方法采用了一个双流架构,其中一个分支捕获低级别的模态特定细节,另一个分支提取高级别的共享语义表示。通过结合来自成像系统的物理先验(如照明模式和光谱
CRediT作者贡献声明
陶泽:撰写——原始草稿,方法论。高兆泽:撰写——原始草稿,方法论,调查,形式分析。崔天茂:形式分析,数据管理。李浩伟:可视化,数据管理,概念化。季浩斌:可视化,验证,概念化。张健:撰写——审阅与编辑,监督,资金获取。张世超:撰写——审阅与编辑,监督,项目管理。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国自然科学基金(项目编号62472446)和湖南省自然科学基金(2024JJ5445)以及湖南省研究生科学研究创新项目(CX20230107)的支持。
陶泽于2022年在中国长沙的中南大学获得计算机科学与技术硕士学位,目前他正在攻读计算机科学与工程博士学位。他的研究兴趣包括领域泛化、知识图谱嵌入和知识蒸馏。他曾担任国际期刊/会议论文集的程序委员会成员和审稿人。