DST-Net:一种闭环双流变换器,结合身份引导的视频抠图技术,用于可见光和红外图像中的人体重新识别
《Neurocomputing》:DST-Net: A closed-loop dual-stream transformer with identity-guided video matting for visible–infrared person re-identification
【字体:
大
中
小
】
时间:2026年04月06日
来源:Neurocomputing 6.5
编辑推荐:
双流Transformer框架DST-Net解决可见光-红外ReID跨模态差异与时空干扰,结合多因素图优化与三重掩码损失,提出时空结构化matting生成 temporally consistent foreground alpha mattes,构建闭环检测- matting-识别流程,在自建NPU-ReID等数据集上Rank-1达94.41%,实时32.95 fps。
作者:朱彦泽、王玉萌、范荣波、张军、杨建华
西北工业大学自动化学院,中国西安
摘要
在现实世界的监控视频中,可见光-红外人重识别仍然面临挑战,这些挑战源于光谱引起的视觉差异、杂乱的背景以及时间变化。本文提出了一种双流Transformer框架DST-Net,用于学习特定模态和跨模态共享的表示,以实现有效的跨模态对齐。双向交叉注意力用于在可见光和红外流之间交换互补线索,多因素图优化用于确保特征的拓扑一致性,多掩码三元组策略用于强调与前景相关的信息。此外,还引入了时间结构化抠图技术,以生成时间一致的前景alpha遮罩,从而实现闭环的检测-抠图-识别流程,提高识别的鲁棒性。我们还发布了一个大规模的监控风格基准数据集NPU-ReID,该数据集由八个摄像头同步采集的RGB和红外图像组成。在SYSU-MM01数据集上,DST-Net的Rank-1准确率达到84.16%,mAP达到79.63%;在RegDB数据集上,Rank-1准确率达到92.07%,mAP达到86.02%;在NPU-ReID数据集上,Rank-1准确率达到94.41%,mAP达到84.92%。在实际的多摄像头测试中,平均处理速度为32.95帧/秒,检测准确率为97%,Rank-5识别准确率为97%。数据集及相关资源可访问于:
https://github.com/YzZhu07/NPU-ReID
引言
随着物质生活水平的提高和文化活动的增加,人们越来越倾向于参加大型夜间活动,如音乐会和展览。因此,在大型活动和城市环境中确保全天候的安全并维持公共安全变得尤为重要。然而,手动检查监控视频不仅效率低下,还容易因疲劳和注意力不集中而产生主观错误。人重识别(ReID)技术通过自动匹配多摄像头视图中的个体,从而以可扩展且高效的方式实现行人检索和身份查找,显著提升了现代安全监控系统的可靠性和智能化水平[1]。
近年来,可见光谱人重识别在公开可用的基准测试中取得了显著进展。例如,最先进的RGB-RGB模型在Market-1501数据集上的平均准确率已达到98.3%[2]。然而,在夜间或低光照条件下,基于RGB的方法性能会显著下降,而这在人口密集的安全场景中很常见。在这种情况下,光照变化、遮挡和视角变化会严重降低RGB图像的可靠性。为了解决这些问题,引入了红外(IR)成像作为补充模态,在光照不足时提供稳定的视觉信号[3][4]。IR相机能够清晰地捕捉人体形状和姿势,同时抑制RGB图像中固有的颜色和纹理噪声[5]。总体而言,基于VI-ReID的智能监控系统已成为大型活动安全管理以及24小时连续运行城市环境安全保障不可或缺的组成部分[6]。
目前,尽管视觉-语言大模型的发展取得了进展,但在实际环境中,RGB-IR人重识别仍存在较大的模态差异,难以在特征空间内直接建立共享约束[7][8]。此外,许多现有方法忽视了特定模态和跨模态共享表示的互补性,从而限制了学习到的跨模态特征的区分能力[9]。在数据集层面,广泛使用的基准数据集(如RegDB[10]和SYSU-MM01[11])存在样本量有限、模态分布不平衡以及视角多样性不足的问题,无法充分捕捉现实安全场景中的变化性。
为了解决这些限制,红外成像越来越多地被用作补充模态,在低光照或夜间监控条件下提供稳定的视觉线索。在图像层面,刘等人[12]将可见光图像转换为灰度域以减少光谱差异,而王等人[13]使用对抗生成网络合成跨模态配对图像。然而,这些方法往往会产生累积的伪影,可能妨碍区分性表示的学习。特征级方法则旨在对齐不同模态之间的语义嵌入空间,吴等人[14]引入了模态缓解和对齐模块以改进特征提取。尽管这些方法有效,但通常忽略了多尺度语义线索和时间一致性,导致对人类结构信息的利用有限。
最近的研究表明,结合全局-局部Transformer架构可以同时捕捉整体语义和细节信息,从而在复杂的跨模态场景中提高鲁棒性[15][16][17]。多头自注意力机制支持跨身体区域的有效长距离依赖建模,Transformer固有的全局表示能力进一步促进了鲁棒和稳定的特征提取。现有的融合策略通常采用浅层操作(如特征拼接或通道重加权),这些操作不足以建立中级和高级语义特征之间的互补关系。这一限制降低了跨模态表示的区分能力[18][19][20][21]。此外,大多数当前研究集中在静态的图像级跨光谱对齐上,对视频级的时间一致性关注较少[22][23]。
为了解决上述挑战,本研究的主要贡献如下:
- •
设计了一个统一的跨模态NPU-ReID数据集,以克服样本量有限、模态不平衡和视角多样性不足等现有问题。
- •
采用双流Transformer架构(DST-Net),结合多因素图优化(MFGO)和多掩码三元组(MMT)损失,实现渐进式的结构和度量对齐,从而实现鲁棒的多级语义融合。
- •
首次将多级时间结构化抠图(TISM)集成到跨模态ReID中,建立了新的语义引导-特征反馈优化循环。
- •
在新提出的NPU-ReID数据集和真实世界视频上的全面评估证实了该框架的明显性能提升和卓越的泛化能力。
方法片段
基于表示学习的ReID方法
传统的可见光-红外(VI)人重识别(ReID)方法基于卷积架构,通常依赖局部空间一致性和姿态引导的约束来减少跨模态差异;然而,它们在建模长距离跨模态依赖关系和捕捉全局上下文语义方面存在固有限制[24][25]。基于Transformer的方法可以通过多头自注意力明确捕捉全局语义相关性
数据采集
NPU-ReID数据集使用八个摄像头同步采集,包括四个红外(IR)摄像头和四个RGB摄像头。IR摄像头型号为DSIPC-B12V2-1,RGB摄像头型号为DS-2CD3T26WDV3-L。这两种设备具有相同的核心规格,包括200万像素的分辨率、4毫米的焦距和50米的红外照明/检测范围。视频采集持续七天,实现昼夜连续录制。所有流都以25帧/秒的速度捕获
整体框架
针对图3所示的真实视频监控场景,我们建立了一个闭环的可见光-红外(VI)人重识别流程,用于实际监控。具体来说,给定一个输入视频序列,系统首先采样包含目标人物的关键帧,并将它们输入端到端的跨模态检索框架DST-Net进行特征提取和对齐。DST-Net采用双流Transformer共同建模
实验设置
模型使用PyTorch实现,并在NVIDIA RTX 3090Ti GPU上训练,使用预训练的ImageNet模型作为骨干网络。训练采用随机梯度下降算法,动量为0.9,权重衰减为0.01,批量大小为8,每个小批量包含4个身份的4张图像(跨模态)。输入图像被调整大小
消融研究
本小节
结论
本文解决了可见光-红外人重识别中的两个基本挑战:跨模态差异以及背景杂乱和时间变化造成的干扰。为此,我们提出了一个统一框架,该框架结合了双流特征交互、拓扑感知的结构建模、掩码引导的度量学习和时间一致的前景净化。具体来说,DST-Net作为双分支Transformer骨干网络,DS-RAM和RMBA
CRediT作者贡献声明
朱彦泽:撰写初稿、项目管理、方法论、概念设计。王玉萌:撰写与编辑、可视化、软件开发、数据整理。范荣波:撰写与编辑、可视化、数据分析、数据整理。张军:撰写与编辑、监督、方法论、资金筹集。杨建华:监督、项目管理、资金筹集。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。
朱彦泽是中国西安西北工业大学控制科学与工程专业的博士生。他的研究兴趣包括多传感器融合以及机器人技术和监控应用中的优化方法。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号