GGCN:结合生成网络(Generate Network)和卷积神经网络(Convolutional Neural Network)的步态识别技术
《Journal of Visual Communication and Image Representation》:GGCN: Gait Recognition with Generate Network and Convolutional Neural Network
【字体:
大
中
小
】
时间:2026年03月28日
来源:Journal of Visual Communication and Image Representation 3.1
编辑推荐:
步态识别模型GGCN结合生成网络与卷积神经网络,通过监督映射模块消除多种干扰因素,在CASIA-B、OULP、OUMVLP数据集上表现优于现有方法。
郝秦|陈振学|郭庆强|吴Q.M.乔纳森|卢梦旭
山东大学控制科学与工程学院,济南250061,中国
摘要
步态识别是一种具有广泛应用前景的生物识别技术,但它容易受到各种协变量的影响,因此需要步态识别模型具有鲁棒性。在本文中,我们设计了一种名为GGCN(结合生成网络和卷积神经网络的步态识别模型),该模型以多种类型的步态序列作为输入,并通过一个监督映射模块消除各种协变量的影响。GGCN通过三个步骤处理步态序列:首先使用生成网络提取低级特征并去除干扰产生的特征;然后,将低级特征输入到编码器网络中以获得高级特征;最后,将高级特征输入到特征映射网络中以获得更易识别的特征。在CASIA-B、OULP和OUMVLP数据集上的实验结果表明,我们的模型优于当前的最先进方法。
引言
近年来,基于生物特征的个人识别方法得到了广泛应用,例如面部识别、指纹识别和步态识别。步态识别通过人们的行走方式来识别个体[1]。与面部和指纹相比,步态可以在一定距离外获取,且不需要被识别者的配合。因此,步态识别不易被被识别者察觉,在监控、安全、刑事调查等领域具有很大的发展潜力[2][3]。
然而,步态的主要信息来源是图像,而图像容易受到携带物品、视角和遮挡的影响。这些因素导致步态识别中的类内距离大于类间距离,从而限制了步态识别的准确性。在实际应用中,图像通常会受到不同程度的遮挡,而且捕捉无遮挡的行走序列的成本非常高。因此,处理带遮挡的图像是一个挑战。
目前有两种方法用于处理步态识别中的低质量图像:一种方法是提取不变特征,另一种方法是图像生成。提取不变特征的方法旨在通过深度学习提取与遮挡和视角无关的特征,然后使用这些特征进行识别。李等人[4]通过将步态能量图像(GEI)投影到不同的空间中,获得了迄今为止最具区分度的信息。他们提出的GSP-CRC方法具有较高的计算效率,并且对噪声和数据损坏具有很强的鲁棒性。邢等人[5]使用完全典型相关分析(C3A)方法提取了各种步态序列的共性特征。赵等人[6]将步态序列视为一个无序集合,并通过SP模块将序列中所有帧的特征图聚合为一个特征图。图像生成的方法是利用生成对抗网络(GAN)等网络生成新图像来映射低质量图像。映射后,得到伪造的正常图像并与真实正常图像进行比较以完成识别。薛等人[7]提出了Frame-GAN来减少相邻帧之间的差距,从而提高了步态视频的帧率。王等人[8]使用双流生成对抗网络(TS-GAN)将图像从任何视角映射到标准视角。古普塔[9]使用姿态能量图像(PEI)作为GAN的输入,以避免训练过程中的输入输出不匹配问题。余等人[10]使用两个判别器来监督GAN的训练,一个确保生成图像的真实性,另一个确保生成图像包含与源图像相关的有效信息。为了避免数据缺失的问题,陈等人[11]提出了多视图步态生成对抗网络(MvGGAN),该网络可以在不同数据集之间进行训练。MvGGAN扩展了现有的数据集,大大提高了步态识别的准确性。
作为图像生成方法的代表,GAN促进了步态识别的发展。然而,由于行走时腿部和手臂的摆动,步态序列中每一帧的图像变化很大,因此在实践中几乎不可能获得两个匹配的图像作为GAN的输入。同时,生成网络在步态识别中的最终训练效果是通过识别准确性来评判的,但GAN的训练和识别网络的训练分为两个步骤,这使得调整模型变得困难。受GAN及其问题的启发,我们提出了一个名为GGCN的模型。
在GGCN中,生成网络和识别网络是同时训练的。也就是说,GGCN是一个端到端的网络。如图1所示,部分(a)代表了GAN用于步态识别的传统步骤[7][8][9][10][11][12][13]。首先,手动选择源图像和目标图像来训练GAN;然后,将低质量图像或多视图图像输入到训练好的GAN中以生成高质量图像或固定视角图像;最后,将生成的图像作为数据集的一部分输入到识别网络中进行识别。部分(b)表示GGCN的训练步骤。首先,同时将“源”图像和“目标”图像输入到生成网络中;我们使用一个监督映射模块作为生成器。然后,将映射模块输出的特征图作为识别网络的输入。与之前的工作相比,GGCN更加鲁棒、简单且易于调整。GGCN的框架如图2所示,详细内容在第3节中描述。之前的方法是将所有不同质量的步态序列输入到相同的特征提取路径中,完全依赖于神经网络的自主学习能力来提取不变特征。相比之下,通过使用多个生成网络从不同质量的步态序列中提取特征,我们的方法更具合理性和可解释性。
在步态识别的实际应用中,很难获得多个理想的步态序列,通常会得到几个图像质量不同的步态序列。基于此,我们将GGCN设置为多输入模型。即使只获得了一个实际序列,我们也可以通过手动添加干扰来获得新的序列以满足GGCN的输入要求。常用的步态数据集包括CASIA-B、OULP和OUMVLP,其中只有CASIA-B包含多种状态的步态序列,而OULP和OUMVLP的状态相对单一。我们在原始数据集和添加了干扰的扩展数据集上进行了实验。实验结果和分析在第4节中描述。
总的来说,我们工作的贡献主要有以下几点:
- 我们提出了一个名为GGCN的端到端模型,可用于步态识别。
- 我们将多种类型的步态序列输入到模型中,通过简单的生成网络增强模型的鲁棒性并减少协变量的影响。
- 我们重新组织和扩展了OULP和OUMVLP数据集。
- 我们的模型在CASIA-B[14]、OULP[15]和OUMVLP[16]数据集上表现良好。实验数据显示,我们的模型不仅在固定数据集上表现良好,而且在具有随机干扰的数据集上也具有高准确性。
相关文献
相关工作
在本节中,我们将简要介绍步态识别、生成对抗网络和特征分割方法。
方法
在本节中,我们首先介绍GGCN的总体描述以及GGCN中每个子模块的详细操作。然后,我们介绍我们的优化目标。最后,我们介绍模型的训练和测试方法。整个流程如图2所示。
实验
在本节中,我们在几个公共步态数据集上评估了所提出的方法:CASIA-B、OULP和OUMVLP。我们将介绍数据集的详细信息和参数选择,并将我们的方法与最先进的方法进行比较。然后,通过消融实验验证每个子模块的有效性。最后,讨论了三种损失函数对模型的影响。
结论
在本文中,我们提出了一种结合生成网络和卷积神经网络的步态识别方法,并设计了一个名为GGCN的步态识别模型。GGCN的灵感来源于GAN,它通过神经网络自动完成了生成网络和识别网络之间的耦合,并且与使用GAN的现有方法相比,可以更直观地调整模型。与传统方法不同,我们模型中生成网络的输出是
CRediT作者贡献声明
郝秦:撰写——原始草稿。陈振学:项目管理。郭庆强:项目管理。吴Q.M.乔纳森:撰写——审阅与编辑。卢梦旭:形式分析。
致谢
本工作部分得到了山东省重点研发项目(2022CXGC010503)、国家重点研发计划(2019YFB1311000)和国家自然科学基金(61876099)的支持。郝秦和陈振学对这项工作的贡献相等,应被视为共同第一作者。
郝秦1998年出生于中国山东。2020年,他获得了山东大学控制科学与工程学院的自动化学士学位。他目前正在山东大学控制科学与工程学院攻读控制科学与工程的硕士学位。他的研究兴趣包括机器学习、深度学习和步态识别。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号