GSCTN:基于图卷积与自注意力融合网络的骨骼步态识别新方法

《Intelligent Systems with Applications》:A GCN and Graph Self-attention Contemporary Network with Temporal Depthwise Convolutions for Gait Recognition

【字体: 大 中 小 】 时间:2026年01月02日 来源:Intelligent Systems with Applications 4.3

编辑推荐:

  本文针对骨骼步态识别中存在的时空特征提取不充分、关节间长程依赖关系建模困难等问题,提出了一种图卷积与自注意力融合网络(GSCTN)。该模型通过解耦自注意力(DSA)模块和深度多尺度时序卷积网络(DMS-TCN)分别优化空间关节关系建模和时序动态特征提取,并结合全局感知注意力(GAA)机制增强特征判别力。在CASIA-B、OUMVLP-Pose和GREW数据集上的实验表明,GSCTN在正常行走(NM#)、背包(BG#)和穿大衣(CL#)条件下均取得领先性能(如CASIA-B上NM#平均准确率达97.90%),显著提升了复杂场景下的步态识别鲁棒性,为生物特征识别提供了新思路。

  
步态作为一种独特的生物特征,因其远距离、非接触、难伪装等优势,在身份认证、安防监控、医疗康复等领域展现出巨大潜力。然而,现实场景中的步态识别仍面临诸多挑战:视角变化、着装改变、携带物品等外部因素会显著影响识别性能;而如何从动态的骨骼序列中有效提取具有判别力的时空特征,更是该领域的核心难题。传统方法多基于轮廓图像或手工设计特征,对背景、光照等因素敏感,且难以捕捉细微的个体运动模式差异。随着深度学习的兴起,尤其是图卷积网络(GCN)和自注意力机制的发展,基于骨骼关键点的步态识别方法逐渐成为研究热点。骨骼数据能更直接地反映人体的运动结构,对衣着、背景变化具有更强的鲁棒性。尽管如此,现有方法在建模关节间复杂的空间关系、捕捉长程依赖以及处理时序动态信息方面仍存在不足。例如,标准GCN依赖于预定义的骨骼拓扑结构,限制了其捕捉非局部关节交互的能力;而常规的时序卷积网络(TCN)在处理步态这类周期性、多尺度的运动模式时,可能无法充分捕获其平滑的时序演化特性。为了应对这些挑战,一项发表于《Intelligent Systems with Applications》的研究提出了一种名为GSCTN(Graph Convolution and Self-attention Contemporary Network with Temporal Convolution)的新型网络架构,旨在通过融合图卷积与自注意力机制,实现更鲁棒、更准确的骨骼步态识别。
为开展此项研究,研究人员主要采用了以下几项关键技术方法:首先,利用HRNet姿态估计算法从原始视频中提取2D人体骨骼关键点坐标及其置信度,并基于置信度阈值对低质量帧进行过滤,构建高质量的骨骼序列数据集(包括CASIA-B、OUMVLP-Pose和GREW)。其次,设计了多流输入策略,同时利用关节位置、关节运动向量和骨骼向量信息,以丰富输入特征。核心模型GSCTN包含三个关键模块:图卷积与解耦自注意力融合模块(GDSM)用于建模关节间的局部和全局空间依赖关系;深度多尺度时序卷积网络(DMS-TCN)采用深度可分离卷积替代膨胀卷积,以平滑地提取多尺度时序特征;全局感知注意力(GAA)模块则通过通道注意力机制增强判别性特征。最后,采用监督对比损失(Supervised Contrastive Loss)进行模型训练,以优化特征嵌入空间。
研究结果部分通过系统的实验验证了GSCTN模型的有效性。
模型架构有效性验证:研究首先在CASIA-B数据集上评估了GSCTN的整体性能。如表2和图17所示,GSCTN在正常行走(NM#)、背包(BG#)和穿大衣(CL#)
)三种条件下均取得了优异的识别准确率,平均分别达到97.90%、94.80%和91.91%。与Gait-D、GaitGraph2、GaitTR等现有先进方法相比(表6,图19),GSCTN在最具挑战性的CL#条件下优势尤为明显,表明其对于外观变化的强鲁棒性。此外,在不同视角下的性能分析(表3)以及方差分析(ANOVA)结果(表5)均证实,行走条件和相机视角是影响识别性能的两个独立且显著的因素,而GSCTN能够有效应对这些变化。
核心模块消融实验:为了探究各模块的贡献,研究进行了详细的消融实验。结果表明,将传统的多尺度时序卷积(MS-TCN)替换为提出的深度多尺度时序卷积(DMS-TCN)能带来显著的性能提升,特别是在处理步态的平滑时序动态方面,DMS-TCN避免了膨胀卷积可能造成的时间不连续性。同时,解耦自注意力(DSA)模块通过分离一元(Unary)和配对(Pairwise)注意力,有效缓解了标准自注意力中全局偏置与局部交互的耦合问题,从而更精准地刻画了关节间的相互关系。全局感知注意力(GAA)模块的引入则进一步通过重新校准通道特征响应,增强了模型的判别能力。模块的加权融合策略也被证明优于简单的拼接或求和操作。
数据处理与阈值分析:研究还分析了HRNet关节检测置信度阈值对性能的影响(图18)。发现设置适当的置信度阈值(如60%)过滤低质量帧,可以有效提升模型鲁棒性,但过高的阈值(如70%)会因丢失过多时序信息而导致性能下降,这为实际应用中的数据预处理提供了指导。
跨数据集泛化能力:为了评估模型的泛化能力,研究在更大规模且更具挑战性的OUMVLP-Pose和GREW数据集上进行了测试。在OUMVLP-Pose上,GSCTN在14个视角下均保持了高且稳定的识别精度(表4),其性能受视角变化的影响小于对比方法。在真实世界监控场景数据集GREW上,GSCTN同样展现了竞争优势(表7),证明了其在实际复杂环境下的适用性。
模型复杂度分析:研究还对GSCTN的模型复杂度进行了理论分析。通过比较DMS-TCN与标准MS-TCN的浮点运算数(FLOPs)和参数量,指出DMS-TCN通过深度可分离卷积和分支结构设计,在保持甚至提升性能的同时,实现了更高的计算效率。
综上所述,本研究提出的GSCTN模型通过创新性地融合图卷积、解耦自注意力和深度多尺度时序卷积,成功解决了骨骼步态识别中的关键挑战。其主要结论如下:1)GDSM模块能够同时捕捉关节间的局部结构关系和全局长程依赖,提供了比单一GCN或自注意力更丰富的空间特征表示。2)DMS-TCN模块通过深度可分离卷积和多分支设计,更有效地建模了步态的平滑、多尺度时序动态,克服了传统膨胀卷积的潜在缺陷。3)GAA模块和加权融合机制进一步优化了特征融合过程,提升了模型的判别力。4)在多个公开数据集上的广泛实验表明,GSCTN在应对视角变化、着装变化等复杂条件时,均表现出领先的识别精度和鲁棒性,显著推进了骨骼步态识别技术的发展。这项研究不仅为步态识别提供了一种强有力的新方法,其提出的模块设计思路(如解耦自注意力、深度多尺度时序建模)对于其他基于骨骼序列的动作识别、行为分析等任务也具有重要的借鉴意义。未来工作可探索模型在更细粒度步态分析(如病理步态识别)以及计算效率的进一步优化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号