《Biomedical Signal Processing and Control》:Projection graph convolution and variable-granularity feature shuffling with spatiotemporally separated feature enhancement: A lightweight 3D GCN for human action recognition
编辑推荐:
•有效降低3D图卷积操作的计算开销•将运动特征解耦为时间和空间两个流以进行增强•在边缘设备上的实验验证了所提出方法的性能优势。引言与基于RGB的人体动作识别方法相比,基于骨骼数据的方法在复杂环境中表现出更强的泛化能力,这是由于其对背景、照明和服装变化的鲁棒性更强,以及能够准确表示
- •
有效降低3D图卷积操作的计算开销
- •
将运动特征解耦为时间和空间两个流以进行增强
- •
在边缘设备上的实验验证了所提出方法的性能优势。
引言
与基于RGB的人体动作识别方法相比,基于骨骼数据的方法在复杂环境中表现出更强的泛化能力,这是由于其对背景、照明和服装变化的鲁棒性更强,以及能够准确表示人体姿态和运动。早期研究应用RNN和CNN来建模骨骼关节序列的时间和空间方面;然而,这些方法难以处理非欧几里得图结构,无法有效捕捉关节之间的拓扑关系。随后,GCN被引入用于骨骼序列建模,并取得了显著的成功。后来,GCN从处理2D姿态发展到处理3D空间数据,以提高分类性能。除了基于骨骼的识别之外,相关研究还探索了姿态感知表示学习、多粒度图建模和时空特征建模([1]、[2]、[3])。尽管这些方法提高了准确性,但它们通常会显著增加模型复杂性,导致较高的计算成本([4])。
相比之下,对于现实世界中的人体动作识别任务,边缘部署具有低延迟、数据隐私、带宽节省和离线鲁棒性等优点,在医疗康复和人机交互等场景中具有重要的应用价值。然而,3D GCN的高计算资源消耗严重限制了它们在资源受限的平台上(如边缘设备和移动终端)的部署([5])。最近在相关视觉和图学习任务中的研究还探讨了细粒度结构感知、跨模态表示细化以及动态图卷积,用于建模复杂的依赖关系([6]、[7]、[8])。本研究的目标是解决高性能模型与其轻量级应用需求之间的矛盾。具体而言,我们提出了轻量级的替代方案,取代了资源密集型的3D图卷积和时空特征提取机制,从而在保持有效人体运动表示的同时减少模型的参数数量和计算成本。本研究的主要贡献如下:
(1) 设计了一种结合投影图卷积和变粒度特征洗牌的机制,以替代完整的3D图卷积操作。这种组合机制不仅降低了运动姿态特征提取的计算复杂度,还保持了对人体运动中骨骼关节之间时空依赖性的敏感性,使得模型能够用少量的参数捕获具有区分性的空间拓扑表示。
(2) 提出了一种时空分离的特征增强策略。将时间和空间信息耦合的机制易于实现,但需要大量的参数和计算来完成数据学习。为了解决这个问题,我们首先将由图卷积操作生成的姿态特征张量序列分解为时间和空间维度。然后,我们计算连续帧中相同关节的特征矩阵以及运动过程中不同关节之间的结构依赖性。最后,使用多尺度时空卷积融合这两种特征流的连接结果,以实现时空特征混合。
(3) 除了在两个大规模公共数据集(NTU RGB+D 60和NTU RGB+D 120)上验证和分析所提出算法的全面性能外,我们还在Jetson Xavier NX上使用NW-UCLA数据集对网络在边缘计算设备上的性能进行了实际测试。这些实验实际评估了所提出方法和比较算法在计算能力和存储资源有限的硬件环境中的具体性能。
总体而言,VGST-PGCN将投影图卷积、变粒度特征洗牌和时空分离的特征增强集成到一个统一的轻量级框架中,通过降低计算成本同时保持有效的时空表示,区别于传统的基于完整3D图卷积的方法。与最近的基于GCN的方法相比,VGST-PGCN更注重平衡识别精度、模型复杂性和实际边缘设备部署。
部分片段
基于RNN和CNN的人体动作识别方法
循环神经网络(RNN)是最早应用于建模人体骨骼序列数据中时间和空间特征的深度学习模型之一。例如,ARRN-LSTM([9])是一种基于注意力的循环关系网络,它通过引入循环关系网络来学习单个骨骼的空间特征,然后利用多层LSTM来学习骨骼序列的时间特征以进行动作识别。同样,Two-stream RNN([10])
方法论
在这项研究中,我们设计了一种基于投影图卷积网络、变粒度特征洗牌和时空分离特征增强的轻量级3D GCN架构,即VGST-PGCN。如图1所示,我们提出将投影图卷积与变粒度特征洗牌结合起来,以替代全连接3D图卷积操作,用于基本运动模式特征提取,同时降低计算复杂度
数据集描述
(1) NTU RGB+D 60(NTU60)([44])是人体动作识别实验中最常用的数据集之一,包含60个动作类别和56,880个视频样本。它提供了两种标准的评估协议:跨主体(x-sub)和跨视图(x-view)。在这项研究中,NTU60用于在其标准基准协议下评估识别精度、模型大小和计算复杂性。
(2) NTU RGB+D 120(NTU120)([45])是NTU60的扩展版本,增加了样本数量
结论
针对基于图卷积网络(GCN)的现有人体动作识别方法中的常见问题,如高模型复杂性和过高的计算资源消耗,本研究提出了一种轻量级的动作识别方法。具体来说,在空间特征提取阶段,采用了投影卷积结合变粒度特征洗牌的方法,这不仅显著降低了计算负担,还使模型
CRediT作者贡献声明
Hao Chen:监督、项目管理、资金获取、概念化。Dengfei Zhi:写作 - 审稿和编辑、可视化、验证、软件、方法论、调查、形式分析。Xiaoying Pan:监督、方法论、概念化。
伦理批准声明
由于本研究仅使用了公开可用的基准数据集,因此不需要伦理批准。没有招募人类参与者,作者也没有收集新的个人数据。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究由陕西省重点研究与发展项目(2022GY-315)、秦创圆“科学家+工程师”团队建设项目(2024QCY-KXJ-200)和西安大数据与智能计算重点实验室资助。
Hao Chen|Dengfei Zhi|Xiaoying Pan