《Digital Signal Processing》:MDMamba: A CA-Mamba-Based Lightweight Network for Human Activity Recognition Using Micro-Doppler Spectrograms
编辑推荐:
摘要随着物联网(IoT)、医疗健康监测、智能家居系统和边缘智能感知应用的快速发展,准确高效的人体活动识别(HAR)变得越来越重要。从超宽带(UWB)雷达信号中提取的微多普勒(mD)谱图能够捕获人体目标运动特征,已被广泛应用于HAR。然而,现有的基于深度学习的方法往往涉及较高的
摘要
随着物联网(IoT)、医疗健康监测、智能家居系统和边缘智能感知应用的快速发展,准确高效的人体活动识别(HAR)变得越来越重要。从超宽带(UWB)雷达信号中提取的微多普勒(mD)谱图能够捕获人体目标运动特征,已被广泛应用于HAR。然而,现有的基于深度学习的方法往往涉及较高的计算复杂度和庞大的参数量。在本文中,我们提出了微多普勒Mamba(MDMamba),一个用于利用mD谱图进行HAR的轻量级CA-Mamba网络。通过将用于空间位置建模的坐标注意力(CA)机制与用于长程时序依赖学习的双向Mamba模块相结合,所提网络能够高效地捕捉mD谱图的时空特征。此外,我们设计了一个改进的、采用深度可分离卷积的分块嵌入模块,以增强分块之间的信息交互,同时显著降低计算开销。在我们自行采集的IR-UWB雷达数据集和公开的DIAT-μRadHAR数据集上的实验结果证明了所提方法的有效性和鲁棒性。在IR-UWB数据集上,MDMamba以仅1.23M参数和12.56M FLOPs实现了94.38%的准确率,在公开数据集上进一步达到97.76%的准确率。实验结果验证了所提CA-Mamba框架能够有效捕捉mD谱图的时空特征,同时在识别性能与计算效率之间保持了良好的平衡。
引言
近年来,人体活动识别(HAR)由于其广泛应用于健康监测、老年人护理、康复评估、智能家居系统、公共安全监控以及人机交互[[1], [2], [3]],受到了广泛关注。在各种传感方式中,雷达在HAR领域受到了较多关注[[4], [5], [6]]。与光学相机和可穿戴传感器相比,雷达提供了一种非接触式的感知方案,既能够保护用户隐私,又能够在不同环境条件下保持可靠的性能。因此,开发准确高效的基于雷达的HAR系统具有重要的现实意义。特别是,由于其带宽宽、距离分辨率高,超宽带(UWB)雷达已被广泛用于实现HAR任务[7],[8]。
在早期的基于雷达的HAR研究中,研究人员主要集中于利用时频分析技术从微多普勒(mD)谱图中提取手工设计特征,并使用传统机器学习算法进行分类[9]。虽然这些方法证明了可行性,但其性能高度依赖于人工设计特征,且在复杂场景中可能会下降。近年来,由于深度学习方法在从雷达数据中自动学习判别性表示方面具有强大能力,已被广泛应用于基于雷达的HAR[10]。卷积神经网络(CNN)因其能够有效地从mD谱图中提取局部空间模式,已被广泛研究用于基于雷达的HAR。循环神经网络(RNN)也被引入用于对人体的运动变化进行建模。然而,基于CNN的方法通常专注于局部特征提取,缺乏捕捉长程时序依赖的能力,而基于RNN的模型则受限于顺序计算和有限的并行效率。基于Transformer的架构[11],[12]由于其强大的全局建模能力,也被探索用于基于雷达的HAR。然而,自注意力机制的二次计算复杂度增加了计算负担,限制了其在资源受限的边缘设备上的部署。
最近,状态空间模型(SSM),特别是Mamba架构,由于其能够以线性计算复杂度捕捉长程依赖的能力而引起了广泛关注[13]。已有若干研究尝试将Mamba引入基于雷达的HAR并取得了一定成果。然而,现有的基于Mamba的HAR方法主要关注时序依赖建模,而嵌入在mD谱图中的空间位置信息仍未被充分利用。因此,有效地融合空间表示学习与高效时序建模仍然是基于雷达的HAR的一个挑战。在本文中,我们提出了MDMamba,一个轻量级双分支网络,通过整合坐标注意力(CA)[14]进行空间特征增强,并结合双向Mamba模块进行时序依赖建模,从而从mD谱图中提取互补的空间和时序表示。所提模型利用了空间与时序表示的互补特性,从而改善了特征学习并增强了识别性能。同时,它保持了较低的计算成本和紧凑的模型规模,在识别精度与计算效率之间取得了良好的平衡。
本文的主要贡献总结如下。
- 1)
提出了一种基于CA-Mamba的轻量级网络,称为MDMamba,用于利用mD谱图进行基于雷达的HAR。所提框架整合了CA机制和基于Mamba的状态空间建模,以实现识别性能与计算效率之间的有效平衡。
- 2)
设计了一种双分支CA-Mamba模块,以联合建模mD谱图的空间和时序特征。相较于主要关注时序建模的现有基于Mamba的HAR方法,该设计能够生成更具判别性的特征表示。
- 3)
开发了一种改进的、结合深度可分离卷积的分块嵌入模块,以增强分块之间的信息交互,从而在保持较低计算复杂度的同时,获得更具判别性的特征表示并提升分类精度。
- 4)
在自采集数据集和公开雷达HAR数据集上开展了大量实验以验证所提方法的有效性。结果表明,MDMamba相较于具有代表性的基于CNN、Transformer和Mamba的方法,在精度与效率之间取得了更好的权衡。
本文其余部分组织如下。第2节综述了相关工作并分析了现有方法的局限性。第3节描述了数据采集与信号处理方法。第4节概述了MDMamba的网络架构。第5节对识别结果进行了详细分析,并研究了架构参数对网络性能的影响。第6节讨论了局限性与未来工作。最后,第7节对全文进行总结。
各节摘要
相关工作
mD特征由人体不同部位的微小运动产生,为活动分类提供了判别性模式。Javier等[15]提出了一种基于线性预测编码(LPC)的方法,用于高效提取mD特征以分类七种不同的人体活动。Zabalza等[16]开发了一套实时HAR系统,该系统首先使用鲁棒主成分分析(RPCA)提取mD特征,随后使用支持向量机(SVM)进行分类。
数据采集
基于雷达的HAR的整体处理流程如图1所示。采用单入单出(SISO)脉冲雷达UWB(IR-UWB)雷达进行数据采集,随后应用短时傅里叶变换(STFT)以得到mD谱图。这些谱图随后通过分块嵌入模块转换为标记序列,并由MDMamba编码器进行处理,该编码器由一系列CA-Mamba模块组成。每个模块包含两个并行
整体架构
本节对提出的MDMamba网络进行详细描述。该网络由一个分块嵌入模块、一个MDMamba编码器以及一个预测头组成。mD谱图本身固有地编码了目标微动动力学特征的时间与空间特征。时间维度反映了运动状态随时间的演化,而空间维度则捕获了由细粒度身体运动引起的mD特征所对应的时间—频率分布结构。
实现细节
本研究中的所有实验均使用PyTorch在配备Intel(R) Xeon(R) Gold 6132 CPU和NVIDIA GeForce RTX 3090显卡的台式机上完成。网络使用AdamW优化器和交叉熵损失进行训练。初始学习率设为1e-4,并每隔20个epoch减半。训练过程最长持续120个epoch,若验证集准确率在连续20个epoch内无提升,则触发早停机制。卷积层
局限性与讨论
尽管所提出的MDMamba网络表现出令人满意的性能,但仍存在若干局限性有待进一步研究。
1) 尽管实验同时在自采集的IR-UWB雷达数据集和公开数据集上进行,但当前评估主要是在受控的实验条件下完成的。未来研究将探讨所提方法在更多样化的真实场景下的鲁棒性,包括不同的室内布局、雷达部署位置以及更多
结论
本文提出了MDMamba,一种基于CA-Mamba的轻量级网络,用于利用SISO IR-UWB雷达进行HAR。通过将CA机制的空间位置敏感性与Mamba的全局序列建模能力相结合,所提方法能够有效地从mD谱图中捕捉时空特征。在自采集的IR-UWB雷达数据集和公开的DIAT-μRadHAR数据集上的实验结果证明了所提方法的有效性和鲁棒性。所提方法
作者贡献声明
Lele Qu:验证、调查、资金获取、概念构思。
Jiaqi Cong:撰写——初稿、验证、概念构思。
Tianhong Yang:可视化、验证、形式化分析。
Lili Zhang:验证、形式化分析。
Lele Qu|Jiaqi Cong|Tianhong Yang|Lili Zhang