《Biomedical Signal Processing and Control》:Lite-MSTFNet: A lightweight sEMG gesture recognition network BASED on multi-scale spatiotemporal fusion and dynamic gated attention
编辑推荐:
•Lite-MSTFNet采用多尺度融合与动态门控注意力机制,实现轻量化架构。•多尺度时空融合提升了高效的特征表示能力。•动态注意力机制与轻量化网格搜索增强了跨被试鲁棒性。引言表面肌电信号(sEMG)是一种非侵入式生物电信号,通过放置在皮肤表面的电极采集,反映了骨骼肌运动单位
- •
Lite-MSTFNet采用多尺度融合与动态门控注意力机制,实现轻量化架构。
- •
多尺度时空融合提升了高效的特征表示能力。
- •
动态注意力机制与轻量化网格搜索增强了跨被试鲁棒性。
引言
表面肌电信号(sEMG)是一种非侵入式生物电信号,通过放置在皮肤表面的电极采集,反映了骨骼肌运动单位的累积动作电位[1]。此外,根据用于记录肌电信号的电极放置位置的不同,可将其分为肌内肌电图(iEMG)或表面肌电图(sEMG)[2]。与iEMG相比[3],sEMG具有多项优势,包括易于应用、非侵入性以及高时间分辨率[4]。这些特性使sEMG特别适合长期动态监测,并在人机交互(HCI)[5]、智能假肢控制[6]和康复工程[7]等领域展现出巨大潜力。
传统的sEMG手势识别方法主要依赖于人工特征提取和浅层分类器[8]。研究人员通常从时间域和频率域两个域中提取特征,采用的方法包括均方根值(RMS)[9]、短时傅里叶变换(STFT)[10]和中值频率(MF)[11]。常用的分类器包括线性判别分析(LDA)[12]、k近邻(KNN)[13]、支持向量机(SVM)[14]、人工神经网络(ANN)[15]和随机森林(RF)[16]。虽然这些方法具有较高的计算效率[17],但依赖人工构造的特征限制了其充分利用多通道sEMG信号中固有的复杂时空依赖关系的能力。
近年来,深度学习凭借其端到端学习能力,自动化了传统上劳动密集型的特征工程过程,已成为sEMG手势识别领域的主导方法。它被认为是一种复杂的学习结构,常被称为"黑箱"[18]。卷积神经网络(CNN)可以有效地从sEMG信号中提取空间拓扑特征,通常将其视为图像进行处理[19]。循环神经网络(RNN)及其变体,如长短期记忆网络(LSTM)和门控循环单元(GRU),擅长建模sEMG数据中的时间动态[20]。时间卷积网络(TCN)作为一类新的时间序列模型,利用空洞因果卷积与残差连接实现时空特征的并行提取。混合模型,如CNN-LSTM[21]和CNN-Transformer架构[22],进一步增强了同时捕捉空间和时间信息的能力。值得注意的是,基于Transformer的模型由于其自注意力机制在捕捉全局依赖关系方面展现了强大潜力[23]。
然而,深度学习在sEMG手势识别中的实际应用仍面临若干关键挑战:(i) 深度模型固有的复杂性需要大量的计算资源进行实时推理,这与可穿戴设备和嵌入式假肢控制系统对低功耗和实时性能的要求直接冲突。(ii) 尽管已提出了各种轻量级深度学习架构,但其计算和内存需求通常仍超出低成本、低功耗微控制器(MCU)的硬件限制。这严重阻碍了高精度、低延迟嵌入式系统在假肢和可穿戴设备等资源受限的边缘设备上的部署,构成了一个持续且关键的工程挑战。(iii) sEMG信号具有低信噪比、显著非平稳性以及明显的个体差异等特征[24]。这些特性进一步增加了稳定建模的复杂性,阻碍了系统的鲁棒泛化,凸显了持续研究和优化的必要性。
为了更好地理解这些硬件约束,我们以ARM Cortex-M系列微控制器——特别是STM32F4系列——作为嵌入式sEMG手势识别的代表性目标平台。这些MCU由于功耗低且具有足够的处理能力来执行信号采集和基础控制任务,被广泛应用于可穿戴设备、智能假肢和医疗传感器中。典型的STM32F4器件提供256 KB至1 MB的Flash存储和64至256 KB的SRAM,最大时钟频率为180 MHz。这些内存限制对深度学习部署构成了根本性挑战:一个包含63万个参数(典型既往sEMG网络规模)的模型在FP32格式下需要约2.5 MB的权重存储空间,这一容量已经超出了入门级STM32F4 MCU的Flash存储能力。相比之下,我们的Lite-MSTFNet仅包含4.3K个参数,对应约17 KB的FP32权重存储——即使考虑操作系统开销、通信协议栈和中间激活缓冲区后,仍在256 KB的Flash预算范围内。因此,这一参数缩减并非任意设定,而是基于低成本MCU可量化的内存约束的有意设计选择,确保模型能够在资源受限的嵌入式平台上实际部署,同时不牺牲分类精度。
为应对上述挑战,本研究提出了一个端到端框架,用于在嵌入式设备上设计和部署面向sEMG手势识别的个性化深度神经网络。具体而言,我们提出了Lite-MSTFNet,一种新型轻量级多尺度时空融合网络,旨在充分利用sEMG信号中的复杂信息。Lite-MSTFNet利用并行多分支卷积捕获不同尺度上的时空耦合特征,从而增强模型的判别力和鲁棒性。此外,提出了一种动态门控注意力机制以自适应分配计算资源,其中门控激活根据输入特征的复杂程度进行实时校准。为将优化后的网络架构适配于不同个体的sEMG特征,我们引入了一种轻量级超参数网格搜索策略,以高效确定最优配置。为确保公平比较,我们在相同协议下重新实现了所有基线模型。实验结果表明,Lite-MSTFNet的平均准确率达到85.42%,比表现最强的重新实现基线模型TFN-FICFM(80.47%)高出4.95个百分点。此外,我们的模型在最佳被试上的准确率达到92.47%,展现了其在高性能个性化场景中的应用潜力。在效率方面,Lite-MSTFNet仅包含约4300个参数,远少于既往参数高效模型的63万个参数。计算代价为0.05百万次浮点运算(FLOPs),与最先进的(SOTA)方法相比降低了98.1%[25]。此外,它在嵌入式设备上展现了强大的实际部署潜力,实现了具有竞争力的单次推理延迟。本研究的主要贡献总结如下:
- •
我们提出了一个面向sEMG手势识别的端到端框架,集成了数据预处理、轻量级超参数网格搜索、模型训练和综合性能评估。
- •
我们设计了Lite-MSTFNet,一种具有动态门控注意力的轻量级网络架构,采用多尺度时空融合模块,在保持高计算效率的同时实现自适应特征提取。
- •
我们引入了一种针对被试间差异定制的轻量级超参数搜索策略,允许为不同用户高效定制模型配置。
- •
实验结果表明,所提框架在精度与效率之间取得了良好的平衡,使其成为资源受限嵌入式设备的理想候选方案。
本文其余部分组织如下:第2节综述相关文献;第3节介绍Lite-MSTFNet的模型架构和方法论;第4节详述实验设计并分析结果;最后,第5节总结全文并探讨未来研究方向。
章节摘要
基于CNN的sEMG手势识别模型
在基于sEMG的手势识别研究中,深度学习模型正朝着更高精度和更高轻量级效率的方向演进。当前方法主要基于CNN及其变体构建,通过多样化的架构设计提升识别性能。例如,Karnam等人[26]提出了EMGHandNet,将CNN与Bi-LSTM集成以实现端到端的时空特征融合。Chen等人[27]采用了一种迁移学习策略与特征共享方法
方法论
本研究提出了一种轻量级多尺度时空融合框架,命名为Lite-MSTFNet。如图1所示,该模型由五个核心组件构成:输入层、初始特征提取层、堆叠的多尺度时空融合模块(MSTFBlock)、动态门控注意力模块(DGAAttention)以及分类头。MSTFBlock用于捕获sEMG信号中固有的多尺度特征,而DGAAttention则根据输入特征的复杂程度自适应分配计算资源
数据准备
为评估模型在实际场景中的泛化能力,本实验采用公开可获取的Ninapro数据库[34]。该数据库被公认为sEMG研究领域的重要基准,包含10个子数据集,标记为DB[1–10]。研究纳入了来自67名健康个体和11名经桡切断肢者的多模态数据。信号类型包括sEMG、机械感知信号和关节运动信号
结论
本文提出了Lite-MSTFNet,一种面向sEMG手势识别的轻量级神经网络。该模型融合了三个关键设计要素:(i) 多尺度时空融合模块(MSTFBlock),通过核大小为3、5和7的并行深度可分离卷积捕获不同时间尺度上的肌肉活动模式;(ii) 动态门控注意力机制(DGAAttention),根据输入复杂度自适应分配计算资源
作者贡献声明
周诺:撰写——原稿,方法论。蒋亮:可视化。贾正格:可视化。魏德健:撰写——审阅与编辑,方法论。
致谢资助
本研究得到国家自然科学基金(批准号 82374620)和山东省自然科学基金(批准号 ZR2024MH193)资助。
利益冲突声明
作者声明不存在任何已知可能影响本文报告工作的竞争性经济利益或个人关系。
周诺|蒋亮|贾正格|魏德健