《Biosensors》:A Biosignal-Driven Wearable System Integrating Surface Electromyography and Kinematics for Interpretable Upper-Limb Assessment
编辑推荐:
连续监测神经肌肉和运动学行为对于有效上肢康复至关重要。本研究提出一种生物信号驱动的腕戴式多模态传感系统,将离散12类功能性手势识别与运动偏差的探索性多模态物理阐释相结合。该平台集成用于宏观运动单位募集评估的表面肌电(sEMG)包络传感器、用于末端接触力调节评估
连续监测神经肌肉和运动学行为对于有效上肢康复至关重要。本研究提出一种生物信号驱动的腕戴式多模态传感系统,将离散12类功能性手势识别与运动偏差的探索性多模态物理阐释相结合。该平台集成用于宏观运动单位募集评估的表面肌电(sEMG)包络传感器、用于末端接触力调节评估的双力敏电阻(FSR)以及用于时空生物运动学评估的惯性测量单元(IMU)。来自20名健康成人(12,000个1秒试验,每个试验在100 Hz下包含100个同步时间点)的数据表明,一维卷积神经网络(1D-CNN)在受试者独立留一受试者交叉验证(LOSO)下达到81.23% ± 16.74%的准确率,捕捉自然个体间神经肌肉变异。对于数据集内基线比较,类别分层随机划分产生96.59%的宏F1分数。为弥合分类与临床解释之间的差距,研究人员实施多模态动态时间规整(DTW)流程。该方法成功识别对齐生物信号间的最大差异片段(Hotzones),从而在 gestures 执行期间对候选多模态物理偏差(sEMG包络与IMU/FSR运动学差异)进行定性可视化。通过从健康受试者建立手势特异性参考分布,这一低成本、低延迟物联网(IoT)生物传感器平台展示初步技术可行性。其为卒中幸存者的前瞻性临床验证奠定基础,旨在捕捉代偿机制并支持居家精准康复。
卒中后上肢和手损伤可限制抓握、伸指、腕运动、前臂旋转和物体操作。常规临床量表仍不可替代,但提供的是间歇观察,可能无法完整捕捉肌肉激活、运动 kinematics 和局部压力的时间过程。可穿戴传感与机器学习可通过记录可重复时间序列补充临床观察,支持居家或远程康复流程。功能运动执行源于神经肌肉驱动,表面肌电(sEMG)是捕捉运动意图和病理肌肉激活模式的重要生物信号;但仅依赖电生理信号不能量化 resultant 物理交互,单独惯性测量单元(IMU)可追踪空间位移却不能区分真实神经恢复与病理代偿运动。整合力敏电阻(FSR)接触传感和惯性运动学可为解释sEMG提供物理背景,建立内部神经驱动(sEMG)、空间轨迹执行(IMU)和远端接触力调节(FSR)之间的联系。既往多模态手势识别研究(Song et al.、Sarwat et al.、Colli Alfaro and Trejos、Zhang et al.、Rohr et al.)显示多模态生物信号融合价值,但跨用户泛化和佩戴条件变异仍是持续挑战;Gholamiangonabadi et al. 表明从常规交叉验证转为留一受试者交叉验证(LOSO)时模型性能可显著下降,因此数据集内随机划分性能与LOSO性能应分别报告。手势分类本身不能解释执行如何不同于参考运动;基于DTW的方法已用于评估上肢任务质量、比较康复手势、对齐不同执行速度序列和构建代表性时间序列模板,FastDTW提供适合交互分析的近似线性时间对齐方法。在无约束远程康复中,自动手势识别有三项操作目的:确认患者执行规定动作而非非预期动作、自动重复计数、将传入试验路由至手势特异规范模板进行DTW比较而无需人工记录。12个目标类别选自Fugl-Meyer上肢评估(FMA-UE)和Action Research Arm Test(ARAT)功能域,涵盖粗大手指屈伸(MF、ME)、抓握协同(HG、CG、SG)、精细操作(TA、O)、腕/前臂稳定(WE、WF、FP、FS)以及静息状态(NM)。本研究开发腕戴系统,集成1个sEMG通道、2个FSR通道和1个IMU,目标为构建同步多模态手势数据集、在9种传感器配置下比较卷积神经网络(CNN)和多层感知机(MLP)、评估样本级性能、配对模型差异、LOSO泛化和重戴稳定性,并开发可解释DTW工作流报告归一化距离、通道贡献和最大差异片段。由于所有参与者均为健康成人,该工作严格定位为工程概念验证和技术可行性研究,而非经验证的临床诊断评估;患者人群的前瞻性临床验证仍需建立诊断效能。其意义在于以低成本、低延迟物联网(IoT)平台展示初步技术可行性,为卒中幸存者前瞻性临床验证奠定基础,以捕捉代偿机制并支持居家精准康复。
关键技术方法:研究纳入20名健康成人(平均27.2 ± 4.27岁,范围20–35岁;18男2女;18右利手、2左利手;无手部相关病史;2026年1—5月左腕记录)。设备包括Grove EMG Detector、双FSR402、BNO055惯性传感器和ESP32-S3微控制器,经Wi-Fi TCP/IP传输;12类手势,每人每类50次,共600次/人、12,000个样本;每样本为100 × 9矩阵,统一100 Hz。评估9种传感器配置;采用MLP和1D-CNN;类别分层样本随机划分60%/20%/20%;20折LOSO;McNemar检验和受试者级Wilcoxon符号秩检验;FastDTW在ACC_Mag、GYR_Mag、EMG_Env、FSR
0、FSR
1五通道分析;20次受试者级留出构建手势特异参考分布;单受试者重戴后完成600次预测。
研究结果:3.1 随机划分分类性能:在2400样本随机测试集,完整多模态1D-CNN达96.58%准确率和96.59%宏F1分数,优于MLP(94.00%准确率、94.01%宏F1分数);1D-CNN利用局部感受野捕捉sEMG包络峰和FSR压力尖峰等瞬态生理现象。9种配置、10个随机种子消融显示,IMU+FSR配置(G3)宏F1分数略高于完整配置(G1),配对t检验平均差0.25个百分点,统计显著但边际;完整配置仍作为主平台,因为sEMG、压力和运动学整合对下游多维DTW解释必要。CNN参数约少8.2倍且估计前向计算成本更低,但各配置训练时间略长,原文归因于架构异质性和CUDA核启动,而非仅参数或浮点运算量。3.2 配对CNN–MLP比较:McNemar检验χ
2 = 31.5339,p = 1.96 × 10
?8,CNN显著优于MLP;受试者级20折LOSO配对Wilcoxon符号秩检验中,1D-CNN在20名参与者中的19名取得更高准确率,差异显著。3.3 受试者独立性能:LOSO下CNN为81.23% ± 16.74%,宏F1分数79.86% ± 17.88%;MLP为72.58% ± 15.59%;参与者准确率范围29.83%(Participant 18)至96.33%(Participant 15)。粗大前臂旋转和静息类泛化较好(NM 99.4%、FP 97.7%、FS 96.0%),手指精细操作跨受试退化(O 63.5%、HG 73.4%、TA 81.2%),原文归因于腕围和肌腱走行解剖变异改变sEMG包络与FSR负载动态。扩展基线比较中,1D-CNN在随机划分宏F1分数和LOSO准确率上最高,优于SVM、随机森林和Bi-LSTM。3.4 重戴性能:同一参与者重戴后600次预测总体95.8%,八类达100%;HG 82%、TA 88%、O 90%、MF 90%对重戴和执行变异更敏感。3.5 DTW量化与可视化:DTW模块严格作为数学公式和图形可视化框架,而非经验证诊断分类器;对齐减少时间错配并同步检查波形和视频帧,输出归一化DTW距离、通道贡献百分比和最大差异片段。扩展可视化序列采用路径长度归一化,示例未归一化累计距离315.80、归一化1.32。手势特异健康成人参考分布经20次受试者级留出嵌套交叉验证,总体独立通过率95.47%,低于各自前瞻性阈值;剩余4.53%反映个体解剖和执行变异,如P18因未缓解传感器阻抗或解剖差异基线通过率较低。模拟慢速和低幅试验中,运动学持续时间比超过1.0、峰值幅度调制低于1.0,量化延长执行时间和降低体力;但Hotzone定位准确性未对照独立临床或运动学参考定量验证,留待未来研究。
讨论部分总结:主要贡献是在紧凑腕戴系统中整合12类手势识别与可解释DTW运动差异量化;完整多模态CNN在配对随机测试中优于MLP且可训练参数更少,与一维卷积适合多通道可穿戴时间序列一致。随机划分96.58%至LOSO 81.23% ± 16.74%的下降突出个体间生物变异;核心生理因素是用固定工程缩放而非最大自主收缩(MVC)生理归一化。临床肌电中MVC归一化补偿肌肉质量、皮下脂肪厚度、皮肤-电极阻抗和传感器位置差异;为模拟零校准居家部署绕过MVC,系统将未缓解生物变异吸收进数据,导致未见受试者域偏移,未来需平衡零校准可用性与个性化基线归一化生物保真度。单参与者(N = 1)重戴95.8%仅为有限概念验证,不能建立统计跨会话可靠性或群体水平鲁棒性,未来需多参与者、重复完全移除重装、多天和留一会话分析。传感器配置比较需平衡临床解释:健康成人离散手势分类中IMU和FSR提供足够边界分离,多随机种子宏F1分数相当或略高于完整配置;作者有意接受轻微分类权衡,因sEMG主要效用在于识别独立于物理运动的生理努力。严重瘫痪偏瘫患者运动学传感器常记录零位移,sEMG可检测尝试收缩和残余神经驱动;模拟低幅运动视觉上显示瞬态sEMG爆发与衰减运动学轨迹,提供候选假设:多模态传感概念上可辅助区分受限运动学执行与缺乏自主驱动(如弛缓性瘫痪),但确认真正神经肌肉完整性需临床人群前瞻性肌电校准。DTW工作流扩展分类,识别何时和通过哪个传感通道评估运动与参考不同;手势特异参考分布优于单一全局阈值,因内在变异性因手势而异;但健康成人分布是参考分布而非诊断阈值,其与损伤严重度、代偿运动、痉挛或功能恢复关系未知。多模态对齐解释方面,同步FastDTW沿时间对齐路径突出假设失败模式和候选生物力学相关物:sEMG包络异常可提供代偿运动单位募集、延长放电或拮抗共收缩候选代理,幅度衰减可作为募集不足假设;ACC_Mag和GYR_Mag中加速度变平反映运动减慢或关节活动受限,因IMU腕戴,区分速度损失源于腕固有轻瘫还是近端肩/躯干代偿需前瞻性全身运动学追踪;FSR
0和FSR
1不一致压力峰揭示物理耦合改变和接触稳定延迟,反映界面力学动态而非直接机械感受神经生理。作者强调这些解释是需独立临床验证的候选机制,当前独立测量不能确定证明异常神经驱动,单通道sEMG不能隔离单运动单位放电率或深部肌肉协同。局限包括:参与者为年轻健康成人且性别偏斜(18男2女),仅左手;性别和更广临床队列中皮下脂肪、前臂肌肉横截面积和腕围变异可能改变sEMG信噪比和FSR界面耦合;LOSO强调零校准下受试者独立泛化挑战;重戴仅单受试者初步概念验证;Grove EMG Detector和100 Hz采样适合宏观激活包络而非全带宽运动单位动作电位分解;FSR捕获相对接触负载而非校准绝对力值;分段试验采集用惯性阈值触发主动运动、命令驱动旁路静息基线,连续居家监测需部署双阈值条件以捕获纯等长收缩;消融重复10个随机种子,但LOSO每折单确定性种子,长期多天追踪待评估;故意改变测试手势由健康成人执行,不代表真实卒中神经病理;DTW Hotzone缺乏定量验证,需未来临床试验严格验证后才能可靠用于诊断评估。
研究结论翻译:本研究成功开发一种生物信号驱动的腕戴式多模态传感系统,集成sEMG、相对压力(FSR)和惯性(IMU)传感器,用于上肢手势识别和探索性多模态物理阐释。时间感知1D-CNN有效捕捉宏观神经肌肉和运动学特征,在样本级划分上达到96.59%宏F1分数。然而,相应LOSO交叉验证准确率81.23% ± 16.74%突出个体间生物变异固有挑战,尤其优先零校准(非MVC)居家部署设计时。超越离散分类,同步多模态DTW流程提供探索性多模态物理阐释层,提供瞬态运动学差异和信号偏差的说明性可视化。通过在健康成人建立手势特异参考分布,这一概念验证为可穿戴监测奠定技术基础,而临床疗效和真实病理相关性仍需在卒中队列中前瞻性验证。