《Big Data and Cognitive Computing》:Dual-Stream Transformer with Kalman-Based Sensor Fusion for Wearable Fall Detection
Abheek Pradhan,
Sana Alamgeer,
Rakesh Suvvari,
Syed Tousiful Haque and
Anne H. H. Ngu
编辑推荐:
可穿戴跌倒检测系统面临一个根本性挑战:虽然陀螺仪数据能提供有价值的姿态线索,但将原始陀螺仪和加速度计信号简单结合会因噪声污染而导致性能下降。为克服此挑战,研究人员提出了一种双流Transformer架构,该架构融合了(i)基于卡尔曼的传感器融合,将含噪声的陀
可穿戴跌倒检测系统面临一个根本性挑战:虽然陀螺仪数据能提供有价值的姿态线索,但将原始陀螺仪和加速度计信号简单结合会因噪声污染而导致性能下降。为克服此挑战,研究人员提出了一种双流Transformer架构,该架构融合了(i)基于卡尔曼的传感器融合,将含噪声的陀螺仪角速度转换为稳定的姿态角估计(翻滚角、俯仰角、偏航角),从而维持身体姿态的内部状态;以及(ii)在融合前,通过独立的编码器通路分别处理加速度计和姿态角流,以防止跨模态干扰。该架构进一步集成了挤压-激励(SE)通道注意力和时序注意力池化(TAP),以聚焦于对跌倒关键的时间模式。在SmartFallMM数据集上使用21折留一受试者交叉验证进行评估,双流卡尔曼Transformer实现了91.10%的F1分数,优于单流卡尔曼Transformer(89.80% F1)1.30%,并优于单流基线Transformer(88.96% F1)2.14%。研究人员进一步在五名参与者身上使用基于手表的SmartFall应用程序对模型进行实时评估,平均F1分数保持在83%,准确率达到90%。这些结果表明,该模型在离线和现实世界部署环境中均具有稳健的性能,为基于消费级智能手表惯性测量单元(IMU)的跌倒检测确立了新的先进水平。
**论文解读:**
**一、 研究背景与问题**
跌倒对老年人健康构成严重威胁,全球每年导致超过3800万例需医疗处理的伤害。基于可穿戴惯性测量单元(IMU,包含三轴加速度计和三轴陀螺仪)的跌倒检测系统,利用智能手表等消费级设备,为实现连续、非侵入、随时随地监测提供了有前景的解决方案。然而,在可穿戴设备的计算和功耗限制下开发高精度的跌倒检测模型仍然充满挑战。
当前研究面临三个核心问题:
1. **原始陀螺仪信号的干扰**:初步分析发现,将原始陀螺仪数据添加到仅使用加速度计的模型中,反而使F1分数下降6.2%。其根本原因在于,角速度信号在跌倒和某些日常活动(ADL)中可能表现出相似的旋转模式,从而混淆模型。例如,在SmartFallMM数据集中,快速坐下与向后跌倒的陀螺仪信号模式可能相似,尽管物理结果截然不同。
2. **消费级IMU的固有特性**:可穿戴设备中的陀螺仪测量存在噪声和漂移,且不提供绝对姿态参考。角速度仅描述身体旋转的快慢,无法直接指示身体在空间中的姿态(这与跌倒事件更相关)。从角速度提取姿态需要进行带漂移校正的时间积分,这是一种基于物理的变换,数据驱动模型难以从通常有限的跌倒检测数据集中可靠地学习。
3. **单流架构的局限性**:当加速度计和陀螺仪通道在单流神经网络中通过共享的早期层进行拼接和处理时,模型容易过度强调日常活动与跌倒之间的旋转相似性。这可能导致涉及强烈躯干旋转的活动中误报增加,同时噪声陀螺仪信号可能稀释与冲击相关的加速度特征,导致漏报增加。这表明,简单地融合原始IMU信号可能降低而非提升检测性能。
因此,本研究旨在解决上述挑战,探索如何有效融合多模态IMU数据以提升跌倒检测的准确性和鲁棒性。
**二、 研究方法概要**
本研究提出了一种创新的双流神经网络方法,核心是结合了基于卡尔曼滤波的传感器融合和双流Transformer架构。主要技术方法包括:
1. **基于卡尔曼的传感器融合**:作为领域知识注入,应用线性卡尔曼滤波器将原始加速度计和陀螺仪测量值融合,转换为稳定的身体姿态角(翻滚角、俯仰角、偏航角)。该滤波器维持身体姿态的内部状态估计,将输入特征与感兴趣的物理现象(身体姿态)对齐,而非原始的旋转速度。
2. **双流Transformer架构**:为隔离模态,设计了两个并行的编码器流,分别处理加速度特征(包括三轴测量值及其信号幅值SMV)和卡尔曼融合后的姿态角特征。这种分离防止了跨模态干扰,即当一起处理时,噪声或无信息的通道破坏有用的特征。
3. **注意力机制增强**:在双流融合后,引入了挤压-激励(SE)通道注意力机制,对融合特征通道的重要性进行加权;以及时序注意力池化(TAP),将分类注意力集中在每个时间窗口内最具判别性的时间步(通常是跌倒的冲击阶段)。
4. **实验设计与评估**:研究在SmartFallMM数据集(包含51名参与者,14种活动)上进行,采用留一受试者交叉验证(LOSO-CV)协议。数据被分割为128个样本(约4秒)的重叠窗口,使用焦点损失进行模型训练,并评估F1分数和准确率等指标。此外,研究还通过一个基于服务器的智能手表应用在五名参与者上进行了实时测试。
**三、 研究结果与发现**
研究通过一系列实验验证了所提方法的有效性,主要结果如下:
**5.1 与基线模型的性能比较**
* 首先建立了单流Transformer基线模型。实验表明,在单流架构中结合SE和TAP注意力模块(??
????+??????)能带来最大的性能提升(F1分数提升+1.28%)。
* 将最佳单流基线(??
????+??????)与提出的双流架构(?
??)进行比较。双流架构实现了F1分数+1.30%和准确率+2.34%的提升,且跨受试者的性能标准差降低,表明其具有更一致和稳健的性能。统计显著性分析(如Wilcoxon符号秩检验)支持了双流架构的改进是显著的。
**5.2 跨架构比较**
* 与其它双流架构(如双流CNN-Mamba、双流LSTM以及先前的双流方法DSCS)在相同LOSO-CV协议下比较。提出的双流卡尔曼Transformer(?
??)取得了最高性能,F1分数分别超过CNN-Mamba和LSTM基线+3.04%和+2.54%,远超DSCS方法(领先+24.69 F1分数)。这表明基于Transformer的自注意力机制与卡尔曼融合输入相结合,比卷积或循环模型在此任务中更有效。
**5.3 计算成本分析**
* 所提模型(?
??)参数为42K,计算量为2.8M FLOPs,批量推理时间为3.0 ms,加上卡尔曼融合预处理开销约14 ms/窗口。总体延迟相对于4秒的采集窗口可忽略,支持实时推理。与其他架构相比,在精度-成本权衡上更具优势。
**5.4 消融研究**
* **跨数据集一致性**:在UP-FALL和WEDA-FALL两个额外数据集上评估,所提方法均取得了最佳性能(F1分数分别为95.18%和95.41%),验证了其在不同传感器类型和采样率下的鲁棒性。
* **输入质量与架构的协同作用**:对比使用卡尔曼融合输入和原始IMU输入的双流与单流架构。结果显示,**仅当输入是卡尔曼融合后的稳定姿态角时**,双流架构才带来性能提升(+1.30% F1)。若使用原始陀螺仪输入,双流架构的性能下降(-1.38% F1)反而比单流架构(-0.84% F1)更严重,表明架构分离会放大低质量输入的负面影响,凸显了预处理与架构设计的协同必要性。
* **嵌入容量分配**:实验发现,在双流架构中,为加速度流和姿态角流分配平衡且适中的嵌入容量(各32维,总64维)能获得最佳性能(91.10% F1)和最低的标准差。
* **偏航角漂移的影响**:评估偏航角通道的贡献。实验表明,包含偏航角能带来适度的性能收益(移除后F1下降1.50%),并有助于提高跨受试者性能的稳定性。尽管存在积分漂移,但在有限的窗口时长(~4秒)内,偏航角提供的旋转上下文信息仍然有益。
**5.5 实时测试**
* 在一个基于服务器的智能手表应用(SmartFall App)上对五名参与者进行了实时测试。模型在连续监测下实现了平均83%的F1分数和90%的准确率,优于先前研究中未使用卡尔曼滤波、但使用腕部和髋部双传感器数据的单流Transformer模型(80% F1),证实了所提方法向实际部署环境转移的有效性。
* **失败模式分析**:常见的错误包括:(a)**漏报**:主要发生在侧向(左/右)跌倒和旋转跌倒,约2/5未被检测到,原因是这些跌倒产生的峰值加速度较低,冲击更分散;(b)**误报**:主要发生在坐-站转换(约2/5误报)和穿脱夹克等涉及大姿势变化和高手腕角速度的日常活动中,因为这些动作的动态特征与跌倒相似。
**四、 讨论与结论**
**讨论部分总结:**
论文系统性地论证了将基于卡尔曼的传感器融合与双流Transformer架构相结合,能有效解决可穿戴跌倒检测中原始陀螺仪数据干扰的问题。消融研究揭示了输入预处理(卡尔曼融合)与网络架构(双流分离)之间存在关键的协同作用:高质量、语义清晰的输入是发挥高级架构优势的前提。注意力机制(SE和TAP)进一步提升了模型聚焦关键特征的能力。跨数据集的稳健性能验证了方法的泛化性。实时部署结果证明了其在实际应用中的可行性,同时也明确了当前模型的局限性,特别是对特定类型跌倒(侧向、旋转)的漏检和对某些剧烈日常活动的误报。
**研究结论翻译:**
本文解决了可穿戴跌倒检测中的一个根本性挑战,即当原始陀螺仪数据与加速度计信号在单流神经架构中简单融合时,来自MEMS智能手表的原始陀螺仪数据会降低分类性能。为克服此挑战,研究人员提出了一种双流Transformer架构,其第一个流处理包含三轴测量值及其信号幅值的加速度特征,第二个流处理姿态角特征(翻滚角、俯仰角和偏航角)。姿态角特征通过应用卡尔曼滤波器计算得出,该滤波器通过融合原始加速度计和陀螺仪测量值来维持内部状态估计。每个流采用专用的卷积投影层来提取模态特定的表示,然后进行拼接和基于Transformer的时序建模。研究人员进一步结合了挤压-激励通道注意力和时序注意力池化,以选择性地强调判别性特征和时序区域。
研究的关键发现证明了信号预处理和架构设计之间的协同相互作用。在SmartFallMM数据集上使用留一受试者交叉验证进行评估,当使用卡尔曼滤波器预处理输入时,双流Transformer达到了91.10%的F1分数。当使用原始陀螺仪数据时,性能下降至87.58% F1,这证实了架构的复杂性需要适当预处理的输入。在另外两个数据集UP-FALL(95.18% F1,96.53%准确率)和WEDA-FALL(95.41% F1,94.57%准确率)上的进一步评估表明,卡尔曼滤波输入在不同传感器类型和采样率的数据集上具有一致的性能。与其他双流架构相比,该方法超过双流CNN-Mamba达+3.04% F1,超过双流LSTM达+2.54% F1,为基于可穿戴IMU的跌倒检测确立了先进的性能水平。
为评估现实世界性能,研究人员使用SmartFall应用程序的服务器版本在五名参与者上测试了性能最佳的双流模型。该系统实现了平均83%的F1分数,相比先前研究中使用未经过卡尔曼滤波、但感知腕部和髋部位置数据的单流Transformer模型所报告的最佳实时F1分数80%有所提高。这证实了卡尔曼融合双流处理能够有效地从离线评估转移到实际部署环境中。
尽管整体性能强劲,但在姿势转换明显(例如坐-站)和复杂上半身运动(例如穿脱夹克)的活动中仍观察到偶尔的误报,以及对于侧向(左侧和右侧跌倒)和旋转跌倒的漏检(错误率约为2/5)。为应对这些挑战,未来的工作应朝几个方向推进。首先,研究人员计划通过为每位用户维持持久的滤波器状态,并针对不同采样率调整其参数,来改进卡尔曼融合流程,旨在减少侧向/旋转跌倒的漏检和姿势转换期间的误报。其次,研究人员计划使用来自使用智能手表系统的不同群体的现实世界反馈数据,进行全面的实时敏感性评估,以系统量化真实日常条件下的敏感性、特异性和鲁棒性。最后,研究人员计划探索具有不确定性感知的预测策略,可以对低置信度事件进行二次检查,这可能会在不牺牲对真实跌倒的敏感性的情况下进一步减少误报。