综述:超越基准准确率:以泛化能力为核心的基于骨骼的人体活动识别深度学习分析

《Computer Science Review》:Beyond benchmark accuracy: A generalization-centered analysis of deep learning for skeleton-based human activity recognition

【字体: 大 中 小 】 时间:2026年07月04日 来源:Computer Science Review 17.5

编辑推荐:

  易霞|西拉·永查伦|雷蒙德·卢图伊|关泽生摘要基于骨架的人体活动识别技术中,深度学习模型在NTU RGB+D等控制良好的测试数据集上的准确率通常可超过93%,但在面对现实应用中的噪声、人群多样性以及环境变化时,其准确率会下降30–60%。现有的研究多按网络架构(RNN、CNN、G

  
易霞|西拉·永查伦|雷蒙德·卢图伊|关泽生

摘要

基于骨架的人体活动识别技术中,深度学习模型在NTU RGB+D等控制良好的测试数据集上的准确率通常可超过93%,但在面对现实应用中的噪声、人群多样性以及环境变化时,其准确率会下降30–60%。现有的研究多按网络架构(RNN、CNN、GCN、Transformer)来梳理这一领域的进展,但对于在特定应用条件下哪种方法更优及其原因却缺乏明确指导。本综述从“泛化能力”角度重新审视这一领域。我们确定了六种会导致性能下降的应用挑战,并对其影响程度进行了量化:传感器噪声和姿态估计误差(干净Kinect数据与通过RGB估算的骨架数据之间的准确率差距为46–60个百分点)、开放词汇表和未见动作问题(有监督学习与零样本学习结果之间的准确率差距为47–63个百分点)、人群结构变化(包含老年人的测试数据集中准确率差距为20–40个百分点)、跨数据集迁移问题(准确率差距为10–33个百分点)、仅依靠有监督训练时的标注不足问题(准确率差距为10–15个百分点),以及同一数据集下不同主体或视角带来的差异问题(准确率差距为3–7个百分点)。针对每一种挑战,我们系统地分析了不同表示方法(序列型、空间型、图结构型、注意力机制及跨模态表示)、学习策略(自监督学习、半监督学习、少样本学习及领域自适应)以及整合技术(融合、蒸馏及多任务学习)的表现,并基于已有研究结果进行了跨方法比较。分析表明,没有一种方法能同时有效解决超过三种挑战,当前研究多集中在那些差距较小的问题上,而差距最大的问题仍缺乏足够研究;同时,自监督学习以及基于CNN的表示方法在多种应用场景中都展现出最强的通用性。我们将这些研究结果整合成方法与挑战的适配矩阵,以及一个将应用约束与方法推荐联系起来的决策框架。这些建议是基于单一挑战下的研究结果得出的,还需在同时面临多种挑战的实际应用环境中进行验证。此外,我们还提出了分三个阶段的研究路线图,为逐步缩小不同时间维度下的泛化能力差距指明了具体方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号