综述:超越基准准确率:以泛化能力为核心的基于骨骼的人体活动识别深度学习分析
《Computer Science Review》:Beyond benchmark accuracy: A generalization-centered analysis of deep learning for skeleton-based human activity recognition
【字体:
大
中
小
】
时间:2026年07月04日
来源:Computer Science Review 17.5
编辑推荐:
易霞|西拉·永查伦|雷蒙德·卢图伊|关泽生摘要基于骨架的人体活动识别技术中,深度学习模型在NTU RGB+D等控制良好的测试数据集上的准确率通常可超过93%,但在面对现实应用中的噪声、人群多样性以及环境变化时,其准确率会下降30–60%。现有的研究多按网络架构(RNN、CNN、G
易霞|西拉·永查伦|雷蒙德·卢图伊|关泽生
摘要
基于骨架的人体活动识别技术中,深度学习模型在NTU RGB+D等控制良好的测试数据集上的准确率通常可超过93%,但在面对现实应用中的噪声、人群多样性以及环境变化时,其准确率会下降30–60%。现有的研究多按网络架构(RNN、CNN、GCN、Transformer)来梳理这一领域的进展,但对于在特定应用条件下哪种方法更优及其原因却缺乏明确指导。本综述从“泛化能力”角度重新审视这一领域。我们确定了六种会导致性能下降的应用挑战,并对其影响程度进行了量化:传感器噪声和姿态估计误差(干净Kinect数据与通过RGB估算的骨架数据之间的准确率差距为46–60个百分点)、开放词汇表和未见动作问题(有监督学习与零样本学习结果之间的准确率差距为47–63个百分点)、人群结构变化(包含老年人的测试数据集中准确率差距为20–40个百分点)、跨数据集迁移问题(准确率差距为10–33个百分点)、仅依靠有监督训练时的标注不足问题(准确率差距为10–15个百分点),以及同一数据集下不同主体或视角带来的差异问题(准确率差距为3–7个百分点)。针对每一种挑战,我们系统地分析了不同表示方法(序列型、空间型、图结构型、注意力机制及跨模态表示)、学习策略(自监督学习、半监督学习、少样本学习及领域自适应)以及整合技术(融合、蒸馏及多任务学习)的表现,并基于已有研究结果进行了跨方法比较。分析表明,没有一种方法能同时有效解决超过三种挑战,当前研究多集中在那些差距较小的问题上,而差距最大的问题仍缺乏足够研究;同时,自监督学习以及基于CNN的表示方法在多种应用场景中都展现出最强的通用性。我们将这些研究结果整合成方法与挑战的适配矩阵,以及一个将应用约束与方法推荐联系起来的决策框架。这些建议是基于单一挑战下的研究结果得出的,还需在同时面临多种挑战的实际应用环境中进行验证。此外,我们还提出了分三个阶段的研究路线图,为逐步缩小不同时间维度下的泛化能力差距指明了具体方向。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号