层级感知解耦扩散框架HADD:时空去噪驱动的单目三维人体姿态估计

《PLOS One》:HADD: A hierarchy-aware disentangled diffusion framework with spatio-temporal denoising for 3D human pose estimation

【字体: 大 中 小 】 时间:2026年09月29日 来源:PLOS One 2.8

编辑推荐:

  单目三维人体姿态估计(3D Human Pose Estimation, 3D HPE)是计算机视觉领域的核心任务,为虚拟现实/增强现实(VR/AR)、沉浸式人机交互、数字人动画以及体育动作捕捉、运动技术诊断、体质评估和运动康复训练等应用提供关键技术支撑。然而

  
单目三维人体姿态估计(3D Human Pose Estimation, 3D HPE)是计算机视觉领域的核心任务,为虚拟现实/增强现实(VR/AR)、沉浸式人机交互、数字人动画以及体育动作捕捉、运动技术诊断、体质评估和运动康复训练等应用提供关键技术支撑。然而,现有方法仍面临三个关键局限:基于扩散的方法在扩散过程中缺乏显式的人体解剖先验约束;基于解耦的方法沿骨骼运动学树存在严重的层级误差累积;多数主流方法未能充分挖掘人体骨骼的细粒度层级时空相关性,导致高层级关节的估计误差增大。为应对上述挑战,研究人员提出一种新颖的层级感知解耦扩散框架(Hierarchy-Aware Disentangled Diffusion framework with Spatio-Temporal Denoising, HADD),用于单目3D HPE,该框架将解耦策略与扩散模型深度融合,并将骨骼层级信息嵌入扩散全流程。在前向扩散过程中,HADD将三维姿态解耦为骨长(bone length)与骨方向(bone direction)两类特征,并分别向二者注入高斯噪声。在反向去噪过程中,研究人员设计了层级时空去噪模块(Hierarchical Spatial and Temporal Denoising, HSTD),以精确建模人体骨骼的层级时空关系并缓解高层级关节的误差放大。同时,构建了结合三维解耦损失与三维姿态损失的混合损失函数,在骨骼层级与关节层级实现双重监督。在Human3.6M与MPI-INF-3DHP数据集上的大量实验表明,HADD相较于现有最优方法取得了一致的性能提升。在Human3.6M上,与传统解耦方法相比,平均MPJPE(Mean Per Joint Position Error)最多降低12.9%,并在轻量级推理配置下优于主流扩散概率方法。在MPI-INF-3DHP上,HADD在单假设推理下取得29.2 mm的MPJPE、98.5%的PCK(Percentage of Correct Keypoints)以及78.1的AUC(Area Under the Curve),在该数据集仅以真实二维关节序列为输入的单假设推理设置下达到新的最优性能。该工作为现有3D HPE方法的核心局限提供了有效解决方案,也为运动训练与康复场景中的细粒度运动分析与定量评估提供了可靠技术支撑。
论文解读:HADD——层级感知解耦扩散框架用于单目三维人体姿态估计
一、研究背景与问题提出
三维人体姿态估计(3D HPE)是计算机视觉领域的核心研究方向,其目标是从单目视觉输入的二维人体姿态序列中准确回归人体关节的三维空间坐标。该技术为虚拟现实与增强现实(VR/AR)、沉浸式人机交互、数字人动画、智能视频监控以及竞技体育动作捕捉、运动技术诊断与优化、公共体质评估等应用提供关键技术支持。尤其在竞技体育训练与青少年体质测试中,三维姿态估计突破了传统人工观察与二维平面分析的局限,能够对体操、田径、持拍类运动及武术等动态动作进行三维精细化分析,辅助教练准确识别技术缺陷、制定个性化训练方案并有效降低运动损伤发生率。
当前主流的三维人体姿态估计方法普遍采用两阶段处理策略:首先利用成熟的二维姿态估计算法从原始RGB图像中检测高精度二维关节点坐标,随后执行二维到三维的抬升操作以补偿深度维度信息缺失,最终获得三维人体姿态估计结果。围绕深度模糊这一核心挑战,现有研究主要分为两条脉络:一是时空信息挖掘方向,利用卷积神经网络(CNN)或Transformer架构充分挖掘视频序列中的时间信息与空间上下文信息;二是人体姿态先验引入方向,通过融入人体解剖结构与姿态分布等先验知识约束三维姿态的生成空间。其中,基于扩散模型的方法通过直接回归三维关节点坐标取得了当前最优性能,而基于解耦的方法则将三维姿态估计任务分解为骨长与骨方向预测子任务,显式引入基于人体骨骼前向运动学结构的人体姿态先验约束。
然而,现有方法仍存在三个核心挑战:第一,基于扩散模型的方法直接对原始三维姿态整体添加高斯噪声,未对三维姿态进行结构分解,无法有效学习骨骼长度的时间一致性与关节角度变化规律等显式先验知识,模型学习过程缺乏人体结构约束;第二,基于解耦的方法虽能通过骨长与骨方向分解显式引入人体解剖先验,但受人体骨骼树状层级结构影响,骨长与骨方向的预测误差会沿骨骼层级不断传播与放大,形成严重的层级误差累积效应,导致其整体性能远低于主流扩散方法;第三,无论是基于Transformer的时空建模方法,还是基于扩散模型与解耦的姿态估计方法,均忽视了人体骨骼的细粒度层级相关性,随着关节层级增加,现有方法的估计误差显著上升。
二、研究内容与核心结论
针对上述问题,研究人员提出了层级感知解耦扩散框架(HADD),创新性地将解耦策略与扩散模型相结合,并将人体骨骼的层级信息深度融入扩散模型的前向与反向过程,实现结构化先验学习与层级时空建模的双重优化。在Human3.6M与MPI-INF-3DHP数据集上的大量实验表明,HADD相较于现有最优方法取得了一致性能提升。在Human3.6M上,与传统解耦方法相比平均MPJPE最多降低12.9%,并在轻量级推理配置下优于主流扩散概率方法。在MPI-INF-3DHP上,HADD在单假设推理下取得29.2 mm的MPJPE、98.5%的PCK以及78.1的AUC,在该数据集仅以真实二维关节序列为输入的单假设推理设置下达到新的最优性能。该工作为现有三维人体姿态估计方法的核心局限提供了有效解决方案,也为运动训练与康复场景中的细粒度运动分析与定量评估提供了可靠技术支撑。
三、关键技术方法概述
研究人员主要采用了以下关键技术方法:一是三维姿态解耦策略,将三维姿态按骨骼运动学树解耦为骨长与骨方向两类独立特征;二是维度感知的前向扩散过程,分别对骨长与骨方向注入高斯噪声;三是层级时空去噪模块(HSTD),包含层级空间去噪模块(HSDM)与层级时间去噪模块(HTDM)两个子模块,用于建模骨骼层级时空相关性;四是混合损失函数,结合三维解耦损失与三维姿态损失实现骨骼层级与关节层级的双重监督。实验采用公开基准数据集Human3.6M与MPI-INF-3DHP,均经过原始发布机构的伦理审查,所有受试者签署知情同意书。
四、研究结果
4.1 关节层级划分规则。 研究人员选取17个人体核心关节点作为姿态表示单元,按运动学树根关节深度将17个关节划分为6个层级,严格遵循人体骨骼固有的树状运动学结构,以骨盆根节点为根,按运动学树深度从近端躯干到末端肢体逐级分类。
4.2 三维姿态解耦策略。 研究人员将高维且密集相关的三维关节点坐标优化问题解耦为低维、物理可解释的骨长与骨方向预测子问题,骨长为时间不变标量,骨方向受生理关节角度限制约束,可通过损失函数显式施加先验,确保预测三维姿态的物理合理性。
4.3 前向扩散过程。 研究人员将维度感知的高斯噪声注入应用于解耦后的骨长与骨方向而非原始三维关节坐标,使扩散模型分别学习骨长与骨方向的时间动态,在噪声添加过程中保留人体解剖先验。
4.4 反向扩散过程与多假设推理。 研究人员采用多假设迭代采样机制,从标准高斯分布采样H组独立初始噪声特征,经预训练HSTD去噪后,利用针孔相机模型计算各假设的二维重投影误差,选取重投影误差最小的假设作为最终输出,该过程仅依赖输入二维关节序列与数据集提供的相机标定参数。
4.5 层级空间去噪模块(HSDM)。 研究人员通过放大空间注意力矩阵中父关节对子关节的注意力权重,形式化父关节对子关节的运动学影响,采用平均归一化因子2约束注意力值幅度,在训练稳定性与约束效果间取得最佳平衡。
4.6 层级时间去噪模块(HTDM)。 研究人员引入残差交叉注意力分支,通过聚合目标关节及其全部子关节特征,显式建模目标关节与子关节间的层级时间相关性,并与全局时间自注意力融合以细化时间特征表示。
4.7 迭代堆叠与回归输出。 HSDM与HTDM交替堆叠d次迭代循环,逐步细化关节层级时空特征表示,最终输出经回归头预测去噪后的三维关节坐标。
五、结论总结
研究人员提出的HADD框架通过将解耦策略与扩散模型深度融合,并将骨骼层级结构信息嵌入扩散全流程,有效缓解了扩散方法缺乏显式人体解剖先验约束与解耦方法严重层级误差累积两大核心局限。实验结果表明,HADD在Human3.6M与MPI-INF-3DHP数据集上均取得一致性能提升,在MPI-INF-3DHP单假设推理设置下达到新的最优性能,为三维人体姿态估计领域提供了有效解决方案,并为运动训练与康复场景中的细粒度运动分析与定量评估提供了可靠技术支撑。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号