DAK-Pose:基于双辅助模型的知识融合方法,用于泛化性的视频驱动3D人体姿态估计

《Information Fusion》:DAK-Pose: Dual-Augmentor Knowledge Fusion for Generalizable Video-Based 3D Human Pose Estimation

【字体: 大 中 小 】 时间:2026年01月04日 来源:Information Fusion 15.5

编辑推荐:

  针对视频3D人体姿态估计中合成数据与真实场景的域差距问题,本文提出DAK-Pose框架。该方法通过特征空间增强策略,将人体运动分解为结构特征(骨骼约束)和动态特征(时间连续性),并分别设计结构优先和动态优先的增强模块。采用对抗对齐技术将合成特征与真实数据对齐,有效抑制合成数据的结构偏差并保留动态合理性。实验表明该方法在多个数据集上实现跨域泛化性能最优。

  
作者:王亚川 | 张斌 | 元浩
机构:西安交通大学,邮编:710049,城市:西安,省份:陕西,国家:中国

摘要

在现实世界中部署基于视频的3D人体姿态估计仍然具有挑战性,因为在受限的实验室环境中收集的标注数据无法完全捕捉人体运动的复杂性。虽然为了数据增强而进行的运动合成已成为一种主流解决方案,但现有的合成方法存在固有的权衡:基于运动学的合成方法能够保持解剖学的合理性,但会牺牲时间上的连贯性;而基于坐标的方法虽然能确保运动的平滑性,但却违反了生物力学约束。这导致当合成数据直接用于观测空间来训练姿态估计模型时,始终存在领域差异。为了解决这个问题,我们提出了DAK-Pose,它将增强过程转移到了特征空间。我们将运动分解为结构特征和动态特征,并设计了两种互补的增强器:(1)一个以结构优先的模块,用于确保解剖学的有效性;(2)一个以动态优先的模块,用于生成多样化的时间模式。在由这些增强器生成的合成运动上训练的辅助编码器通过对抗性对齐将领域不变的知识传递给姿态估计器。在Human3.6M、MPI-INF-3DHP和3DPW数据集上的实验表明,DAK-Pose取得了最先进的跨数据集性能。

引言

3D人体姿态估计(3DHPE)旨在从2D观测中恢复人体关节的空间位置,近年来由于其在运动捕捉、人机交互和虚拟现实中的广泛应用而受到越来越多的关注。然而,该领域的一个主要挑战在于训练数据的性质,这些数据通常是在受控的实验室环境中使用专业演员和可穿戴传感器收集的。这种受限的采集设置往往导致数据多样性有限,从而在将模型应用于真实世界场景时,其泛化性能显著下降。
为了缩小训练数据与测试场景之间的分布差距,数据增强已成为一种主流解决方案。其核心思想是通过增加训练样本的多样性来提高模型的泛化能力。最近的一个趋势是将姿态合成作为一种数据增强形式,旨在通过生成更真实的人体姿态来减少合成数据与真实数据之间的领域差距,从而提高模型在真实世界应用中的性能。现有的姿态合成方法通常遵循两种技术范式:基于运动学的方法和基于坐标的姿态生成方法。然而,这两种方法都存在固有的局限性,这些局限性在特征空间中构成了根本性的挑战。基于运动学的方法[36]在关节旋转的Lie群约束下运行,这确保了骨骼结构的物理合理性,但往往牺牲了运动轨迹的时间连贯性和自然性。相比之下,基于坐标的方法[39]独立生成关节位置,这有助于保持时间连续性,但忽略了关节之间的空间依赖性,从而违反了人体运动链中固有的时空约束。这些局限性导致在生成的2D-3D配对训练数据中存在常见的领域差距。具体来说,合成数据和真实数据在运动模式和误差累积方面表现出系统性的分布差异。当合成数据直接用于观测空间的训练时,很难有效地提高模型对真实世界场景的泛化能力。
为了解决这个问题,我们提出了DAK-Pose,这是一个基于解耦表示学习的领域泛化框架。通过在特征空间中学习领域不变的表示,我们的框架有效地利用了合成运动的优势特性,同时抑制了领域特定的偏见,从而增强了模型在不同领域的泛化能力,如图1所示。具体来说,以往的方法通常将人体姿态建模为单一的统一表示,忽略了运动动力学(例如轨迹和速度)和结构属性(例如骨骼长度和关节配置)在物理上是解耦的这一事实。我们明确地将运动分解为结构特征和动态特征,并分别对它们进行建模,以便独立地泛化每个组成部分。通过在特征空间中操作,我们的方法避免了观测空间增强的内在权衡——即增加数据多样性和引入噪声风险之间的平衡。这使我们能够充分利用不同类型合成数据的优势,同时减轻它们的缺点。
为了在增强肢体结构多样性的同时减轻合成数据中骨骼配置的物理失真,我们设计了一个基于运动链约束的人体运动合成模块。为了进一步放大运动学约束合成运动的骨骼一致性特征,并抑制由模拟环境引起的动态失真,我们专注于解耦的结构特征。然后应用特征对齐技术来提高姿态估计网络对这些结构特征的泛化能力。对于动态特征,我们使用随机运动预测器来合成多样化的运动模式,从而提高运动动力学的变异性。具体来说,基于3D参考运动生成具有不同动态模式的3D合成运动,旨在实现运动动力学的领域泛化,并增强模型模拟多样化动态特征的能力。此外,这种模式下的合成运动本质上保留了时间连续性和运动平滑性等优势。同时,我们有意丢弃了这些合成运动中的结构特征,以避免它们在帧内关节相关性方面的缺点。最后,通过特征对齐,我们有效地提高了姿态估计网络对动态特征的泛化能力。
本工作的贡献可以总结如下:
  • •
    我们提出了DAK-Pose,这是一种新颖的特征空间增强框架,从根本上将合成数据的利用范式从观测空间转移到了潜在的特征空间。
  • •
    我们引入了两种互补的增强器,分别用于结构优先和动态优先的运动合成,并通过对抗性对齐将解耦的特征融合到姿态估计器中。
  • •
    在多个数据集上的广泛实验表明,我们的方法在跨领域3D人体姿态估计方面取得了最先进的性能。

章节片段

3D人体姿态估计

随着深度学习技术的迅速发展,3DHPE取得了显著进展。本工作专注于基于骨骼的3DHPE,其中输入的2D姿态通常来自基于图像的姿态估计器[4]、[40]或手动注释。除了单帧方法[20]、[21]之外,基于视频的方法[24]、[38]也因其能够模拟时间动态而受到越来越多的关注。然而,大多数现有方法仍然严重依赖于完全监督的训练

概述

视频中3D人体姿态估计的目标是从2D观测中恢复3D姿态序列
X=[X1, X2, Xt∈RJ3 x=[x1, x2,
传统的完全监督方法通过优化成对的2D-3D注释来学习姿态估计器G。为了解决跨数据集的挑战,我们的目标是通过合成多样化的2D-3D配对数据来提高姿态估计器G的泛化能力

数据集

Human3.6M [14]是一个大规模的3D人体姿态估计数据集,包含360万个3D姿态注释及其对应的图像。它涵盖了15种日常活动(例如,吃饭、吸烟、拍照、走路等),数据来自执行预定义动作的专业演员。我们遵循标准的数据分割协议:使用五名受试者(S1、S5、S6、S7、S8)的数据进行训练,使用两名受试者(S9、S11)的数据进行测试。

结论

在本文中,我们提出了DAK-Pose,这是一个创新框架,旨在通过增强特征空间中的表示来提高基于视频的3D人体姿态估计的泛化能力。我们将运动分解为结构特征和动态特征,并使用两种互补的运动增强器来提取它们各自的优势。然后通过对抗性对齐将来自合成运动的解耦特征与姿态估计网络对齐,有效减轻了

CRediT作者贡献声明

王亚川:撰写——原始草案、验证、方法论、形式分析、数据整理、概念化。张斌:监督、软件、资源、项目管理、调查。元浩:撰写——审阅与编辑、可视化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号