基于头戴显示器及其控制器,通过添加噪声的运动数据和循环推理模型来改进人体运动生成技术

《Neural Networks》:Improving human motion generation based on a head-mounted display and its controllers via noise-augmented motion data and the recurrent inference model

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neural Networks 6.3

编辑推荐:

  提出基于条件变分自编码器(CVAE)的运动数据增强策略,通过模拟非刚性连接噪声提升全身动作生成模型鲁棒性。设计包含模型初始化、时序回归和递归推理的RIM模型,在离线和实时评估中均优于现有方法。

  
郭子豪|赵静波
中国农业大学信息与电气工程学院,北京,中国

摘要

以往基于头戴显示器(HMD)和两个手持控制器的全身人体运动生成方法假设设备与身体部位之间的连接是刚性的。这种方法对运动噪声不具鲁棒性,因为在虚拟现实(VR)体验中,这些设备通常与身体部位的连接较为松散,从而容易引入运动噪声。为了解决这个问题,我们提出了一种新的生成策略,该策略合成添加了噪声的运动数据以提升人体运动生成模型的性能,并将其与其他三种训练策略进行了比较,包括直接训练、微调策略和叠加策略。此外,我们还提出了循环推理模型(RIM),该方法进一步提高了全身人体运动生成的性能。我们的RIM模型在离线和实时评估中均表现出优于其他现有最先进(SOTA)人体运动生成方法的性能。该研究的代码可在此处获取:https://github.com/vrlab561/RIM-release。

引言

头戴显示器(HMD)及其两个手持控制器是虚拟现实(VR)系统的标准配置。基于HMD及其控制器的全身人体运动生成在实现VR游戏和社交互动等沉浸式体验中起着重要作用。以往的全身人体运动生成方法(Aliakbarian, Saleh, Collier, Cameron, Cosker, 2023; Barquero, Bertsch, Marramreddy, Chacón, Arcadu, Rigual, He, Palmero, Escalera, Ye, et al., 2025; Dai, Zhang, Liu, Fan, Du, Su, Zheng, Li, 2024; Dittadi, Dziadzio, Cosker, Lundell, Cashman, Shotton, 2021; Du, Kips, Pumarola, Starke, Thabet, Sanakoyeu, 2023; Jiang, Streli, Qiu, Fender, Laich, Snape, Holz, 2022a; Zheng, Su, Wen, Xue, Jin, 2023)没有考虑设备与身体部位之间的非刚性连接。这些非刚性连接是由于设备与其相关身体部位之间的松散耦合造成的,可以用设备与身体部位坐标系之间的平移和旋转来表示(见图1)。
大规模运动捕捉(MoCap)数据集,如AMASS(Mahmood et al., 2019),常用于训练全身运动生成模型,是从光学跟踪数据中推断出来的,没有考虑这种非刚性变换。因此,在实际应用场景中将这些模型部署在HMD上时,由于这些方法对非刚性变换引入的运动噪声不具鲁棒性,可能会导致性能下降。现有的数据集,如FreeDancing数据集(Dai et al., 2024),是在HMD及其控制器的设置下捕获的,规模较小,包含的数据有限,仅覆盖了有限范围的人体运动。基于此类数据集训练的全身运动生成模型可能无法生成广泛的人体运动。
为了解决这个问题,我们提出了一种新的生成策略,该策略通过条件变分自编码器(CVAE)(Sohn et al., 2015)学习设备与其相关身体部位之间的非刚性位置和旋转变换来合成添加了噪声的运动数据。训练有素的CVAE模型在训练过程中生成非刚性变换,并将这些变换应用于AMASS数据集(Mahmood et al., 2019)中的合成MoCap数据。这种策略有效地增强了现有合成数据,并产生了类似于在HMD及其控制器上捕获的运动数据的训练运动数据。为了验证所提出生成方法的有效性,我们将其与其他三种训练策略进行了比较,包括直接训练、微调和叠加策略。此外,我们还提出了一种改进的全身运动生成模型,称为循环推理模型(RIM)。受HMD-NeMo(Aliakbarian et al., 2023)和HMD-Poser(Dai et al., 2024)的启发,我们的改进模型采用了基于长短期记忆(LSTM)网络和变换器的时空特征提取框架。此外,它还包含了模型初始化模块,该模块使用初始局部姿态和全局姿态来初始化框架中LSTMs的状态。与HMD-Poser(Dai et al., 2024)的多层感知器(MLP)回归器不同,后者处理变换器编码器的单帧输出,时间回归模块考虑了框架产生的特征的时间依赖性,提高了生成人体运动的准确性和平滑度。在模型推理阶段,处理每个运动子序列后,框架和时间回归中的LSTMs状态会被保留下来,并在使用下一个子序列进行全身运动推理之前用于自我初始化,从而建立了输入子序列的时间依赖性。
我们研究的贡献包括:
  • •
    我们提出了一种基于CVAE模型的新生成策略,有效提升了人体运动生成模型的性能。
  • •
    我们提出了三种其他训练策略,包括直接训练、微调和叠加策略,并将生成策略与这三种策略进行了比较,以证明生成策略的优越性。
  • •
    我们提出了一种改进的全身运动生成模型,称为RIM。RIM包含了三个关键设计组件:模型初始化、时间回归和循环推理。RIM在离线和实时评估中均取得了最先进(SOTA)的结果。

部分摘录

基于HMD及其两个手持控制器的身体运动生成

仅使用HMD及其控制器生成全身人体运动既方便又实用,适用于VR体验。现有的方法分为三类。第一类方法(Aliakbarian, Cameron, Bogo, Fitzgibbon, Cashman, 2022; Dittadi, Dziadzio, Cosker, Lundell, Cashman, Shotton, 2021; Du, Kips, Pumarola, Starke, Thabet, Sanakoyeu, 2023; Starke, Starke, He, Komura, Ye, 2024)采用生成模型来生成运动。

问题表述

任务。我们的目标是使用HMD和两个手持控制器的跟踪数据生成全身人体运动序列,包括全身姿态和身体形状(Loper et al., 2023),这些数据提供了全局坐标系中的位置(表示为3-D向量)和旋转(表示为6-D正交变换(Zhou et al., 2019))。来自HMD和两个控制器的长度为L的运动数据序列可以表示为:
{pdi, Rdi}i13∈RL

数据集和指标

数据集。在我们的实验中,我们使用了两类数据集:(1)AMASS数据集(Mahmood et al., 2019),它提供了从SMPL运动序列(Loper et al., 2023)推断出的合成HMD和控制器数据;(2)FreeDancing(Dai et al., 2024)和EMHI(Fan et al., 2025)数据集,其中包含带有配对全身人体运动序列的真实HMD和控制器数据。所有数据集的采样率为60 Hz。

结论和未来工作

在本文中,我们提出了生成运动数据增强策略和RIM模型,以基于HMD及其两个控制器的跟踪数据可靠地生成全身姿态序列和SMPL形状参数(Loper et al., 2023)。我们通过实验验证了生成运动数据增强策略和RIM模型的有效性,并通过消融研究进一步确认了RIM关键组件的有效性。

CRediT作者贡献声明

郭子豪:数据整理、研究、方法论、软件开发——原始草稿。赵静波:概念构思、方法论、项目管理、资源协调、写作——原始草稿、审稿与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号