头戴显示器(HMD)及其两个手持控制器是虚拟现实(VR)系统的标准配置。基于HMD及其控制器的全身人体运动生成在实现VR游戏和社交互动等沉浸式体验中起着重要作用。以往的全身人体运动生成方法(Aliakbarian, Saleh, Collier, Cameron, Cosker, 2023; Barquero, Bertsch, Marramreddy, Chacón, Arcadu, Rigual, He, Palmero, Escalera, Ye, et al., 2025; Dai, Zhang, Liu, Fan, Du, Su, Zheng, Li, 2024; Dittadi, Dziadzio, Cosker, Lundell, Cashman, Shotton, 2021; Du, Kips, Pumarola, Starke, Thabet, Sanakoyeu, 2023; Jiang, Streli, Qiu, Fender, Laich, Snape, Holz, 2022a; Zheng, Su, Wen, Xue, Jin, 2023)没有考虑设备与身体部位之间的非刚性连接。这些非刚性连接是由于设备与其相关身体部位之间的松散耦合造成的,可以用设备与身体部位坐标系之间的平移和旋转来表示(见图1)。
大规模运动捕捉(MoCap)数据集,如AMASS(Mahmood et al., 2019),常用于训练全身运动生成模型,是从光学跟踪数据中推断出来的,没有考虑这种非刚性变换。因此,在实际应用场景中将这些模型部署在HMD上时,由于这些方法对非刚性变换引入的运动噪声不具鲁棒性,可能会导致性能下降。现有的数据集,如FreeDancing数据集(Dai et al., 2024),是在HMD及其控制器的设置下捕获的,规模较小,包含的数据有限,仅覆盖了有限范围的人体运动。基于此类数据集训练的全身运动生成模型可能无法生成广泛的人体运动。
为了解决这个问题,我们提出了一种新的生成策略,该策略通过条件变分自编码器(CVAE)(Sohn et al., 2015)学习设备与其相关身体部位之间的非刚性位置和旋转变换来合成添加了噪声的运动数据。训练有素的CVAE模型在训练过程中生成非刚性变换,并将这些变换应用于AMASS数据集(Mahmood et al., 2019)中的合成MoCap数据。这种策略有效地增强了现有合成数据,并产生了类似于在HMD及其控制器上捕获的运动数据的训练运动数据。为了验证所提出生成方法的有效性,我们将其与其他三种训练策略进行了比较,包括直接训练、微调和叠加策略。此外,我们还提出了一种改进的全身运动生成模型,称为循环推理模型(RIM)。受HMD-NeMo(Aliakbarian et al., 2023)和HMD-Poser(Dai et al., 2024)的启发,我们的改进模型采用了基于长短期记忆(LSTM)网络和变换器的时空特征提取框架。此外,它还包含了模型初始化模块,该模块使用初始局部姿态和全局姿态来初始化框架中LSTMs的状态。与HMD-Poser(Dai et al., 2024)的多层感知器(MLP)回归器不同,后者处理变换器编码器的单帧输出,时间回归模块考虑了框架产生的特征的时间依赖性,提高了生成人体运动的准确性和平滑度。在模型推理阶段,处理每个运动子序列后,框架和时间回归中的LSTMs状态会被保留下来,并在使用下一个子序列进行全身运动推理之前用于自我初始化,从而建立了输入子序列的时间依赖性。
我们研究的贡献包括:
- •
我们提出了一种基于CVAE模型的新生成策略,有效提升了人体运动生成模型的性能。
- •
我们提出了三种其他训练策略,包括直接训练、微调和叠加策略,并将生成策略与这三种策略进行了比较,以证明生成策略的优越性。
- •
我们提出了一种改进的全身运动生成模型,称为RIM。RIM包含了三个关键设计组件:模型初始化、时间回归和循环推理。RIM在离线和实时评估中均取得了最先进(SOTA)的结果。