一种基于时空维度的人类数字孪生方法,用于模拟存在不确定性的行为

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:A temporal spatial human digital twin approach for modeling human behavior with uncertainty

【字体: 大 中 小 】 时间:2025年12月22日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  **摘要** 在人机交互(HRI)过程中,对人类行为的建模至关重要。HRI中的人类运动具有不确定性。即使同一个个体执行相同的动作,也无法保证每次的运动轨迹都完全相同。这些因素使得人类行为的建模极具挑战性。除了人类的不确定性之外,HRI还存在动态的时间和空间依赖性。在充分考虑时

  **摘要**
在人机交互(HRI)过程中,对人类行为的建模至关重要。HRI中的人类运动具有不确定性。即使同一个个体执行相同的动作,也无法保证每次的运动轨迹都完全相同。这些因素使得人类行为的建模极具挑战性。除了人类的不确定性之外,HRI还存在动态的时间和空间依赖性。在充分考虑时间和空间特征的同时有效捕捉不确定性是一个重大挑战。此外,仅通过人类骨骼来表示人类行为是不够的。最近,人们开发了人类数字孪生体来表示人类几何形态。然而,当前的人类数字孪生体并不适合动态的HRI场景,因为它们难以准确描述高维的人类参数,从而导致非线性映射和关节漂移等问题。总之,现有方法难以解决人类不确定性、时间和空间依赖性以及高维人类参数的问题。为了解决上述挑战,本研究提出了一种基于时间空间的人类数字孪生体(TSHDT)来模拟HRI中的人类行为。TSHDT利用预测的人类骨骼,并结合正向和逆向运动学以及扩散先验分布来表示高维人类参数,从而防止关节漂移和关节之间的非线性映射。在开发TSHDT的过程中,我们引入了人机时间空间(HRTS)扩散模型来减少人类运动的不确定性。HRTS扩散模型的独特扩散和去噪过程能够有效地将不确定性淹没在噪声中,并在后续的去噪步骤中准确预测人类运动。为了确保去噪过程更注重准确性而非多样性,我们提出了时间空间融合图卷积网络(TSFGCN)来捕捉人类和机器人之间的时间和空间特征,并将其嵌入到HRTS扩散模型中。最后,通过人机布料切割实验中的预测碰撞检测验证了TSHDT的有效性。结果表明,所提出的方法在碰撞检测实验中能够准确模拟人类行为,取得了出色的F1分数。

**引言**
现代服装行业正经历着由个性化需求和时尚趋势驱动的范式转变,这需要智能制造系统能够实现高质量、小批量的定制生产[1,2]。由于自动化水平有限,当前的智能制造系统仍然需要人类的参与,采用人机交互(HRI)方法将人类的灵活性与机器人的精确性结合起来[3,4]。然而,手动操作的不可预测性和生产系统的复杂性阻碍了智能制造系统预期的好处[5]。具体来说,人类在HRI过程中表现出不确定性,而且人类和机器人之间存在复杂的时间和空间(TS)特征。此外,人类几何的参数化表示也非常复杂。这些挑战使得机器人难以准确模拟人类行为,显著影响了HRI过程的安全性。
在当前的HRI中,模拟人类行为的主要方法是开发人类运动模型,这些模型可以分为接触式和非接触式方法。接触式方法,如增强现实[6]、虚拟现实[7]或混合现实[8],可以提供关于人类及其环境的丰富数据,但往往会给用户带来负担,可能干扰人类的操作。非接触式方法通常指的是基于视觉的方法[9,10]。这些方法使用骨骼来表示人体,具有便利性和鲁棒性,但仍面临与人类不确定性相关的挑战[11]。
在HRI过程中,人类行为是不确定的。即使同一个个体重复相同的动作,每次的运动轨迹也可能不同,更不用说意图突然改变的可能性了。这些因素使得人类运动高度不确定。研究人员试图使用确定性方法来预测动作类别的不确定性,但这些方法只能为动作类别提供概率,而不能为运动坐标分布提供概率[12,13],这对于模拟人类行为来说是不足的。在需要避免碰撞的场景中,这种局限性尤为明显,因为动作类别无法反映当前的人类运动状态。因此,研究人员转向了概率建模方法,如高斯混合回归和隐马尔可夫模型。尽管这些方法已被用于预测HRI中的人类运动,但由于它们的潜在状态空间有限且静态,它们在捕捉动态HRI中的不确定性方面存在不足[14,15]。
最近,扩散模型在模拟不确定性方面表现出了显著的性能[16]。2023年,Wei等人引入了MotionDiff,这是首次将扩散模型应用于人类运动建模,取得了令人印象深刻的结果[17]。这一突破激发了越来越多的研究尝试使用扩散模型来模拟人类行为[18,19]。然而,当前的扩散模型方法不能直接应用于HRI。HRI需要高精度的人类运动模型来准确模拟人类行为。当前的基于扩散的方法通常更注重多样性而非准确性。尽管最近的研究试图利用扩散模型来模拟HRI中的人类行为[20,21],但它们未能有效整合人类和机器人之间的时空依赖性,导致性能不佳。挑战在于在无缝整合人类和机器人之间的时空特征的同时捕捉不确定性。
在HRI过程中,人类和机器人的运动表现出动态的时空特征。开发一个能够整合动态人机TS信息的模型是一项具有挑战性的任务。目前用于捕捉人类和机器人之间时空特征的方法主要是顺序式的,例如Zhang等人将图卷积网络(GCN)和时间卷积网络结合使用[22]。后续的研究也尝试将GCN与时间卷积网络[23]和变换器[24]相结合。这些模型只是简单地将时间和空间模型连接起来,未能全面捕捉全局和局部的时空特征或完全整合人机时空动态。特别是在HRI中,既有全局的时空依赖性也有局部的时空依赖性:全局时空特征体现在周期性上,而局部特征则体现在瞬变性上。目前缺乏一个能够彻底整合人机时空特征并将其纳入扩散模型的模型,以实现同时捕捉不确定性和时空特征的目标。
上述运动模型主要依赖于人类骨骼来模拟人类行为,鉴于人类几何的复杂性,这是不够的。最近,研究人员采用了人类数字孪生体(HDT)方法来模拟人类行为,它可以模拟人类几何形态。最初,努力集中在将骨骼直接映射到预定义的SMPL模型上[25],但这种方法缺乏图像信息。随后,采用了人类网格恢复等方法,结合骨骼和图像来构建HDT[26]。然而,这种方法仍然不成熟,缺乏有效的约束,导致在运动过程中难以准确表示高维人类参数。因此,非线性映射和关节漂移的问题仍然存在。
为了解决上述问题,本研究提出了一种基于时间空间的人类数字孪生体(TSHDT)来模拟HRI中的人类行为。TSHDT利用预测的骨骼,并结合正向和逆向运动学以及TS扩散先验分布来表示高维人类参数。逆向运动学从目标关节位置计算姿态参数,确保末端执行器的准确对齐,而正向运动学从姿态参数和人类参数模型中推导关节位置,确保物理上的合理性。这种运动学融合进一步通过TS扩散先验分布进行规范,有效避免了关节漂移和关节之间的非线性映射。在开发TSHDT的过程中,我们引入了人机时间空间(HRTS)扩散模型来减少人类运动的不确定性。HRTS扩散模型的独特扩散和去噪过程能够有效地将不确定性淹没在噪声中,并在后续的去噪步骤中准确预测人类运动。为了确保去噪过程更注重准确性而非多样性,我们提出了时间空间融合图卷积网络(TSFGCN)来捕捉人类和机器人之间的时空特征,并将其嵌入到HRTS扩散模型中。TSFGCN由门控图网络(GGN)、空间门控循环单元(SGRU)和TS-Attention组成。GGN通过GCN捕捉局部空间特征,通过超图神经网络捕捉全局空间特征。其独特的门控结构平衡并保留了最重要的空间信息。然后将关键的空间信息输入SGRU,与时间信息结合,生成时空特征。TS-Attention进一步增强了时空特征,同时捕捉长期的人类运动特征。最后,通过人机交互切割实验中的预测碰撞检测验证了TSHDT的有效性。研究的主要贡献和创新如下:
1. 我们提出了TSHDT方法,利用预测的骨骼并结合先验与正向和逆向运动学来模拟人类行为。这种整合使得高维人类参数的表示成为可能,有效避免了关节漂移和非线性映射。
2. 我们引入了HRTS扩散模型来增强骨骼预测,并提供了一个强大的扩散先验,特别解决了人类不确定性问题。HRTS扩散模型的独特扩散和去噪过程有效地将不确定性嵌入噪声中,提高了预测准确性。
3. 在HRTS扩散模型的去噪过程中,我们提出了TSFGCN来整合人类和机器人之间的全局和局部时空特征。TSFGCN采用门控结构来融合关节之间的局部和全局时空特征,确保去噪过程更注重准确性而非多样性。
4. 所提出的方法在多个实验中表现优于其他方法,在碰撞检测实验中获得了0.85的F1分数,在人类恢复实验中获得了61.9的MPJPE和41.7的PA-MPJPE,在预测实验中获得了13.04的ADE和15.08的FDE。

**本文的其余部分组织如下:**
第2节提供文献综述。第3节详细描述了所提出的方法。第4节概述了实验和验证。第5节提出了主要结论。

**人类骨骼运动建模和预测**
当前HRI中使用的人类运动建模和预测主要依赖于确定性方法。例如,循环神经网络[27,28]和卷积神经网络[29,30]已被广泛用于捕捉HRI应用中的人类运动的时空特征。先前的研究采用了改进的循环神经网络[31]和定制的卷积神经网络架构[32]来提高人类运动的可靠性和准确性。

**方法论**
在HRI场景中,安全性和效率往往是相互冲突的要求。重要的是使机器人能够在不牺牲效率的情况下模拟人类行为,以确保安全性。模拟人类行为特别具有挑战性,因为人类表现出不确定性,且他们的肌肉参数非常复杂。我们提出了TSHDT来解决上述问题。它通过扩散和去噪过程消除了人类不确定性,并通过...

**实验和验证**
本节介绍了我们方法的全面实验验证。评估首先介绍了实验平台(第4.1节)和收集的人机运动数据的特点(第4.2节),然后详细解释了参数配置(第4.3节)。接下来,我们分析了捕获的全局和局部时空特征(第4.4节)。为了系统地证明该方法的有效性,我们进行了双重验证。

**结论和未来工作**
在模拟人类行为的过程中,我们提出了TSHDT模型来表示高维人类参数,避免了关节漂移和关节之间的非线性映射。在开发TSHDT的过程中,我们引入了HRTS扩散模型来减少人类不确定性并准确预测人类运动。为了确保去噪过程更注重准确性而非多样性,我们整合了TSFGCN来融合人类和机器人之间的时空特征。最后...

**作者贡献声明**
Hongquan Gui:撰写——原始草稿、验证、软件、方法论、形式分析、概念化。
Ming Li:撰写——审阅与编辑、监督、项目管理、资金获取、概念化。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号