《Neural Networks》:AstroHSP: A Hybrid Supervision Framework for Robust Monocular Astronaut Pose Estimation
编辑推荐:
准确的三维宇航员姿态估计面临严重形变、自我遮挡和极端域偏移挑战,且缺乏三维真实标注。本文提出AstroHSP两阶段框架:第一阶段采用混合域训练和域适应批归一化机制,提升2D关键点估计在复杂光照和严重遮挡下的鲁棒性;第二阶段通过双流Transformer建模时空特征,结合条件扩散模型迭代优化三维姿态,有效缓解深度不确定性。为解决该领域数据稀缺问题,构建了包含3151张图像的AstPose数据集,涵盖舱内操作、出舱活动等典型场景,并采用两阶段混合训练策略。实验表明,该框架在多种标准数据集和真实太空任务场景中均显著优于现有方法。
作者:姜浩航(Haohang Jian)、肖宇豪(Yuhao Xiao)、肖雄武(Xiongwu Xiao)、严建国(Jianguo Yan)、涂志刚(Zhigang Tu)
所属机构:中国湖北省武汉市武汉大学测绘与遥感信息工程国家重点实验室(State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University)
摘要
精确的3D人体姿态估计对于宇航员的安全和人体工程学分析至关重要,但在存在严重变形、强烈自我遮挡以及极端领域差异的情况下,这仍然是一个根本性的挑战,尤其是在缺乏3D真实标注的情况下。为了解决这个问题,我们提出了AstroHSP,这是一个强大的两阶段框架,它将领域自适应的2D姿态估计与具有不确定性意识的3D姿态提升相结合。在第一阶段,采用了一种混合领域训练策略,并结合了一种新颖的领域自适应批量归一化机制,以在极端外观变形和严重遮挡条件下实现稳定且一致的2D关键点预测。在第二阶段,我们设计了一个先进的2D到3D提升模块,该模块使用双流Transformer来建模时空依赖性,并结合条件扩散模型来迭代细化粗糙的3D姿态,从而有效地建模和减轻固有的深度不确定性。为了应对在高度受限目标领域中实际无法获得3D真实数据的问题,我们进一步引入了一种两阶段混合训练策略:首先在公共数据集上进行全监督预训练,然后通过联合优化进行微调,在保留公共数据全监督的同时,在目标领域引入弱几何约束。我们引入了AstPose数据集,该数据集来自真实太空任务,并在包括穿着厚重服装和高度受限场景在内的多个数据集上进行了全面评估。AstroHSP在多个数据集上表现出优异的性能,证明了我们专门设计的框架在高度受限领域中进行鲁棒3D姿态泛化的有效性。
引言
近年来,得益于大规模数据集和日益复杂的深度学习架构,人体姿态估计技术取得了快速进展。现代2D估计器(如OpenPose(Cao等人,2021年)、HRNet(Sun等人,2019年)和SimCC(Li等人,2022年)以及3D提升方法(Mehraban等人,2024年;Pavllo等人,2019年;Zhang等人,2022年;Zhu等人,2023年)在各种日常活动、监控场景和人机交互任务中取得了可靠的性能。然而,这些进展在很大程度上依赖于目标领域与标准人体数据集具有相似的视觉特征这一假设。当外观分布显著偏离时(例如在高度受限或特定领域环境中),现有方法的性能会急剧下降。
宇航员图像是这种领域差异的极端例子。宇航员在狭小的航天器环境中操作,穿着笨重且膨胀的宇航服,这显著改变了肢体几何形状并掩盖了关键解剖标志。工具、电缆和设备造成的强烈自我遮挡,以及严重的光照变化,进一步增加了可靠的关节定位的复杂性。此外,在真实舱外活动(EVA)条件下获取宇航员的精确3D标注极其困难,这使得基于监督的3D训练不切实际,从而需要鲁棒的2D估计和可靠的3D提升。此外,微重力环境的独特运动学约束引入了新的深度歧义,传统的2D到3D提升模型往往无法解决这些问题。
为了促进这一关键但研究不足领域的研究,我们引入了Astronaut Pose(AstPose)数据集。该数据集包含来自真实太空任务的3,151张高分辨率图像,涵盖了各种具有挑战性的场景,如舱内操作、舱外活动和中性浮力实验室(NBL)训练。AstPose提供了标准的2D关键点和边界框标注,明确捕捉了复杂光照和严重遮挡等极端视觉挑战,以及在地面数据集中很少见的微重力引起的独特姿态。
为了利用AstPose数据集并应对极端领域差异和3D数据稀缺的双重挑战,我们提出了一个两阶段框架AstroHSP:首先在宇航员图像中估计可靠的2D关键点,然后通过显式建模空间-时间结构和深度不确定性将其提升到3D。在第一阶段,我们基于YOLOv7-Pose(Wang等人,2023年)架构开发了一个鲁棒的2D姿态估计模块。由于宇航员图像的视觉领域与公共人体姿态数据集有显著差异,仅直接在其中一个领域进行训练会导致泛化能力差。因此,我们采用了一种混合领域训练策略,结合了宇航员标注和大规模公共数据集。为进一步解决特征分布不匹配的问题,我们引入了一种轻量级的领域自适应批量归一化机制,该机制在不修改整体网络结构的情况下对领域特定统计信息进行对齐。这种设计即使在严重遮挡和宇航服引起的外观变形下也能产生稳定且一致的2D关键点。
在第二阶段,我们的2D到3D提升模块将精细化的2D姿态提升到3D。该架构依赖于双流Transformer,能够高效捕捉时空上下文特征。关键的是,我们引入了一个条件扩散模型,利用高质量特征来指导粗糙3D姿态的迭代细化,从而明确建模并减少固有的深度歧义。为了解决目标宇航员领域缺乏3D真实数据的问题,我们采用了两阶段混合训练策略:模型首先在公共3D姿态数据集上进行全监督预训练以学习通用3D提升能力,然后通过联合微调进行 fine-tuning,在此过程中模型同时受到公共数据的全监督和目标AstPose数据的弱几何约束(重投影和骨骼长度一致性)的指导。这种独特的联合优化确保了核心3D提升能力得以保持,同时有效适应目标领域的特点。
• 我们收集了涵盖多种宇航员场景的AstPose数据集,包括复杂光照、强烈遮挡、拥挤的舱内环境和舱外活动场景。这种多样性提供了评估2D姿态估计鲁棒性所需的实际外观变化。
• 我们提出了一种新颖的两阶段宇航员姿态处理流程,该流程结合了领域自适应批量归一化和混合领域训练,并使用混合监督策略从单目图像中将宇航员姿态提升到3D,而无需宇航员的3D真实数据。据我们所知,这是第一个无需依赖宇航员特定3D标注即可实现单目3D宇航员姿态估计的框架。
• 我们设计了一个先进的提升模块,该模块结合了双流Transformer进行高效的特征编码,以及条件扩散模型来迭代细化姿态并鲁棒地建模固有的深度不确定性。
章节摘录
宇航员运动分析
分析和量化宇航员运动不仅对于评估舱外活动(EVA)性能至关重要,而且对于评估舱内活动(IVA)操作和基于地面的训练场景(如中性浮力测试或模拟设施)也非常重要。在这些环境中,运动分析有助于改进宇航服设计、优化操作程序、评估工作负载,并在微重力和地球类似条件下确保安全。
数据集
为了解决通用人体姿态估计与高度专业化的宇航员场景之间的领域差异,我们引入了Astronaut Pose(AstPose)数据集。该数据集专门为在复杂环境中执行各种任务的宇航员提供了2D关键点真实标注,例如舱外活动(EVA)和在轨操作。AstPose数据集包含来自公开可用视频和图像来源的3,151张高分辨率图像。
框架概述
整个框架被设计为一个两阶段流程,以鲁棒地解决微重力宇航环境中的3D人体姿态估计固有挑战,特别是严重领域差异和缺乏精确3D真实数据(GT)的问题。详细的工作流程如图2所示。
第一阶段:2D姿态检测和预测(第4.2节)。这一初始阶段侧重于通过调整鲁棒的2D姿态估计器(YOLOv7-Pose)来适应挑战性领域。
数据集和评估指标
我们在MPII人体姿态数据集(Andriluka等人,2014年)和我们的Astronaut Pose数据集上评估了我们的2D姿态估计器。MPII包含约25,000张图像和40,000个标注的人体实例,涵盖了各种日常活动,每个人体都标记了16个关键点和相应的可见性标志。根据标准协议,我们报告了测试集上的正确关键点百分比(PCKh),如果预测值在头部长度的0.5范围内,则认为预测正确。
讨论
在这项工作中,我们提出了AstroHSP,这是一种专为在具有挑战性的宇航员场景中进行鲁棒3D人体姿态估计而设计的新颖两阶段流程。我们的框架成功解决了该领域的两个主要障碍:严重的领域差异和3D真实数据(GT)的稀缺性。第一阶段采用领域自适应批量归一化(BN-A)和混合领域训练进行可靠的2D预测。第二阶段利用双流Transformer和条件扩散模型。
CRediT作者贡献声明
姜浩航(Haohang Jian):撰写——原始草案。
肖宇豪(Yuhao Xiao):数据整理、方法论、验证、可视化。
肖雄武(Xiongwu Xiao):可视化、监督。
严建国(Jianguo Yan):形式分析、数据整理。
涂志刚(Zhigang Tu):撰写——审稿与编辑、监督、方法论。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
本工作得到了国家自然科学基金项目(U25A20537)、深圳市科技计划(JCYJ20230807090103008)和广东省基础与应用基础研究基金(No.2024A1515010456)的支持。