基于合成数据与域随机化的事件相机6D物体姿态估计学习方法
《IEEE Robotics and Automation Letters》:Learning 6D Object Pose Estimation with Event Cameras Using Synthetic Data and Domain Randomization
【字体:
大
中
小
】
时间:2025年12月16日
来源:IEEE Robotics and Automation Letters 5.3
编辑推荐:
本文针对传统RGB/RGB-D传感器在挑战性光照和高速运动场景下的局限性,首次提出了一种基于学习的事件相机6D物体姿态估计方法。研究人员通过开发增强事件编码器(AEE)和创新的域随机化策略,仅使用合成数据进行训练,在E-POSE数据集上实现了对物体旋转和平移的准确估计。该方法在光照变化和高速运动条件下表现出卓越的鲁棒性,为机器人抓取、分拣等应用提供了新的技术解决方案。
在机器人技术飞速发展的今天,准确感知环境中物体的三维位置和姿态(6D姿态估计)已成为实现自主抓取、分拣和协作机器人等应用的关键技术。传统方法主要依赖RGB或RGB-D相机,但这些传感器在动态光照条件和高速运动场景中表现不佳——运动模糊、曝光不足或过曝等问题常常导致姿态估计失败。
事件相机作为一种仿生传感器,以其微秒级的时间分辨率、高动态范围和仅响应亮度变化的特性,为解决上述挑战提供了新思路。然而,现有的事件相机姿态估计方法多为优化型算法,需要手工调整参数且仅适用于简单几何形状的物体,严重限制了其在实际场景中的应用潜力。
针对这一技术空白,来自阿联酋哈利法大学的研究团队在《IEEE Robotics and Automation Letters》上发表了创新性研究,提出了首个基于学习的事件相机6D物体姿态估计框架。该方法通过巧妙的域随机化策略,仅使用合成数据训练就能在真实事件数据上实现准确的姿态估计,打破了传统方法对大量真实标注数据的依赖。
研究方法上,团队主要采用了三个关键技术:首先,通过斐波那契采样生成覆盖半球空间的40,000个模板,构建完整的物体姿态代码库;其次,创新性地将RGB模板通过索贝尔滤波转换为边缘图像,并应用多种域随机化技术(包括边缘遮挡、噪声注入和几何变换)来弥合合成与真实数据之间的域差距;最后,设计基于U-Net架构的增强事件编码器(AEE),结合注意力机制学习对物体旋转敏感的紧凑特征表示。
研究人员采用斐波那契采样在半球空间生成4,000个视点,每个视点包含10个平面内旋转,共产生40,000个模板。通过Blender和BlenderProc进行物理真实的渲染,确保模板覆盖各种光照和材质条件。为适应事件相机的特性,RGB模板被转换为边缘图像,并添加随机遮挡、噪声和几何变换,模拟真实事件数据的不完整性和噪声特性。
AEE网络采用编码器-解码器架构,编码器包含5个卷积层将256×256输入图像压缩为512维特征向量,解码器通过5个反卷积层重建图像。网络引入多头注意力机制(MHA)增强特征表征能力,通过均方误差损失函数优化重建质量。关键创新在于使用二值化图像作为监督信号,避免复杂的事件数据预处理。
真实事件流通过累积5,000个事件生成事件帧,滑动窗口为500个事件。推理阶段,YOLOv11检测器首先定位物体区域,然后AEE提取查询图像特征,通过余弦相似度在模板代码库中检索最匹配的姿态。平移估计通过比较真实事件图像与匹配模板的边界框尺度关系实现,结合相机内参计算深度信息。
研究在E-POSE数据集的12个场景下评估了10个常见物体。评估采用ADD-S(Average Distance of Symmetric points)指标,同时报告了仅旋转估计和完整6D姿态估计的结果。表现最佳的物体包括饼干盒、漂白剂和糖盒,ADD-S 10%阈值成功率分别达到86.0%、83.6%和82.2%。具有明显几何特征和颜色变化的物体识别准确率较高,而纹理简单的物体(如木块)性能较差。
消融研究表明,域随机化技术对性能提升贡献显著,移除后平均准确率下降超过50%。多头注意力机制虽影响较小,但对某些物体(如剪刀和芥末瓶)仍有明显改善。与YOLO-6D、PoseCNN和EfficientPose等RGB方法的对比显示,AEE在事件数据上具有明显优势,同时推理速度达到5毫秒,满足实时性要求。
方法在处理绕光轴旋转(滚转)时精度较低,主要由于事件相机捕获的特征稀疏性导致旋转歧义。此外,当相机运动方向与物体边缘平行时,边缘特征捕获不完整,影响模板匹配准确性。低光照条件下的信噪比下降也会导致性能降低。
研究表明,基于合成数据和域随机化的学习框架能有效解决事件相机6D姿态估计的数据稀缺问题。该方法在保持高时间分辨率优势的同时,克服了传统优化方法对简单几何形状的依赖,为工业检测、机器人抓取等应用提供了实用解决方案。未来工作将探索更丰富的事件表示形式和增强的域随机化技术,进一步提升对复杂物体和挑战性场景的适应能力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号