基于外观特征跟踪的软体机器人无标记免训练三维形状重建方法AFT

《IEEE Robotics and Automation Letters》:AFT: Appearance-Based Feature Tracking for Markerless and Training-Free Shape Reconstruction of Soft Robots

【字体: 大 中 小 】 时间:2025年12月12日 来源:IEEE Robotics and Automation Letters 5.3

编辑推荐:

  本研究针对软体机器人形状感知中依赖复杂相机配置、特定背景或大规模训练数据的问题,提出了一种基于视觉、无标记且免训练的框架AFT。该框架利用机器人自然表面纹理作为隐式视觉标记,通过分层匹配策略解耦局部配准与全局运动学优化,仅需初始三维重建与运动学标定即可实现实时形状跟踪。实验表明,该方法在实时操作中平均末端误差为2.6%,且在遮挡、视角变化等复杂环境下保持稳定,为动态现实场景提供了可靠、低成本的部署方案。

  
在机器人技术飞速发展的今天,软体机器人以其固有的柔顺性和安全性在医疗手术、农业采摘和人机交互等领域展现出巨大潜力。然而,这种高度灵活的连续体结构也带来了显著的形状感知挑战。传统基于传感器的方法需要将传感元件嵌入机器人内部或表面,不仅限制其变形能力,还增加了制造成本和复杂性。相比之下,基于视觉的方法虽具有非接触、低成本的优势,但现有技术往往受限于复杂的多相机系统、对背景对比度的严格要求,或需要大量标注数据进行模型训练,严重制约了其在真实场景中的实用性和鲁棒性。
针对上述问题,密歇根州立大学的Shangyuan Yuan等人在《IEEE Robotics and Automation Letters》上发表了题为“AFT: Appearance-Based Feature Tracking for Markerless and Training-Free Shape Reconstruction of Soft Robots”的研究论文,提出了一种创新的视觉驱动框架。该框架的核心突破在于摒弃了对物理标记或预训练的依赖,转而利用软体机器人自身的表面纹理作为天然的可追踪特征。通过将局部分区对齐与全局运动学优化相解耦的分层重建策略,仅依靠单目RGB-D相机即可实现实时、高精度的三维形状重建,在遮挡、光照变化和视角切换等复杂条件下仍保持稳定性能。
研究团队采用的关键技术方法主要包括:首先通过多视角图像采集与Segment Anything Model (SAM)分割构建静态参考模型,并利用ResNet-50的多层特征提取构建多尺度外观描述符;其次建立表面点与机器人运动学状态的映射关系,基于分段常曲率(Piecewise Constant Curvature, PCC)模型描述机器人形变;在线重建阶段通过结合特征相似性与空间邻近度的双向匹配算法实现实时特征追踪,并采用分区刚性变换估计与全局运动学参数优化相结合的分层策略提升计算效率。
静态参考模型构建
通过COLMAP多视角重建系统生成未变形机器人的稠密点云,结合SAM进行自动分割与最远点采样(Farthest Point Sampling, FPS)降噪。创新性地从ResNet-50的Res2、Res3、Res4层提取 receptive field 分别为7×7、35×35、99×99像素的多尺度特征,通过跨视角特征一致性筛选构建鲁棒的外观描述符。运动学标定阶段将表面点与机器人骨干线参数关联,建立基于正向运动学(Forward Kinematics, FK)的形变预测模型与逆向运动学(Inverse Kinematics, IK)优化框架。
在线形状重建
实时处理RGB-D流时,首先通过轻量化SAM实现机器人分割与点云去噪。特征匹配阶段引入余弦相似度与空间距离加权评分机制,利用匈牙利算法求解最优对应关系,并动态更新参考模型特征以适应外观变化。针对传统优化方法计算耗时的问题,提出将机器人划分为K个刚性分区,独立估计各分区变换后,通过最小化分区基准点与运动学预测位置的误差实现全局参数优化。
实验验证与分析
以气动驱动的两段式连续体软机器人为平台,在50组随机压力激励下与OptiTrack光学运动捕捉系统对比验证。结果显示平均末端相对误差仅为2.6±1.3%,显著优于需标记或固定相机配置的现有方法。在遮挡测试中,当遮挡块位置低于图像高度55%或宽度小于25%时误差保持稳定;多视角实验中前右、前左、侧左三个视角误差分别为2.8±0.8%、2.6±0.5%、2.6±0.4%,证明方法对视角变化的适应性。
闭环控制验证
在形状控制与末端位置跟踪任务中,AFT重建结果与OptiTrack基线性能相当:八点平均形状误差分别为1.638±1.034cm与1.636±0.972cm,末端定位误差分别为3.287±1.649cm与3.017±2.079cm。控制器通过角向加权函数调节六腔室压力,实现了对曲率κ与弯曲方向φ的精确跟踪。
非结构化环境演示
在室内外复杂场景中,该系统无需重新训练或任务特定调参即可稳定运行。如图6所示,在背景杂乱、光照变化及局部遮挡条件下,仅凭RGB-D输入仍能准确重建机器人三维形状,凸显其在实际应用中的部署潜力。
本研究通过将自然表面纹理转化为隐式视觉标记,突破了传统视觉形状感知对标记物、训练数据或复杂相机配置的依赖。分层重建策略在保持精度的同时将处理速度提升至2.5Hz,较传统ICP方法提速近24倍。尽管方法在光滑表面应用存在局限,但其为软体机器人提供了一种可快速部署、低成本且抗干扰的感知解决方案,为医疗、农业等复杂环境中的自主操作奠定了技术基础。未来通过融合显式标记或学习型外观模型,可进一步拓展其在更广泛软体机器人平台的应用边界。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号