图像分割引导的仿生四足机器人视觉追踪框架:一种结合全局信息指导模块与中枢模式生成器的创新方法

《Biomimetics》:Image Segmentation-Guided Visual Tracking on a Bio-Inspired Quadruped Robot Hewen Xiao, Guangfu Ma and Weiren Wu

【字体: 大 中 小 】 时间:2026年04月06日 来源:Biomimetics 3.9

编辑推荐:

  为解决传统视觉感知在复杂环境中分割精度不足、多尺度特征融合困难,以及四足机器人运动控制适应性受限的问题,研究人员开展了一项关于“图像分割引导的仿生四足机器人视觉追踪”的研究。他们提出了一种结合全局信息指导模块(GIGM)的级联卷积神经网络,提高了图像分割精度;并将分割结果嵌入中枢模式生成器(CPG),实现了协调的运动轨迹生成。实验表明,该框架在分割准确性和运动灵活性上优于现有方法,为复杂环境下的实时机器人导航提供了有效的视觉-运动闭环解决方案。

  
在探索机器人自主化的道路上,仿生四足机器人凭借其卓越的非结构化环境适应性和移动能力,成为了执行复杂任务的理想平台,例如导航、避障和追踪。然而,要让这些“机械生物”真正“看清”并“理解”它们所处的世界,进而做出灵活、精准的动作反应,仍然面临巨大挑战。一方面,视觉感知是机器人实现自主行为的关键,成本低廉的视觉传感器是理想选择,但如何在视觉信息复杂、模糊甚至退化的环境中,精确地“抠”出目标物体(即图像分割),是首要难题。传统方法依赖于手工特征,在复杂场景中往往力不从心。尽管深度学习,特别是卷积神经网络(CNN),带来了性能飞跃,但许多模型仍在平衡细节保留与全局语义理解之间挣扎,存在单尺度特征提取的局限。另一方面,仅仅“看清”还不够,机器人还需要将“看到”的信息转化为流畅、协调的肢体动作。现有的四足机器人运动控制方法,如基于特定步态的优化或强化学习,虽然能产生特定运动模式,但在适应动态变化的任务或环境方面普遍缺乏通用性和灵活性。如何构建一个既能“看得准”,又能“动得巧”的闭环系统,是提升四足机器人智能化水平的迫切需求。
为了同时应对视觉感知与运动适应性的挑战,一篇发表于《Biomimetics》的研究提出了一种创新的“图像分割引导的视觉追踪框架”。该研究在感知侧和控制侧双管齐下。在感知侧,研究人员设计了一个配备全局信息指导模块(GIGM)的级联神经网络。这个模块就像一个经验丰富的“指挥官”,能够融合来自低层的纹理细节和高层的语义特征,克服了单尺度特征提取的短板,从而在视觉杂乱或模糊的环境下显著提升了分割准确性。在控制侧,研究团队巧妙地将分割得到的高级信息,嵌入到一个仿生学启发的控制核心——中枢模式生成器(CPG)模型中。CPG能够生成协调的四肢和脊柱运动轨迹,使得机器人能够根据视觉反馈动态调整姿态,形成一个完整的视觉-运动闭环系统。实验评估表明,该框架在标准图像分割数据集和机器人追踪任务中均表现出色,在分割精度和运动灵活性上超越了现有方法,突显了其在复杂环境中实现实时机器人导航的巨大潜力。
为开展这项研究,作者主要运用了以下几个关键技术方法:1. 基于Swin Transformer的级联信息交互网络:采用Swin Transformer作为编码器,以提取多尺度特征,并通过提出的级联交互模式在滤波器层面进行跨分辨率信息交换,以减少细节损失。2. 全局信息指导模块(GIGM):设计了一个轻量级模块,利用更高层信息的全局上下文来校准和指导较低层特征,实现高效的全局到局部信息交互。3. 中枢模式生成器(CPG)控制框架:利用一个包含9个互连节点的CPG网络参数化机器人的爬行运动,能够以较少参数生成全向、多步态的运动指令,并易于与上层框架集成。4. 视觉伺服模块:结合分割后得到的二值化目标掩膜与深度相机信息,计算目标位置和期望偏航角,为CPG控制器提供输入。
研究结果
3.1. 图像分割
  • •
    3.1.1. 级联信息交互网络:通过构建级联的交互器,该网络能够实现跨不同分辨率层的结构化渐进式特征细化。研究表明,与直接串联特征图的传统方法相比,这种在滤波器层面进行多尺度信息交换的机制,增强了分层特征表示,有效促进了跨层级的信息流通。
  • •
    3.1.2. 全局信息指导模块:该模块接受经1×1卷积处理后的低层信息Fi,以及经过全局最大池化(GMP)和Sigmoid函数处理后的高层信息Fi+1。高层信息被压缩用于校准低层信息,其输出Di作为从较高层路径到较低层路径的信息指导。这一定量关系被公式(2)所描述,确保了在特征融合过程中同时保持局部细节和相对全局的上下文信息。
3.2. 基于CPG的低层控制器
研究采用了一个具有3个腿部自由度和5个脊柱自由度(仅能在水平面弯曲和伸展)的爬行四足机器人作为实验平台。跟踪框架的核心是将分割模型与基于CPG的低层控制器相结合。分割模型输出仅包含目标的二值图像,视觉伺服模块结合目标掩膜和深度信息计算目标位置与期望转向角。CPG的参数根据此转向角进行调整,生成相互耦合的节律信号,进而控制机器人的关节轨迹和足端位置,最终实现目标追踪。
3.3. 实验评估
论文在多个标准图像分割数据集上对所提出的分割网络进行了评估,结果表明其优于现有的先进方法。在机器人实机追踪任务中,该框架能够使机器人在动态环境中稳定、灵活地跟踪移动目标,验证了视觉-运动闭环系统的有效性。具体表现为分割精度更高,以及在复杂地形下的运动轨迹更加协调、适应性更强。
结论与讨论
本研究成功提出并验证了一个用于仿生四足机器人的图像分割引导视觉追踪框架。该框架的创新性主要体现在两方面:第一,在感知层面,通过引入全局信息指导模块(GIGM)的级联神经网络,有效提升了在视觉退化条件下的图像分割精度,为后续控制提供了更可靠的环境感知。第二,在控制层面,创造性地将分割输出嵌入到生物启发的CPG模型中,实现了感知与运动的深度耦合,形成了一个能够动态适应环境变化的闭环系统。
这项工作的意义在于,它展示了一种高效的、端到端的解决机器人复杂任务的方法论。它不仅证明了高级视觉信息(如图像分割)可以直接、有效地驱动低层的运动生成,为机器人“感知-行动”环路的设计提供了新范式;而且所提出的GIGM模块和CPG集成策略具有轻量化和通用性的优点,为在计算资源有限的嵌入式平台上实现实时、鲁棒的自主导航系统提供了可行的技术路径。未来,该框架有望被扩展应用于更广泛的机器人平台和更复杂的任务场景,如野外救援、工业巡检等,推动智能机器人向更高水平的自主性与环境适应性迈进。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号