可靠性门控立体视觉与2.5D传感器融合用于遮挡制造工作空间中的主动机器人观测

《Sensors》:Reliability-Gated Stereo Vision and 2.5D Sensor Fusion for Active Robotic Observation in Occluded Manufacturing Workspaces

【字体: 大 中 小 】 时间:2026年09月27日 来源:Sensors 4.0

编辑推荐:

  在遮挡的制造工作空间中,当不可靠的立体深度、缺失的障碍物高度信息以及不可行的视点命令在感知–建图–规划回路中传播时,主动机器人目标观测变得困难。本研究开发了一种可靠性门控立体视觉和2.5D融合框架,用于眼在手(eye-in-hand)立体系统下的主动目标观测。

  
在遮挡的制造工作空间中,当不可靠的立体深度、缺失的障碍物高度信息以及不可行的视点命令在感知–建图–规划回路中传播时,主动机器人目标观测变得困难。本研究开发了一种可靠性门控立体视觉和2.5D融合框架,用于眼在手(eye-in-hand)立体系统下的主动目标观测。该框架在融合前筛选低质量立体观测,验证被接受的观测是否产生有效的建图更新,并维护一个2.5D占据-高度(occupancy-height)表示以生成高度感知的视点。利用该表示,受约束的语义–几何排序选择下一最佳视点(next-best-view,NBV)候选,同时执行反馈、失败区域回避和锚点恢复维持闭环连续性。研究团队在不同难度等级的遮挡机器人工作单元场景中进行了闭环仿真。该方法在所有简单(Easy)和中等(Medium)场景中均达到100%成功率。在Medium2中,2D基线和2.5D表示的成功率分别为80%和100%;相应的成功试验平均搜索步数分别为6.12 ± 0.64和3.40 ± 0.70。真实场景立体前端验证支持遮挡下的深度恢复、质量门控观测筛选、初始2.5D地图融合和首次NBV生成。这些结果表明,可靠性门控立体融合和高度感知视点规划可以改善遮挡制造工作空间中的主动机器人观测。
主动机器人目标观测是自动化制造工作空间、机器人检测和视觉引导操作中的常见需求。在真实工作单元中,工件、夹具、工具和邻近结构可能在初始相机视角中部分或完全遮挡目标,因此单次被动观测往往不足,系统必须更新场景表示并选择后续视点,直至目标可靠可见。下一最佳视点(next-best-view,NBV)规划因此成为遮挡制造环境中闭环主动感知的核心。然而,立体视觉提供的深度估计可能不可靠,弱纹理、掠射视角、近场遮挡和深度不连续都会导致深度错误,若直接融合会污染全局地图并误导后续视点决策。同时,纯2D地图无法表示障碍物高度,限制抬升和绕行视点的生成。固定机器人工作单元中,候选视点还必须满足工作空间、位姿、间距和运动稳定性约束。这些挑战促使研究人员开发一种能够耦合感知、建图、规划和执行的可靠性门控框架。

研究人员提出了一种可靠性门控立体视觉与2.5D融合框架,用于眼在手(eye-in-hand)立体系统下的主动目标观测。该框架在融合前筛选低质量观测,验证被接受观测是否产生有效地图更新,并维护2.5D占据-高度(occupancy-height)表示以生成高度感知视点。通过受约束的语义–几何排序选择NBV候选,同时利用执行反馈、失败区域回避和锚点恢复维持闭环连续性。闭环仿真和真实场景前端验证表明,该方法提高了遮挡环境下的任务成功率和搜索效率;与2D基线相比,2.5D表示在Medium2场景将成功率从80%提升到100%,搜索步数从6.12±0.64降至3.40±0.70。这些结果说明可靠性门控融合和高度感知视点规划对实际应用具有重要意义。

关键技术方法包括:在CoppeliaSim Edu仿真环境中,使用UR10机械臂和眼在手立体相机构建闭环仿真;RAFT-Stereo用于从立体图像对估计稠密深度;自训练的YOLOv8模型仅作为弱目标线索和停止信号;全局地图为以机器人基座为中心的2.5D占据-高度地图(2.4 m,分辨率0.01 m),融合范围限制在有效环带0.35–1.00 m内;候选视点需满足俯仰角[-60°,-10°]、半径0.40–1.00 m、高度0.05–0.70 m等约束。执行反馈通过到达检查、失败黑名单和锚点恢复实现。真实场景验证使用HBV-1780-2 S2.0立体相机,六视角初始化,九个预定义NBV候选。这些方法共同构成了从观察到决策的完整闭环。

4.1 实验设置(Experimental Setup)
在CoppeliaSim Edu中搭建UR10机械臂和眼在手立体相机的仿真环境,RAFT-Stereo估计稠密深度,YOLOv8提供弱目标线索,地图为2.5D占据-高度地图。场景分为Easy、Medium、Severe Occlusion三族,每个场景重复10次试验,最大NBV预算8步。该设置为量化评估提供了标准平台。

4.2 评估指标(Evaluation Metrics)
采用成功率、平均搜索步数、平均有效感知步数、最终置信度和有效地图更新率等指标。成功率反映任务完成度,搜索步数衡量效率,有效感知步数和地图更新率反映观测对全局地图的贡献。这些指标共同评估闭环性能。

4.3 闭环仿真性能(Closed-Loop Simulation Performance)
在Easy和Medium场景及Severe Occlusion1中均达到100%成功率,在最困难的Severe Occlusion2中成功率为70%。平均搜索步数随遮挡难度增加而增加,有效地图更新率与收敛速度相关。这说明可靠性门控融合和高度感知规划支持了大多数遮挡场景下的稳定观测。

4.4 消融研究(Ablation Study)
去除质量门控不改变成功率但增加搜索步数,说明筛选提高了效率;去除语义引导使Medium2成功率从100%降至80%、Severe Occlusion1从100%降至70%,表明弱语义线索有助于目标定向;去除执行反馈使Severe Occlusion1成功率降至50%,有效地图更新率从54.6%降至9.0%,说明可行性检查和恢复机制对闭环连续性至关重要。

4.5 2D与2.5D地图表示对比(Comparison Between 2D and 2.5D Map Representations)
在Medium2中2.5D将成功率从80%提升到100%,平均搜索步数从6.12±0.64降至3.40±0.70;Severe Occlusion1中2.5D成功率从50%提升到100%。高度层提供了障碍物高度信息,支持障碍物顶部视点和高度自适应选择,优于纯2D的固定高度侧视。

4.6 真实场景立体前端验证(Real-Scene Stereo Front-End Validation)
真实立体输入下,所有案例均构建了初始2.5D地图并产生首个NBV;障碍物高度恢复的MAE为0.19 cm,RMSE为0.23 cm。质量门控能拒绝退化视图,语义触发能重新排序候选。真实场景验证支持深度恢复、质量筛选、初始融合和首NBV生成,但未进行完整闭环部署。

讨论部分指出,2.5D表示的优势在于显式高度层支持障碍物顶部视点,但更高的地图更新率不一定保证更高任务完成率。执行反馈的缺失会导致规划器在失败后重复选择高风险视点。当前框架的局限性包括:资源受限时有效更新不连续导致Severe Occlusion2成功率下降;真实场景验证限于前端;未与外部NBV方法比较;高置信度假阳性检测可能提前终止搜索,需要时间或多视角确认。

结论部分翻译如下:本文提出了一种可靠性门控立体视觉和2.5D融合框架,用于遮挡制造工作空间中的主动机器人目标观测。该框架将质量门控观测筛选、地图更新验证、2.5D占据-高度建图、语义-几何NBV规划与执行反馈耦合在闭环感知-建图-规划过程中。通过拒绝不可靠观测、保留障碍物高度信息并将执行失败反馈给规划器,该方法提高了遮挡条件下的主动观测稳定性。闭环仿真在所有Easy、Medium场景和Severe Occlusion1中取得100%成功率;与2D基线相比,2.5D表示将Medium2成功率从80%提升至100%,成功试验平均搜索步数分别为6.12±0.64和3.40±0.70。真实场景前端验证表明感知至首视点流程可支持深度恢复、质量门控筛选、初始2.5D融合和首NBV生成。当前比较局限于所提框架内部配置,不能证明优于现有NBV规划器。未来工作将扩展至长期在线部署,包括半动态工作空间;在匹配任务条件下与全3D体积表示比较;并评估轻量级深度处理实现。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号