迈向感知组装:一种基于边缘视觉网络的增强现实(AR)监控方法,用于获取大型航空航天部件的全球形状和机械信息

《JOURNAL OF MANUFACTURING SYSTEMS》:Towards perceptive assembly: An edge vision network-enabled augmented reality (AR) monitoring method for global shape and mechanical information in large aerospace components

【字体: 大 中 小 】 时间:2025年12月30日 来源:JOURNAL OF MANUFACTURING SYSTEMS 14.2

编辑推荐:

  针对大型柔性航空结构组装中实时高精度监测的挑战,提出集成边缘视觉网络、物理信息稀疏传感与增强现实的可视化框架,实现亚毫米级全局位移和应变场重建,提升装配过程透明度和决策效率。

  
杨张|徐旺|崔家成|金玉琳|陈启航|卢永康|刘伟
大连理工大学机械工程学院,中国大连,114024

摘要

在大型柔性航空航天结构组装过程中,实现实时、高保真度和交互式的全球机械响应监测仍然是一个关键且尚未解决的挑战。本文提出了一种感知式组装框架,该框架整合了分布式边缘视觉网络、基于物理的稀疏感测技术和沉浸式增强现实(AR)可视化技术,以实现全场结构状态监测。部署了一个模块化的边缘感测系统,用于快速、高精度地测量米级部件的分布式位移。为克服视图不连续性问题,引入了分层坐标变换流程,以在非重叠的相机视角下进行全局配准。基于稀疏位移数据,我们开发了一种受限传感器优化策略,能够实时重建全局位移和应变场。通过HoloLens 2,该系统提供了直观的AR叠加层,在组装过程中提供沉浸式的现场机械反馈。在复合材料面板上的验证实验表明,该系统具有亚毫米级的重建精度和实时性能,显著提高了组装过程的透明度和决策效率。这项工作为下一代大型航空航天结构的智能制造建立了一个可扩展的基于AR的感知基础设施。

引言

在航空航天工业中,大型结构部件(如飞机机身面板)的组装是制造过程中最复杂且耗时最多的阶段之一。据估计,组装操作占总生产时间的约40%,因此它们是制造质量和产量的关键决定因素[1]。近年来,飞机生产线上的组装智能化在智能制造的背景下受到了越来越多的关注。在所有支持技术中,感测和计量技术构成了智能制造系统的核心。实时获取部件级别的信息(如位置、方向和表面几何形状)是基于模型的定义(MBD)范式的基础[2][3]。然而,当前的工业测量过程主要是离线的且不连续的,缺乏实时反馈和空间覆盖。这种脱节阻碍了操作人员和智能设备对系统演变状态的全面理解,并限制了数据驱动反馈对智能制造转型的有效支持[4]。
为了克服组装过程中的这些感知瓶颈,虚拟现实(VR)和增强现实(AR)等沉浸式技术开始应用于增材制造、工厂监控和人机交互[5][6]。特别是AR,在复杂的航空航天组装场景中表现出强大的潜力,因为它能够提供实时的、上下文感知的指导[7][8]。与主要用于模拟和培训的VR相比,AR更适合直接支持车间任务执行。通过将测量数据与现场操作人员无缝结合,AR系统可以显著减少认知工作负担,提高任务执行效率,并解决计量与物理组装之间的长期分离问题。与汽车制造等高度自动化的领域不同,航空航天组装对精度和适应性有更严格的要求。在这种情况下,AR辅助系统作为智能增强层,结合了人类的决策能力,以应对制造环境中常见的过程变异性、不确定性和多源干扰[9][10]。
然而,大多数现有的AR系统主要关注刚体环境以及离散测量信息的叠加[11]。尽管这种叠加可以传达选定的实时反馈,但它们往往无法全面表示结构状态。在大型、刚性较差的部件(如复合材料机身面板)的背景下,这种限制尤为明显,因为连续场信息(如全场位移或应变分布)极难获取和可视化。
此外,即使在广阔的空间域内获取稀疏的实时测量数据也存在重大的技术挑战。在许多航空航天组装环境中,由于几何遮挡、可访问性限制以及避免干扰组装操作的需要,实时光密传感器的大规模部署是不切实际的。因此,大多数针对大型部件的AR叠加依赖于离线测量数据(例如来自激光跟踪器的数据)或静态模型预测,这些数据无法捕捉组装过程中的结构动态演变[12][13][14]。因此,组装过程仍然主要依赖于手动调整,这些调整基于有限或过时的信息。这种试错方法不仅降低了效率,还增加了错误传播、局部错位和未检测到的应力集中的风险——尤其是在涉及柔性或形状敏感部件的复杂多步骤操作中。
为了克服这些限制,有必要超越简单叠加稀疏数据的方法,而是追求AR系统与部件的几何模型和物理模型之间的更深层次集成。通过将场一致的机械状态重建嵌入AR界面,系统可以为操作人员提供关于结构内在高维行为的洞察——远远超出了仅通过手动检查所能感知的范围。这种范式转变使AR系统能够实时提供沉浸式、直观且上下文感知的全场机械响应表示。这种能力使操作人员能够主动识别潜在问题,即时优化组装策略,并执行高度信息化的调整。最终,这是实现感知式组装的关键一步,其中人类决策基于部件在组装过程中的全场几何形状和内部机械状态的全场重建——而不仅仅是基于表面观察或稀疏测量。在这项工作中,增强现实被用作交互层,通过在现场渲染这些状态来实现这一范式,并基于我们之前的感知驱动监测框架[15]。受到具有全局结构信息透明度的感知式组装愿景的驱动,本研究提出了一种系统级方法——完全整合了分布式测量网络、物理重建模型和实时软件部署——以实现米级航空航天部件内在机械状态的沉浸式和动态可视化(补充视频11)。
本工作的核心贡献总结如下:
(1) 边缘视觉网络:为了解决米级空间域中稀疏数据获取的挑战,开发了一个分布式边缘视觉网络,并结合了使用桥接坐标系统(BCS)的分层多阶段变换策略。该系统能够在非重叠视图下实现准确的全局配准,并支持60 Hz的实时3D位移流式传输,用于AR驱动的监测。
(2) 具有特征约束的稀疏感测:提出了一种基于物理的重建框架,结合了参数化降阶建模和受限传感器放置。该方法将结构特征(例如孔洞、关键区域)整合到感测策略中,确保在空间和定量限制下进行准确的全场估计。
(3) 感知-AR集成:通过结合边缘相机、实时重建算法和基于HoloLens的可视化技术,实现了一个统一的软硬件系统。该平台支持位移、应变和应力的沉浸式场叠加,从而在大型部件组装过程中实现数据驱动的交互和自适应调整。
本文的其余部分结构如下。第2节回顾了有关AR辅助组装和大型部件全场感知的相关工作。第3节概述了所提出的AR感知系统的整体框架。第4节描述了边缘视觉感知网络的设计和校准。第5节介绍了SS3D稀疏感测和全场重建方法。第6节详细介绍了AR系统的软件实现和交互功能。第7节讨论了实验演示和系统性能。最后,第8节总结了本文并指出了未来的研究方向。

节选内容

大型航空航天部件的测量技术

几何和物理信息的测量在航空航天组装中起着关键作用。对于几何测量,高精度仪器(如激光跟踪器、双目立体视觉系统和光学扫描仪)已广泛应用于大型部件的组装。例如,范等人[16]提出了一种基于双目视觉和先验几何的智能姿态测量方法,实现了大型部件的高精度和高效率姿态估计。梅等人[17]

AR感知系统架构

为了弥合上述研究空白,本研究提出了一种感知驱动的AR框架,能够实时重建和可视化大型柔性航空航天部件的全场机械状态。所提出的AR感知系统的整体架构如图1所示。
该系统的核心目标是实现大型航空航天部件内在机械状态的全局监测。为此,该框架引入了系统级

边缘视觉感知网络:构建和校准

为了在复杂的现场组装条件下实现离散位移的准确和实时测量,开发了一个边缘视觉感知网络。网络中的每个节点都包含一个红外立体视觉单元,该单元独立捕获部件机械敏感区域中的视觉特征(如特征孔洞或固定的辅助标记)。这些节点能够自主计算和获取三维坐标数据

结构状态的全局高保真重建

为了在稀疏测量条件下实现对大型航空航天部件变形状态的高保真感知,提出了一种基于参数化正交分解(PPOD)的升降法重建方法。关键思想是从代表性的参数化载荷情况预先计算出一个低维变形子空间,然后通过投影到该子空间中来重建全局变形场。
为了生成代表性的

基于边缘的视觉测量模块的集成

如图5所示,所提出系统中的每个感测单元作为一个自主的双目立体视觉模块运行,构成了一个可扩展的分布式感知网络的边缘级基础设施。该单元集成了平行轴配置的红外立体相机,并通过850纳米波长的NIR照明模块进行增强,以改善在航空航天组装线上常见的可变环境光照条件下的成像一致性。

基于AR的监测演示系统配置

组件级验证的实验演示系统如图9所示,详细配置指南见表1。边缘视觉相机集成到一个定制设计的夹具中,能够实时测量复合材料加固面板表面的标记和几何特征。在实验之前,大量反光标记被手动附着在部件表面;这些标记仅用于精度评估

结论

本文提出了一种基于增强现实(AR)的统一感知框架,用于实时监测大型柔性航空航天部件的组装过程。该系统整合了分布式边缘测量、基于物理的稀疏重建和沉浸式可视化技术,提供了准确、可解释且可部署的场级感知。主要结论总结如下:
  • 1.
    开发了一个边缘视觉网络,以支持宽范围

CRediT作者贡献声明

杨张:撰写——审稿与编辑、撰写——初稿、可视化、验证、软件、方法论、资金获取、正式分析、数据管理。徐旺:撰写——审稿与编辑、撰写——初稿、软件、方法论、概念化。崔家成:撰写——审稿与编辑、撰写——初稿、可视化、验证、方法论、资金获取、正式分析、数据管理、概念化。金玉琳:撰写——审稿与编辑

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

作者感谢国家自然科学基金的财政支持(资助编号:52275519)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号