通过生成式人工智能增强的人机协作实现焊接机器人的预测性人类控制

《Journal of Manufacturing Processes》:Human predictive control of welding robot through generative AI enhanced human-robot collaboration

【字体: 大 中 小 】 时间:2026年09月29日 来源:Journal of Manufacturing Processes 7.8

编辑推荐:

   摘要人机协作(HRC)为自动化复杂的制造过程(如电弧焊接)提供了一种变革性的方法,这种方法要求首先实现人类对机器人工艺的自适应控制,然后提取人类智能以实现自主运行。然而,一个有效的HRC焊接系统必须同时解决通过易于遥操作的能力实现物理执行,以及增强操作员的自适应决策能力这两个

  

摘要

人机协作(HRC)为自动化复杂的制造过程(如电弧焊接)提供了一种变革性的方法,这种方法要求首先实现人类对机器人工艺的自适应控制,然后提取人类智能以实现自主运行。然而,一个有效的HRC焊接系统必须同时解决通过易于遥操作的能力实现物理执行,以及增强操作员的自适应决策能力这两个问题。在本工作中,我们开发了一个易于操作的基于虚拟现实(VR)的机器人遥操作HRC系统,旨在支持远程焊接控制和操作员决策。具体来说,该系统允许操作员通过手持手柄远程调整焊接炬的运动,同时进入一个展示多源实时信息的沉浸式VR环境,从而克服了直接现场操作的危险和局限。其核心是一个经过战略设计的生成模型——混合潜在变分自编码器(HL-VAE),该模型在潜在空间中解耦焊缝图像的结构信息和随机信息,从而能够对所研究焊接条件下的熔池演化进行视觉预测。预测的熔池视图为预判工艺演化和做出主动控制决策提供了视觉支持。与三名经过培训的操作员的对比实验表明,在测试条件下,控制响应和背面焊道宽度均匀性均有所改善。本工作展示了一种以人为本的HRC范式,将人类专业知识、机器人执行能力和计算智能相结合,服务于智能制造。

引言

制造业正在经历快速变革,变得越来越高效、灵活和生产化。机器人化是推动这一转变的主要驱动力,而焊接一直处于这一变革的前沿。根据国际机器人联合会的数据,"全球50%的机器人用于焊接" [1]。其中,"33%用于点焊,16%用于电弧焊,1%用于其他类型的焊接作业" [1]。这种分布并不令人意外:点焊主要需要电极定位,机器人需要的适应性较小。相比之下,电弧焊需要大量的适应性——这是人类焊工天然具备的能力——这使得机器人化更为困难,因为存在强烈的工艺特异性依赖性。这种挑战在钨极气体保护电弧焊(GTAW)中尤为明显,其中非消耗电极可以实现对电弧热量的精确操控以实现自适应控制。这种可控性使GTAW在关键应用中的精密连接方面极具吸引力 [2],但其复杂性也使实时机器人控制变得特别困难。
一个核心挑战在于熔池的动态演化,这最终决定了焊接质量。被操控的焊接参数(控制变量)与产生的熔池(输出)之间的关系对制造条件极为敏感,如材料属性、接头几何形状、焊接位置和环境——这些因素经常偏离标称值 [3]。由于熔池是动态演化的,控制变量必须实时调整。然而,这些偏差引入的不确定性使得有效控制变得困难。传统的自适应控制方法 [4],需要针对特定应用进行定制,未能提供可扩展的机器人化解决方案。熟练的人类焊工可以应对这些挑战,但其专业知识需要大量的培训和实践。即便如此,一致性仍无法得到保证,因为焊接环境恶劣,且体力和脑力要求都很高。
机器人化可以通过两步路径来实现:(1) 使机器人能够由人类进行自适应响应控制,(2) 将学习到的人类适应模型部署到机器人上。这比将手动焊接中的人类响应模型直接转移到机器人焊接更为高效 [5]。手动操作允许直接观察人类如何对工艺演化做出响应,但需要机器人操作完全复制手动操作。关键的是,这也要求焊工携带传感器来捕获工艺演化和操作数据,或由单独的机器人来跟踪人类操作。这两种方法都使实施变得复杂并限制了可扩展性。
允许人类直接操作机器人可以降低成本水平要求,从而提高可扩展性。人类焊接技能可以分为两类:(i) 决定需要何种操作(控制)的能力,(ii) 执行已决定操作的能力。这两种能力的实时耦合使手动焊接特别具有挑战性。通过让人类通过机器人进行操作,大多数与执行相关的技能不再需要。由于机器人和焊炬操作不同,在合适的条件下,经验较少的操作员可能也能实现有效执行。本工作通过增强人机协作(HRC)实现了这种方法,详见第3节。
决定需要何种操作的能力仍然至关重要,但它取决于应用,即使是熟练的焊工也需要实践来培养这种能力。合格焊工的可用性因此限制了可扩展性。我们假设,在合适的条件下,经验较少的操作员能够有效应对工艺演化并决定必要的操作。由于执行负担减轻,决策的挑战可以部分缓解。为了进一步降低培训和实践需求,本工作提出向人类提供未来工艺演化的预测信息,使人类能够预判并决定所需的操作。对于熟练的焊工来说,这也可以减少获得特定应用响应模式所需的实践。我们通过一个生成模型来实现这一点,该模型基于工艺历史和预期操作来预测未来输出。虽然这取决于应用,但模型可以在人机协作焊接系统(HRC-WS)的数据上进行训练。由于这需要预测人类对熔池的视觉观察——这是一个复杂的任务——我们提出利用生成式人工智能(AI),详见第4节。与之前的生成熔池模型不同,我们的模型基于可测量的熔池几何形状,将结构内容与随机内容解耦以实现稳定的预测和实时推理,使操作员能够基于预测而非观察到的熔池状态采取行动。
综上所述,本工作实现了电弧焊的人在回路预测控制,并在此基础上展示了机器人化该工艺的道路图。考虑一个已经配备传感器但缺乏自适应模型来应对观察到的工艺演化的机器人焊接系统。所提出的道路图包括:(1) 集成一个使生成模型预测未来工艺状态的人机接口(HRI),人类作为控制回路中的决策者,观察该预测并相应地调整工艺,以及 (2) 将学习到的人类响应模型转移到机器人以实现完全自主运行。由于HRI的添加可以标准化,其成本相对于整体机器人系统而言可以忽略不计,因此这种方法不会带来显著的额外负担。重要的是,执行技能可以在不焊接的情况下进行练习,而用于训练生成预测模型的数据可以通过对控制参数的程序化变化来生成。这使得人类能够以最小的焊接试验来为实时自适应响应做好准备。因此,人类可以显著减少培训和实践,同时实现有效的自适应控制。
本文的结构如下:第二节回顾相关工作。第三节介绍所开发的HRC焊接系统的配置。第四节讨论图像处理原理。第五节呈现实验验证结果。最后,第六节总结全文并概述未来工作的方向。

章节摘要

相关工作

本节回顾了HRC在焊接及其他制造应用方面的进展。制造业中的HRC系统整合了人类传感器、信号处理、接口控制和信息展示等功能 [6]。它们通过匹配人类不可替代的技能与机器的优势,实现安全的物理交互和改进的生产性能 [7]。然而,由于焊接工艺的高度工艺特异性,将这些系统应用于焊接仍然是一个复杂的挑战。

增强人机协作系统

图1展示了增强HRC-WS系统的组件及其连接方式。该系统实现了GTAW焊接过程的人在回路控制,并通过VR环境呈现实时反馈和生成模型预测。
机器人焊接通过焊接系统(包括焊接电源、焊炬、气瓶等)和UR10e机器人实现行进速度调整。Xiris焊接相机XVC-1100,一种用于开放电弧焊接的数字焊接相机,

熔池视图的潜在表示

HRC系统的关键创新在于其能够提供预测性熔池视图,使操作员能够预判工艺演化而非被动响应。这是通过采用生成模型来合成熔池图像动力学来实现的,这源于焊接物理学的本质。然而,作为生成模型核心的复杂制造数据的有效表示,对于减少计算负担和增强预测能力至关重要。

实验

随着预测性熔池可视化被集成到HRC系统中,操作员从被动纠正转变为主动控制。由于GTAW表现出缓慢的惯性动力学特性,仅依赖即时视频反馈会迫使决策基于滞后的视觉线索做出,这可能导致纠正不及时或过冲。相比之下,前瞻性的熔池视图使操作员能够视觉评估当前指令的效果,评估相对于目标的长期误差。

结论

本文提出了一种用于钨极气体保护电弧焊(GTAW)自适应控制的智能人机协作(HRC)系统。该系统使操作员能够远程进行自适应焊接控制,其中机器人执行能力补偿了手动操作的物理局限性,嵌入式生成式AI提供预测性熔池可视化以支持操作员决策。
首先,机器人系统克服了人类操作员的物理限制。一个

CRediT作者贡献声明

曹越(Yue Cao):撰写——审阅与编辑,撰写——初稿,可视化,验证,软件,方法论,调查研究,形式化分析,数据整理,概念化。马宁树(Ninshu Ma):撰写——审阅与编辑,方法论,调查研究,概念化。叶强(Qiang Ye):撰写——审阅与编辑,监督,项目管理,调查研究,资金获取,概念化。张雨明(YuMing Zhang):撰写——审阅与编辑,监督,方法论,调查研究,资金获取,

生成式AI及AI辅助技术在写作过程中的声明

本手稿在作者的指导下,利用ChatGPT(OpenAI)进行了编辑润色,并经过作者的全面审阅和批准。该工具被用于提高文章的清晰度和可读性;作者对内容承担全部责任。

利益冲突声明

作者声明不存在可能影响本论文所述工作的已知竞争性经济利益或个人关系。

致谢

本工作部分得到以下资助:(1) 美国国家科学基金会,资助编号 IIS-2327113,(2) 大阪大学焊接与连接研究院(WJRI)国际联合研究合作者(JIJReC)2024;以及 (3) 肯塔基大学可持续制造研究所、电气与计算机工程系和数学系。
曹越 | 马宁树 | 叶强 | 张雨明
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号