计算机视觉作为制造业数字孪生的数据源:一种 Sim2Real 管线
《Journal of Industrial Information Integration》:Computer vision as a data source for digital twins in manufacturing: A Sim2Real pipeline
【字体:
大
中
小
】
时间:2026年09月28日
来源:Journal of Industrial Information Integration 11.2
编辑推荐:
• 关于计算机视觉技术在数字孪生开发与运维中作用的文献综述。
• 基于YOLO-World的数字孪生感知目标检测流水线。
• 结合合成图像和受控图像的保护隐私的混合数据集。
• 实时视觉输出与数字孪生的集成,用于监控和关键绩效指标分析。
• 在真实潮汐涡轮机装配案例研究中验证
• 关于计算机视觉技术在数字孪生开发与运维中作用的文献综述。
• 基于YOLO-World的数字孪生感知目标检测流水线。
• 结合合成图像和受控图像的保护隐私的混合数据集。
• 实时视觉输出与数字孪生的集成,用于监控和关键绩效指标分析。
• 在真实潮汐涡轮机装配案例研究中验证该流水线。
## 引言
制造业正在经历一场由数字化、互联性和数据驱动智能的融合所驱动的深刻变革,这一运动统称为工业4.0[1]、[2]。第四次工业革命的特点是通过信息物理生产系统(CPPS)实现物理系统与数字系统的集成,使生产网络中的实时数据交换和智能决策成为可能。工业互联网(IIoT)、云计算与边缘计算以及人工智能(AI)等技术构成了这场变革的骨干,增强了制造运营的灵活性、生产力和韧性[3]、[4]、[5]。在此背景下,数据已成为战略资源,使制造商能够持续监控流程、预测系统行为并在多个组织层级上优化性能。
在工业4.0的使能技术中,数字孪生(DT)已成为连接物理领域和虚拟领域的基石概念[6]。数字孪生创建了一个物理资产、过程或系统的动态数字表示,该表示与其现实世界中的对应物并行演化。这种双向数据连接使数字孪生能够反映、模拟和预测物理系统行为,从而支持资产全生命周期的决策制定[7]、[8]强调,这种双向数据交换是定义真正数字孪生的要素,使其区别于更简单的数字替代品。
在制造领域,数字孪生可以表示不同粒度的层级,从组件和机器到整个工厂或供应链网络。在功能上,它们可以服务于多种目的,如过程监控、预测分析、优化、控制和人机协作[9]。本研究专门关注制造系统的数字孪生,特别是在过程和车间层面,物理操作与其数字对应物之间的实时同步至关重要。这些数字孪生能够实现工序跟踪、机器状态监控和性能优化等功能,为智能和自适应生产环境奠定基础。
尽管数字孪生的潜力被广泛认可,但其在制造中的部署仍然具有挑战性,部分原因是数据采集和集成的复杂性[10]。这一过程需要将来自传感器、机器、企业系统和视觉系统等多个来源的异构数据整合到统一的框架中,以使其能够准确表示物理系统[11]。为了有效反映真实世界的动态,数字孪生需要准确的、多模态的和时间同步的数据。传统的传感器、PLC(可编程逻辑控制器)或MES(监控与执行系统)等数据源提供有价值的数值或分类数据,但往往无法捕捉生产活动的完整空间信息和上下文信息[11]。此外,许多工业环境施加了隐私限制,限制了大规模的数据收集,特别是在涉及人工操作者时。这些挑战突显了对新型感知模态和数据生成技术的需求,这些技术能够为数字孪生提供丰富且具有代表性的信息。
计算机视觉(CV)作为人工智能的一个分支,使机器能够从图像和视频中提取和解释信息,为解决数字孪生(DT)中的数据采集瓶颈提供了有前景的解决方案。通过视觉感知生产环境,计算机视觉系统可以提供关于组件位置、工具使用和操作者交互的详细信息。这些信息支持基本制造任务,包括目标检测、跟踪、缺陷检查和过程监控,直接增强了数字孪生系统的描述、诊断和预测能力[12]。将计算机视觉集成到数字孪生架构中,使视觉驱动的数字孪生的开发成为可能,其中视觉感知不断从物理环境为虚拟模型提供更新的信息。
在此基础上,本研究旨在推进基于计算机视觉的制造系统数字孪生的理解和实际应用。研究由以下问题引导:
• 如何利用计算机视觉作为制造环境中数字孪生的主要数据源?
为解决这一问题,研究方法从文献综述开始,分析计算机视觉技术在制造全生命周期中支持数字孪生开发与运维的作用。综述研究了用于在各类生产阶段启用数字孪生功能的计算机视觉技术。特别关注数字孪生生命周期的两个关键方面:数据创建和数据集成。本研究综述了现有的数据生成方法,包括支持数字孪生开发的工业视觉数据集的使用,并分析了支持物理系统与其数字对应物之间实时信息交换的数据集成框架。
基于通过该综述所识别的见解和研究空白,提出了一种支持基于视觉的数字孪生流水线实际实施的流水线。该方法引入了一个由数据生成技术和专门的训练策略支持的目标检测框架。为验证该流水线,考虑了一个涉及潮汐涡轮机制造的案例研究。
所提出的流水线采用YOLO-World模型[13],这是一种视觉-语言基础模型,能够将视觉输入与文本提示相结合以执行目标检测。本研究中使用的数据集集成了合成视觉数据和受控视觉数据,形成了一个保护个人隐私同时支持可重复实验的统一数据集。检测性能使用标准定量指标进行评估。结果说明了如何高效部署基于视觉的检测作为数字孪生的数据源。
本文其余部分组织如下:第2节呈现关于计算机视觉在增强数字孪生功能中的作用的文献综述,以及数字孪生全生命周期中数据创建和数据集成的现有方法。第3节介绍所提出的目标检测流水线,详细说明YOLO-World模型的使用、微调策略以及用于评估检测性能的评价指标。第4节描述潮汐涡轮机生产线的案例研究,在该案例研究中,所提出的流水线被实施并在一个由受控图像和合成图像组成的单一混合数据集上进行测试。第5节对结果进行讨论,将最先进综述的见解与案例研究的成果进行比较。最后,第6节总结主要发现,讨论当前工作的局限性,并概述未来研究方向。
为支持可重复性并鼓励进一步研究,本文所有材料均在匿名GitHub仓库中公开提供。
## 计算机视觉用于数字孪生的创建与运维
数字孪生(DT)的概念已成为工业4.0的基石,代表了一个物理对象、过程或系统的高保真虚拟表示,该表示通过数据交换与其现实世界中的对应物持续同步[14]。早期的数字工厂工具主要用于离线模拟和生产规划,依赖于部署后很少更新的静态模型[2]。相比之下,现代数字孪生整合了信息物理系统……
## 提出的方法论
本节介绍所提出的目标检测流水线,旨在将计算机视觉集成到制造的数字孪生应用中。我们采用视觉-语言模型YOLO-World[13]作为检测框架的骨干,由于其能够利用文本提示进行灵活和开放词汇的检测,使其在涉及多个目标类别的情况下允许更轻量的训练阶段。
## 案例研究:潮汐涡轮机生产线
本节呈现了用于在现实工业环境中评估所提出的Sim2Real流水线的潮汐涡轮机装配(TTA)案例研究。为实现该案例研究,我们获得了一个数据集,可以作为Sim2Real目标检测的综合基准,集成了合成数据和受控真实数据,以复制制造装配过程中遇到的视觉条件。该数据集被公开以作为未来研究工作的基准。
## 结果与讨论
本节呈现了四个互补分析。首先,一项消融研究调查了不同训练数据方案对所提出Sim2Real策略的影响。其次,将所提出的感知流水线与最近的YOLO架构进行比较。第三,评估自发数据微调的效果以量化剩余的Sim2Real领域差距。最后,展示了基于提示的定性推理以说明YOLO-World的开放词汇能力。
## 结论与未来工作
由于标注数据集的有限可用性、数据采集的复杂性以及合成数据与真实世界数据之间持续存在的差距,开发基于视觉的工业数字孪生仍然具有挑战性。在本工作中,我们旨在通过集成既稳健又保护隐私的计算机视觉技术来为生产系统启用基于视频的数字孪生。为实现这一目标,我们提出两项主要贡献。
首先,我们引入了一种实用的和隐私保护的……
### CRediT作者贡献声明
Nessrine Farhat:撰写——原稿撰写。Pierre David:撰写——审阅与编辑。Leah Rif:撰写——审阅与编辑。Nuno Garcia:撰写——审阅与编辑。
### 利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响到本文所报告的工作。
### 致谢
本研究由UNITE!大学网络资助,得到欧盟支持,并由法国国家研究署在"未来投资"计划下资助(ANR-15-IDEX-02)。
作者还感谢S.mart Grenoble Alpes技术团队的支持。
最后,作者感谢匿名审稿人的宝贵意见和建设性建议,这些意见和建议帮助提高了本手稿的质量。
Nessrine Farhat | Pierre David | Leah Rif | Nuno Garcia
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号