CBMDD-Net:一种用于汽车车身表面的增强型多尺度缺陷检测网络

《COMPUTERS IN INDUSTRY》:CBMDD-Net: An enhanced multiscale defect detection network for car body surfaces

【字体: 大 中 小 】 时间:2026年09月28日 来源:COMPUTERS IN INDUSTRY 10.0

编辑推荐:

  •我们提出了一种检测网络,用于检测汽车车身表面的多尺度缺陷。•我们提出了一种增强型的焦点融合机制,用于整合多尺度特征。•我们设计了一种多步骤信息收集策略,用于融合缺陷表示。•我们提出了一种跨层上下文聚合方法,以减少语义差距。•实验表明,我们的方法优于现有的最先进方法。引言汽车车身

  
  • •
    我们提出了一种检测网络,用于检测汽车车身表面的多尺度缺陷。
  • •
    我们提出了一种增强型的焦点融合机制,用于整合多尺度特征。
  • •
    我们设计了一种多步骤信息收集策略,用于融合缺陷表示。
  • •
    我们提出了一种跨层上下文聚合方法,以减少语义差距。
  • •
    实验表明,我们的方法优于现有的最先进方法。

引言

汽车车身表面缺陷检测是汽车生产中的关键过程。这一过程不仅反映了制造能力,还直接影响了消费者的初步印象和整体購買体验。自动化缺陷检测解决了人工检测的低效问题,包括大量的人力需求、不理想的检测效率、显著的主观性以及较高的漏检率。
许多研究在汽车车身表面缺陷的自动化检测方面取得了值得称赞的进展(Arnal等人,2017年;Chang等人,2020年;Zhou等人,2020年)。然而,两个主要挑战阻碍了这一过程在工业应用中发挥显著作用。首先,由于汽车车身具有强烈的镜面反射特性,其表面可能会出现不均匀的照明和周围无关物体的映射,这使得获取高质量的缺陷图像变得非常困难。其次,制造过程中出现在汽车车身表面的缺陷非常复杂,从微小的颗粒到大面积的外部损坏都有,尺寸差异很大,如图1所示。此外,这些缺陷的形状、纹理和分布也存在显著差异,这给缺陷特征信息的提取带来了很大困难。相反,小尺度的缺陷仅占据图像像素的一小部分,导致特征信息稀疏,特征提取器需要更加关注局部细节。大尺度缺陷则具有多样化的特征,包括丰富的上下文语义。因此,同时检测汽车车身表面的这些多尺度缺陷极其困难。在我们之前的研究(He等人,2024年)中,我们提出了一种调制强度解码方法来减少反射特性对缺陷检测的影响。这种方法有效地保留并突出了收集图像中缺陷的存在。在这项研究中,我们专注于解决实现汽车车身表面多尺度缺陷检测的另一个主要挑战。
得益于深度学习在机器视觉领域的显著成功,数据驱动的方法迅速成为视觉缺陷检测的主要趋势。这些技术利用强大的特征学习和表示能力,自动识别复杂的缺陷模式,超越了传统的手工方法,并为工业检测的精确性和效率打开了新的可能性(Liang等人,2024年;Liu等人,2024年;Ma等人,2024年;Shen等人,2024年;Wu等人,2024年;Zhong等人,2024年;Zhou等人,2023年;Zuo等人,2024年)。使用特征金字塔网络(FPN)(Lin等人,2017a年)及其变体是使用深度学习实现多尺度缺陷检测的最常见方法。Zhou等人(2020年)开发了一种基于RetinaNet和FPN的卷积神经网络,称为TinyDefectRNet,展示了其检测汽车车身表面凹凸缺陷的能力。Liu等人(2020年)提出了一个使用串联FPN结构的检测模型,用于融合多种特征,在金属零件表面缺陷检测中取得了积极成果。Su等人(2022年)应用了级联组合方法,该方法结合了FPN进行区域提取和16倍下采样特征的多尺度融合,用于检测金属齿轮端面上的缺陷。Zhang等人(2023年)使用改进的加权双向FPN和残差模块来聚合多尺度特征图,从而提高了热轧钢缺陷检测的准确性。Hu等人(2023年)开发了一种基于You Only Look Once版本5(YOLOv5)的有效缺陷检测模型,并通过集成SimSPPF结构来提升性能。Dong等人(2024年)通过将GSConv模块集成到FPN中,改进了YOLOv8框架,用于检测冲压零件。
尽管在多尺度特征提取方面取得了显著进展,但上述方法主要依赖于粗略的堆叠来合并网络主干和颈部的高层次和低层次信息,这远远不够。具体来说,这些方法存在两个主要问题:(1)多尺度特征融合仅限于粗略堆叠阶段,导致网络主干和颈部的多尺度特征探索不足,从而在特征图的不同阶段丢失了不同维度的特征,并限制了潜在多尺度信息的表示;(2)在特征图融合过程中,不同层次的特征图之间存在显著的语义差距,这归因于缺乏初步的层次信息交互。这种显著的语义差距会导致信息冲突和特征退化,从而严重影响融合效果。因此,在融合阶段,关键的多尺度信息未能得到有效整合,导致冗余信息的增加。因此,模型的性能显著降低。
为了解决第一个问题,我们提出了一种增强的多尺度焦点融合(EMFF)模块,并将其作为构建多步骤信息收集(MIC)块的基础。此外,我们提出了一种新颖的汽车车身多尺度缺陷检测网络(CBMDD-Net),该网络将MIC块纳入每个阶段,允许多尺度特征信息在网络内全面而有效地流动。为了解决第二个问题,我们提出了一种新颖的跨层上下文聚合(CLCA)块,该块在将信息分配给相应的特征图之前,有效地共享和感知来自不同层次的多尺度上下文语义信息。CLCA块在融合主干和颈部的特征图之前促进了丰富的层次特征信息的充分交互,减少了特征图之间的语义差距,并改善了多尺度特征的传输。因此,我们提出的网络有助于准确识别、定位和分类多尺度缺陷。本研究的主要贡献可以总结如下:
  • (1)
    我们提出了一种EMFF模块,用于有效整合各种特征图中的多维度特征。它利用四流特征提取块和扩张的深度卷积来提取和融合多尺度特征信息。使用EMFF模块,我们设计了一个MIC块,允许更精细的缺陷表示的全面融合。
  • 我们提出了一种CLCA块,通过适当捕获和分配丰富的层次语义信息,减少了待融合特征图之间的语义差距和信息冲突。这种方法防止了关键多尺度信息的丢失和退化。
  • (3)
    我们通过将MIC块和CLCA块作为核心组件,开发了一种新颖的CBMDD-Net。CBMDD-Net在准确识别、定位和分类汽车车身表面的缺陷方面表现出色,从而展示了出色的多尺度缺陷检测能力。
本文的其余部分安排如下。第2节详细介绍了我们提出的方法。第3节描述了实验结果及其相应的讨论。最后,第4节总结了我们的研究。

章节片段

提出的方法

在本节中,我们首先描述了汽车车身表面缺陷检测系统的图像采集过程。随后,我们详细介绍了所提出的EMFF模块、MIC块和CBMDD-Net。我们深入探讨了每个组件的详细信息,概述了其功能和对整个缺陷检测网络的贡献。

数据集和实验设置

在本研究中,我们将汽车制造过程中常见的缺陷分为五类(He等人,2024年)。我们从汽车车身表面收集了SDD图像,并将它们裁剪成448×448像素大小的图像。我们的数据集包含3520张图像,其中包含3736个颗粒、6306根纤维、2411个收缩空洞、493个凹坑和791个外部损坏。根据我们的初步统计分析,这些缺陷的大小主要在0.3毫米到30毫米之间。

结论

在这项研究中,我们提出了一种名为CBMDD-Net的新型缺陷检测网络,旨在应对检测汽车车身表面多尺度缺陷的挑战。首先,我们提出了一种EMFF模块,通过捕获和整合不同尺度上的细粒度细节以及全局上下文信息,有效地探索多尺度特征。随后,该模块的应用构建了MIC块,进一步细化和全面整合了这些特征。

CRediT作者贡献声明

Yike He:撰写 – 原始草稿、可视化、验证、软件、资源、项目管理、方法论、调查、形式分析、数据 curation、概念化、资金获取。Huashan Gao:可视化、验证、软件、项目管理、调查、形式分析、数据 curation。Gui chen:数据 curation、概念化、资源、项目管理、软件、验证。Songyu Hu:撰写 – 审阅与编辑、可视化、监督,

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金 [项目编号:61803270]、浙江省自然科学基金重点 [项目编号:LZ24F030002]、国家科技重大项目 [项目编号:2025ZD1608100] 和 四川省科技计划 [项目编号:2026NSFSC1245] 的支持。
Yike He|Huashan Gao|Gui chen|Songyu Hu|Jianzhong Fu|Aixi Yang
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号