一种轻量级检测网络,集成了多尺度语义细化技术用于检测钢带缺陷

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:A lightweight detection network integrating multi-scale semantic refinement for steel strip defects

【字体: 大 中 小 】 时间:2025年12月04日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  Baicheng Bian|Long Chen|Zongwang Han|Shiqing Wu|WeiDong Li|Hongguang Chen上海科技大学机械工程学院,中国上海中公路516号,200093摘要在计算资源有限的条件下,对钢带进行实时表面缺陷检测需要极高的准确性。

  
Baicheng Bian|Long Chen|Zongwang Han|Shiqing Wu|WeiDong Li|Hongguang Chen
上海科技大学机械工程学院,中国上海中公路516号,200093

摘要

在计算资源有限的条件下,对钢带进行实时表面缺陷检测需要极高的准确性。现有方法往往难以在复杂背景中检测出对比度较低的缺陷,同时还要保持计算效率。本文提出了一种名为MSR-Det的轻量级网络,该网络基于多尺度语义细化框架来解决这一挑战。其核心创新包括:层次化纹理增强模块(HTEM),用于强化区分性纹理模式;特定层次间交互模块(SCLIM),用于促进网络各层次特征之间的融合;以及特征增强模块(FEM),通过从深层到浅层的语义引导来精细化缺陷表示。该架构还包含了两个关键模块:轻量级大核瓶颈模块(LLKBM),用于高效扩展感受野;以及自适应门控空间金字塔池化(AGSPP),用于动态多尺度上下文整合。在NEU-DET、GC10-DET和我们的工业SS-DET数据集上的广泛实验表明,MSR-Det在SS-DET上实现了86.6%的平均平均精度(mAP至少为50%),并且仅使用了5.0M个参数,同时还保持了180 FPS的实时处理速度。这项工作为工业环境中的自动化视觉检测提供了稳健且实用的解决方案,有效平衡了高精度与运行效率。

引言

钢带是一种在汽车、航空和造船等关键制造行业中广泛使用的重要材料。然而,在制造过程中不可避免地会出现划痕、斑点、裂纹和凹坑等表面缺陷,这些缺陷会显著影响材料的最终性能和使用中的安全性[1]。传统的基于计算机视觉的缺陷检测方法依赖于手工制作的特征提取器[2],在鲁棒性和泛化能力方面存在局限性。
近年来,深度学习显著推动了钢带表面缺陷检测的发展。然而,现有方法存在固有局限性,包括难以检测对比度较低的缺陷、易受复杂背景噪声影响,以及缺乏轻量化设计,这些因素阻碍了其在工业中的应用。大多数最先进(SOTA)方法采用单阶段框架,特别是YOLO系列[3]、[4]、[5],通过主干网络-FPN-检测头 pipeline 实现高效的端到端处理。
早期的突破集中在多尺度特征融合[6]、[7]、[8]、[9]上,通过集成更复杂的密集金字塔模块来组合跨层次特征以获得更强的表示能力。尽管这些方法通过跨尺度特征聚合提高了精度,但它们平等对待所有层次的特征,忽略了丰富纹理细节在精确缺陷边界勾勒中的关键作用。后续研究转向了架构创新[10]、[11]、[12]和注意力机制[13]、[14],例如将可变形卷积[15]集成到主干网络中以提高特征提取的适应性,或整合注意力模块来引导网络关注更有信息量的特征。然而,这些改进往往增加了模型复杂性和计算开销,从而影响了在计算资源有限的工业环境中实现实时处理的能力。在钢带表面检测中,对比度较低缺陷的检测仍然是一个挑战。最新的研究[16]、[17]强调了纹理特征的重要性,纹理增强技术也显示出可行性。然而,要有效利用这些特征来提升检测性能,特别是在保持必要的低层纹理信息和高精度检测之间找到平衡,还需要进一步探索。
我们提出了一种专为钢带表面缺陷检测设计的多尺度语义细化轻量级网络,称为MSR-Det。该框架包含一个层次化纹理增强模块(HTEM),用于强化区分性纹理模式;以及一个特定层次间交互模块(SCLIM),用于实现细粒度的多层次特征融合。这种策略显著提高了对比度较低缺陷的表示能力。网络还采用了一个特征增强模块(FEM),通过注意力机制建立从深层到浅层的语义引导,有效抑制了背景干扰。其他创新还包括一个轻量级大核瓶颈模块(LLKBM),用于高效扩展感受野,以及一个自适应门控空间金字塔池化(AGSPP)模块,用于动态多尺度特征整合,共同优化了精度与效率之间的平衡。整体架构如图1所示。
我们的主要贡献包括:
(1)我们提出了MSR-Det,这是一种用于钢带缺陷检测的多尺度语义细化的新型轻量级架构,在SS-DET基准测试中实现了86.6%的平均精度(mAP至少为50%),且仅使用了5.0M个参数。
(2)我们设计了LLKBM来扩展感受野,同时将参数减少了21%;AGSPP则在不增加计算成本的情况下增强了多尺度融合能力。
(3)我们引入了HTEM,通过多分支感受野扩展来提取具有区分性的纹理特征;SCLIM则实现了细粒度的跨层次特征融合。
(4)我们开发了FEM,它利用从深层到浅层的语义引导来精细化缺陷表示,在对比度较低的缺陷检测上将精度提高了1.2%。
在三个数据集上的广泛实验表明,我们的方法具有出色的效率和强大的泛化能力,显示出其在工业环境中的实时应用潜力。
本文的其余部分结构如下:第2节回顾相关工作;第3节阐述我们网络改进的动机;第4节详细介绍MSR-Det的架构;第5节展示实验结果与分析;第6节总结全文。

片段

纹理增强

纹理信息对于感知图像的局部细节至关重要。传统方法通过Gabor滤波器和小波变换来增强纹理特征[2];基于深度学习的方法则显示出更大的优势。刘等人[18]提出了 receptor field block(RFB),模拟人体视觉系统的感受野结构,以提高特征的区分性和鲁棒性。范等人[16]设计了具有四个并行残差分支的文本增强模块(不同的卷积核大小/膨胀率)

动机

在单阶段目标检测中,颈部网络作为连接主干网络和检测头的关键编码器,构建特征金字塔以将浅层空间细节与深层语义相结合。通过策略性的上采样和下采样实现的多尺度融合,增强了不同尺寸物体的特征表示能力。
我们与YOLOv8n进行了对比实验,以探索PA-FPN的多尺度融合能力和在不同尺度下的输出性能

MSR-Det的整体架构

图3展示了MSR-Det的架构,它由三个核心组件组成:一个轻量级主干网络,包含创新的LLKBM和AGSPP,用于高效的多尺度特征提取;一个颈部网络,整合了HTEM和SCLIM,以增强浅层特征表示;以及一个用于同时进行分类和定位的输出解耦头。

层次化纹理增强模块

纹理增强对于检测钢带至关重要

实验设置

结论

在本文中,我们提出了MSR-Det,这是一个基于多尺度语义细化框架构建的轻量级检测网络,用于钢带表面缺陷的检测。我们的方法核心在于专门模块的协同集成,共同解决了工业检测中的关键问题:LLKBM用于高效扩展感受野;AGSPP用于动态多尺度上下文聚合;HTEM和SCLIM用于增强和融合具有区分性的纹理特征,

CRediT作者贡献声明

Baicheng Bian:撰写——审稿与编辑、撰写——原始草案、可视化、验证、监督、软件、项目管理、方法论、调查。Long Chen:项目管理、方法论。Zongwang Han:调查、形式分析、概念化。Shiqing Wu:方法论、调查。WeiDong Li:方法论、调查。Hongguang Chen:资源、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金(资助编号:52075340和52005338)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号