《Displays》:MEIFNet: A lightweight defect segmentation network based on multi-scale and edge information fusion
编辑推荐:
•开发了一种轻量级缺陷分割网络。•多尺度引导模块增强了长程依赖建模能力。•设计了一种平衡局部与全局信息的卷积。•基于小波的模块改进了缺陷边界表征。引言在高通量生产线中,不同尺度和形态的表面缺陷可能会损害机械性能并导致经济损失;因此,表面缺陷检测[1]、[2]、[3]至关重要。
- •
开发了一种轻量级缺陷分割网络。
- •
多尺度引导模块增强了长程依赖建模能力。
- •
设计了一种平衡局部与全局信息的卷积。
- •
基于小波的模块改进了缺陷边界表征。
引言
在高通量生产线中,不同尺度和形态的表面缺陷可能会损害机械性能并导致经济损失;因此,表面缺陷检测[1]、[2]、[3]至关重要。人工检验往往受到主观偏见和操作员疲劳的影响,导致检测结果不一致且效率低下,不适合大规模制造环境。近年来,基于视觉的缺陷检测技术因其高精度和高效性,在工业场景中得到了越来越多的应用。这些先进技术不仅显著提高了生产效率,还为产品质量控制提供了可靠的技术支持。
传统算法和深度学习方法构成了基于视觉的缺陷检测的两种主要范式。传统方法主要依赖纹理描述子和手工特征设计来表示异常[4]、[5]、[6],其性能严重依赖于专家的先验知识。因此,当缺陷的形态、尺度和纹理发生变化时,这些方法往往表现出有限的鲁棒性。
基于深度学习的方法能够处理工业缺陷的复杂变化,并在缺陷检测任务中取得了显著的成功。这些方法可分为区域级和像素级检测方法。区域级方法[7]、[8]、[9]、[10]输出缺陷的边界框,仅提供缺陷位置而没有详细的形状信息。区域级方法往往难以处理小而密集分布的缺陷,因为此类特征的微妙性和低对比度导致特征稀疏,且后处理步骤容易错误地合并紧密相邻的缺陷区域,从而导致检测精度下降。
相比之下,像素级检测方法[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]能够精确地对图像中的每个像素进行分类,从而捕捉缺陷细节。例如,EFA-Net[19]利用层次化卷积表示来提取用于密集预测的判别性局部特征。TransNeXt[20]通过让查询特征与邻近特征和空间下采样特征进行交互,采用了双路径自注意力机制,从而增强了长程上下文建模。然而,卷积的局部性限制了长程上下文依赖关系的建模,难以将缺陷与视觉上相似的背景区分开来;而自注意力缺乏局部归纳偏置,且计算复杂度较高,限制了细粒度细节的表征,并导致推理速度较慢,从而在硬件约束下损害了其实际可用性。
轻量级策略已被广泛探索,以减轻深度分割网络的参数负担。现有的轻量级分割方法[21]、[22]、[23]、[24]、[25]、[26]、[27]通过堆叠深度可分离卷积、简化网络架构和知识蒸馏等技术来减少参数并加速推理。GCNet[28]采用GCBlock的结构重参数化策略,在训练期间实现多分支自扩展,在推理期间自收缩为单个卷积,从而在减少参数数量和内存访问开销的同时显著提高推理速度。LiteMSNet[29]采用深度可分离膨胀卷积来捕获多尺度上下文信息,在保持紧凑模型尺寸的同时实现大感受野。然而,膨胀卷积的稀疏采样模式不可避免地导致细粒度细节的丢失,并且对全局特征依赖关系的建模仍显不足,使得难以在保持轻量级设计的同时满足工业应用的高精度要求。
为了应对这些挑战,我们专注于开发一种具有低参数量和低计算开销的轻量级分割网络,同时仍能实现高缺陷检测精度。本文提出了一种基于编码-解码器的多尺度与边缘信息融合网络(MEIFNet)。在编码器阶段,我们提出了多尺度注意力大核卷积(MALConv)模块,该模块基于CAWAConv[30],使用池化特征图来计算注意力图以减少计算复杂度,并结合大核深度可分离卷积。这种设计能够同时提取局部特征和全局上下文信息。在解码器阶段,我们提出了多尺度引导特征学习(MGFL)模块。在应用膨胀卷积之前,MGFL在执行特征池化的同时保留特征图分辨率,以聚合被稀疏采样跳过的中间特征。这种设计减轻了膨胀卷积引起的特征损失。此外,MGFL利用多尺度特征来引导空间和通道注意力,从而增强长程上下文建模。另外,大多数当前方法在空间域中探索边缘特征,但它们往往忽略了固有的先验知识。鉴于频域信息对细粒度细节高度敏感,我们提出了基于小波的边缘增强(WEE)模块,在频域中捕捉边缘信息。基于小波变换,该模块以极小的参数开销增强边缘信息,提高了模型的边缘检测能力。总之,主要贡献如下:
- 1.
我们提出了MEIFNet,一种参数量低且推理速度快的模型,能够在工业场景中实现精确的缺陷分割。
- 2.
提出了MGFL模块,用于在解码阶段捕获长程依赖关系,利用多尺度特征引导通道注意力和空间注意力的学习。
- 3.
设计了MALConv模块,通过将卷积与多尺度注意力相结合来平衡局部和全局特征,在捕获全局上下文信息的同时保留卷积的局部归纳偏置。此外,我们提出了WEE模块,基于小波变换增强边缘信息的强度。
- 4.
在三个数据集:Magnetic Tile、MSD和NEU-Seg上的实验表明,我们的方法在参数量与检测精度之间取得了良好的平衡。
章节片段
区域级检测方法
区域级检测方法主要分为两大类:两阶段网络和单阶段网络。两阶段网络[31]首先生成区域候选框,然后对其进行细粒度分类和精确定位。相比之下,单阶段网络[32]、[33]直接利用提取的特征预测缺陷的位置和类别。Zhao等人[34]提出了一种双重特征金字塔网络,集成到YOLOv5的颈部结构中,在加深网络架构的同时
模型架构
所提出的MEIFNet架构如图1左侧所示,采用编码-解码器设计。编码器在第一层使用标准卷积,在第二层和第三层使用MobileNetv2[40]残差块进行特征提取。为了在后期阶段同时捕获局部细节和全局依赖关系,网络使用我们提出的MALConv来处理1/16和1/32尺度下的高层特征。在解码器中,采用三个MGFL模块来
数据集
我们在三个数据集上评估了性能:Magnetic Tile[45]、MSD[22]和NEU-Seg[46]。
Magnetic Tile[45]:该数据集包含392张缺陷图像和952张正常图像,图像尺寸各异。由五种缺陷类别组成:不平整、磨损、裂纹、孔隙和断裂。复杂的背景纹理、缺陷尺度的差异以及不规则的照明条件使准确的缺陷检测更具挑战性。
MSD[22]:该数据集由1200张高分辨率图像组成
结论
MEIFNet通过在轻量级架构中融合多尺度特征和边缘信息来实现缺陷分割。在编码阶段,MEIFNet融合了MALConv模块,该模块将多尺度注意力与大核卷积相结合,以捕获局部细节和全局表示。在解码阶段,应用MGFL模块来建模空间上远距离区域之间的依赖关系。池化和深度可分离膨胀卷积实现了高效的
CRediT作者贡献声明
卢阳:写作 – 审稿与编辑,验证,获取资金。王鑫:写作 – 初稿,方法论,软件。蒋晓洪:验证,获取资金。金少辉:软件,获取资金。徐明亮:软件,获取资金。
利益冲突声明
作者声明他们不存在已知的竞争经济利益或个人关系,这些利益或关系可能影响本文所述工作的客观性。
致谢
本工作部分由国家自然科学基金委员会资助(批准号62576322、62572444、U22B2051);部分由河南省重点科技项目资助(批准号252102211044);部分由河南省自然科学基金资助(批准号232300421093);部分由河南省高校科技创新人才计划资助(批准号25HASTIT033)。
卢阳|王鑫|蒋晓洪|金少辉|徐明亮