面向印刷电路板缺陷图像的Transformer–CNN双分支分类模型——跨层语义交互与判别特征增强算法

《Symmetry》:A Transformer–CNN Dual-Branch Image Classification Model—Cross-Layer Semantic Interaction and Discriminative Feature Enhancement Algorithm Longyan Qin, Hong Bao and Fanghua Liu

【字体: 大 中 小 】 时间:2026年03月20日 来源:Symmetry 2.2

编辑推荐:

  印刷电路板(Printed Circuit Board, PCB)缺陷图像存在缺陷微小、形态差异细微及背景布线复杂等问题,致使传统单特征分类方法稳定性不足。研究人员提出一种结合Transformer与卷积神经网络(Convolutional Neural Ne

  
印刷电路板(Printed Circuit Board, PCB)缺陷图像存在缺陷微小、形态差异细微及背景布线复杂等问题,致使传统单特征分类方法稳定性不足。研究人员提出一种结合Transformer与卷积神经网络(Convolutional Neural Network, CNN)的双分支图像分类方法,联合对局部异常与全局语义关系进行建模。该模型采用卷积分支与Transformer分支分别提取局部缺陷特征和全局布线依赖关系,并引入跨层语义交互机制实现多级信息融合,同时应用判别特征增强模块突出关键缺陷区域并抑制背景干扰。实验结果表明,该模型整体准确率提升超过2%,F1分数(F1-score)达0.930,缺陷识别召回率(Recall)达0.927。该模型在不同缺陷类型和背景复杂度条件下均表现稳定,无明显偏倚,为工业缺陷图像分类中混合深度模型设计提供了新思路。
## 研究背景与问题提出

在电子制造领域,印刷电路板(Printed Circuit Board, PCB)以其高集成密度和精密结构配置为特征,其对应的缺陷图像普遍呈现出缺陷尺度有限、形态差异细微以及背景布线结构复杂等挑战。这些属性使得缺陷识别过程具有显著的非线性特征和强上下文依赖性,准确的缺陷判别往往需要将局部异常与全局结构语义相关联。仅依赖局部特征或静态规则集的分析方法难以稳定地刻画不同缺陷类型之间的判别边界。因此,建立能够同时适应局部异常扰动和全局结构约束的智能图像分类范式,对于提升PCB缺陷检测的可靠性具有重要意义。

现有研究中,卷积神经网络(Convolutional Neural Networks, CNNs)凭借其有效建模局部纹理、边缘结构及细粒度形态特征的能力,在工业缺陷分类和检测任务中获得广泛应用。然而,随着PCB图像中背景布线结构的复杂化,基于上下文依赖的缺陷识别需求日益增强。近年来,基于自注意力机制(Self-Attention Mechanism)的模型开始被用于刻画不同图像区域间的全局相互依赖关系,以弥补在复杂结构环境中仅依赖局部特征建模的不足。尽管现有方法分别于局部特征建模或全局语义表征方面取得了一定进展,但在PCB缺陷这一兼具细粒度异常和复杂结构约束的特定场景中,局部判别信息与全局结构语义的协同建模仍显不足。尤其在复杂背景条件下,缺乏有效的跨层语义交互和判别信息增强机制可能损害模型判别细微缺陷和形态相似类别的稳定性。

## 研究设计与方法概述

针对上述问题,研究人员提出了融合Transformer与CNN架构的双分支PCB缺陷图像分类模型。该模型通过并行结构分别刻画局部缺陷形态和整体布线结构的语义表征,在特征学习阶段引入跨层语义交互机制,允许局部特征在中间层逐步融入全局结构约束,从而增强模型对细微缺陷的判别稳定性。在此基础上,进一步融入判别特征增强策略,显式强化融合特征中的关键通道和空间区域,有效抑制复杂背景纹理的干扰,改善缺陷识别的一致性。

该研究基于一个公开可用的PCB缺陷图像数据集展开实验。该数据集共包含12,000幅PCB缺陷图像,涵盖鼠咬(mouse bite)、油渍(oil stain)、开路(open circuit)、短路(short circuit)、缺铜(missing copper)和伪铜(spurious copper)六种典型缺陷类别。数据集样本数量在各类别间保持相对均衡,同时包含不同背景复杂度、缺陷尺度和多样纹理干扰条件下的缺陷图像。全样本集按7:2:1比例随机划分为训练集、验证集和测试集。预处理阶段,所有图像统一缩放至224×224分辨率并进行像素归一化;训练时引入随机旋转(±15°)和随机水平/垂直翻转(概率0.5)以增强数据。

模型构建方面,CNN分支由四个卷积模块组成,通道数依次为32、64、128、256,主要负责提取边缘不连续、纹理异常等局部结构特征。Transformer分支采用轻量化架构,输入图像被分割为16×16的非重叠图像块(Patch),生成196个令牌(Token),编码器由六个Transformer层构成,注意力头数设为4,特征嵌入维度256,前馈网络隐藏维度1024,用于建模PCB布线结构间的全局依赖关系。

核心技术方法包括三个方面:第一,跨层语义交互机制。在两个中间层阶段建立CNN分支与Transformer分支之间的双向交互——第一阶段在CNN第二卷积模块与Transformer第三编码层之间,第二阶段在CNN第三卷积模块与Transformer第五编码层之间。该机制通过交叉注意力计算实现,允许CNN分支引入全局布线语义信息,同时使Transformer分支接收来自CNN分支的局部判别特征反馈。第二,判别特征增强模块。基于跨层融合后的特征表示,沿通道维度学习特征重要性权重,并引入空间注意力权重刻画缺陷区域的空间分布模式,通过元素级乘积运算得到最终增强特征。第三,分类决策采用全连接层输出预测概率分布,以交叉熵损失函数作为优化目标,采用Adam优化器,初始学习率1×10-4,最大训练轮数150,批量大小32,权重衰减系数1×10-5,并设置早停机制防止过拟合。

## 研究结果分析

**模型性能评估——收敛分析**。从损失曲线变化趋势看,所提Transformer–CNN双分支模型与CNN基线模型在训练早期均呈现明显的损失下降,表明网络参数能在随机初始化下有效更新;随着训练轮数增加,训练损失和验证损失逐渐降低并最终趋于稳定验证损失与训练损失趋势基本一致,无显著发散或振荡,未出现明显过拟合。进一步比较发现,双分支模型在训练早期损失下降更快,后期收敛轨迹更为平滑,其训练损失和验证损失曲线始终低于单CNN模型且波动更小,表明引入全局语义建模和跨层特征交互机制后,模型能够更有效地学习缺陷相关特征,优化稳定性和学习效率均有所提升。

**模型性能评估——整体性能分析**。在整体准确率方面,Transformer–CNN双分支模型达到0.938,相较ResNet-50、ViT-B/16和Conformer分别提升约2.6%、2.0%和1.2%,同时优于SwinTransformer–CNN混合模型。召回率方面,该模型达到0.927,超过ResNet-50逾3%,在所有基于Transformer和混合架构的模型中保持最高水平,表明模型具备更优的缺陷样本覆盖能力和更低的细微缺陷漏检风险。精确率(Precision)和综合F1分数进一步印证了该结论,F1分数达0.930,相较Conformer和SwinTransformer–CNN保持稳定优势,实现了精确率与召回率的协同优化。

**计算复杂度分析**。从参数规模、浮点运算量(Floating Point Operations, FLOPs)和推理速度(Frames Per Second, FPS)三方面评估,该模型推理速度达103.7 FPS,满足多数工业视觉检测系统的基本实时处理需求。尽管双分支架构和跨层交互机制的引入在一定程度上增加了计算复杂度,但整体计算成本仍显著低于纯Transformer架构,同时实现了分类性能的明显提升,在性能与效率之间取得了平衡。

**消融实验**。为验证跨层语义交互机制和判别特征增强策略的独立贡献,研究人员开展了一系列消融实验。结果表明:同时移除两个模块的双分支基线模型在准确率、召回率和F1分数等关键指标上表现受限,表明简单的CNN与Transformer特征并行融合无法充分应对复杂PCB图像中的细粒度缺陷识别挑战;单独移除跨层语义交互机制导致准确率和F1分数显著下降,凸显了该机制在特征提取阶段促进局部缺陷信息与全局结构语义协作的核心功能;单独移除判别特征增强模块则使精确率和F1分数明显下降,证实了该模块在缓解背景纹理干扰、强化判别性通道和空间区域关注方面的价值。完整模型集成两个模块后取得最高评分,表明二者并非简单功能堆叠,而是分别作用于局部-全局语义整合和判别信息突出层次,具有互补贡献。

**缺陷类别分类结果**。归一化混淆矩阵显示,所有缺陷类别均呈现明显的对角线优势,预测高度集中一致,无显著类别偏倚或系统性误分类。鼠咬、开路和短路等具有显著几何结构特征的类别判别边界相对清晰,因卷积分支有效捕获边缘不连续和局部结构异常;油渍、缺铜和伪铜在视觉形态和纹理上存在一定重叠,识别更依赖缺陷区域与全局布线模式间的语义上下文,存在一定残余类间混淆,但错误预测主要限于外观相似的类别,未扩散至结构差异显著的缺陷类型。

**样本条件分层分类结果**。按背景复杂度将测试样本分为简单背景样本(602幅)和复杂背景样本(598幅)后分析表明:简单背景下各缺陷类别预测结果分布清晰集中,类别比例结构稳定;背景复杂度增加时,各类别预测分布整体形态仍与简单背景高度一致,比例偏移微小且主要限于油渍、缺铜和伪铜等纹理特征相似的类别。量化指标显示,复杂背景下精确率、召回率和F1分数略有下降但变化幅度较小,表明模型在复杂背景干扰下仍能保持稳定的分类性能。

针对复杂场景下的分类行为和错误预测修正能力,定性比较了两类典型误分类案例:其一为视觉相似缺陷情形,油渍缺陷在颜色分布和局部纹理特征上与伪铜缺陷高度相似,基线模型将其误分类为伪铜,而所提模型在相同输入下正确识别为油渍,避免了视觉相似导致的类别混淆;其二为复杂背景干扰情形,鼠咬缺陷位于布线密集区域,背景纹理和噪声干扰缺陷边缘特征,基线模型误分类为油渍,所提模型则产生正确预测,表明其在复杂背景条件下保持了稳定的判别行为。

## 讨论与结论总结

在工业视觉检测对高精度和高稳定性需求日益提升的背景下,该研究构建了Transformer–CNN集成双分支分类模型。通过并行架构分别刻画局部缺陷形态和整体布线结构的语义关系,引入跨层语义交互机制使局部特征在表征形成早期即受到全局信息约束,从而改善了复杂背景条件下缺陷判别的一致性。

与现有研究相比,An与Zhang(2022)提出的LPViT模型主要依赖单一Transformer路径建模,在捕获小尺度缺陷精细局部判别细节方面相对受限;Chen等(2022)主要在较高特征层引入全局信息,缺乏对局部与全局特征协作关系的精细刻画;Feng与Cai(2023)更多依赖并行建模和特征拼接,对不同特征层语义一致性的约束相对有限。该研究进一步引入跨层语义交互和判别特征增强策略,使局部异常的表征受到整体结构语义的有效约束,形成了更具针对性的方法改进。

从理论视角,该研究将跨层语义交互机制引入CNN–Transformer混合框架,允许局部缺陷特征在学习过程中逐步融入全局结构语义约束,克服了传统晚期融合策略的局限;同时针对缺陷识别任务设计的判别特征增强策略进一步强化了融合特征中的关键判别信息,提升了复杂工业背景条件下缺陷识别的稳定性。

该模型仍存在一定局限性:研究主要基于单一公开PCB缺陷数据集,其实验验证范围有限,模型在不同数据集或场景中的泛化能力尚需进一步系统验证;当前实验主要聚焦于分类性能分析,对缺陷定位或多任务联合检测等下游任务的适应性未作系统探究。

**研究结论**。该Transformer–CNN双分支模型在综合分类性能上优于多种主流方法:在相同设置下,相对ResNet-50、ViT-B/16、Conformer和SwinTransformer–CNN的准确率分别提升约2.6%、2.0%、1.2%和0.9%;F1分数达0.930,召回率达0.927,在显著降低漏检可能性的同时保持高精确率,实现了精确分类、可靠预测与全面缺陷覆盖之间的有效平衡。从类别层面分析,模型对鼠咬、开路和短路等结构性缺陷呈现清晰稳定的判别边界,油渍、缺铜和伪铜等纹理相似缺陷间的混淆得到有效控制。不同背景复杂度分层实验中,模型预测类别分布保持高度一致,纹理类缺陷预测仅出现微小波动,无显著类别偏倚,展现出应对复杂工业成像环境的适应能力,为实际PCB缺陷检测部署奠定了坚实基础。未来工作可沿多源数据验证、轻量化架构优化及向下游任务扩展等方向推进。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号