《Sensors》:A Novel CNN–ViT Model with Cascade Upsampling for Efficient Crack Segmentation
Ahmed Tibermacine,
Imad Eddine Tibermacine,
Zineddine S. Kahhoul,
Ilyes Naidji,
Abdelaziz Rabehi and
Mustapha Habib
编辑推荐:
土木基础设施图像中的准确裂缝分割仍然具有挑战性,因为存在大量细薄、低对比度和空间不连续的缺陷,这些缺陷通常出现在纹理表面、阴影和采集噪声中。尽管基于变换器(Transformer)的模型改善了全局上下文建模,但许多现有解决方案带来了大量的计算和内存开销,限制了
土木基础设施图像中的准确裂缝分割仍然具有挑战性,因为存在大量细薄、低对比度和空间不连续的缺陷,这些缺陷通常出现在纹理表面、阴影和采集噪声中。尽管基于变换器(Transformer)的模型改善了全局上下文建模,但许多现有解决方案带来了大量的计算和内存开销,限制了它们在资源受限的实际检测场景中的使用。在本工作中,研究人员引入了一种高效的混合分割架构,该架构结合了用于高保真局部表示的卷积编码器(convolutional encoder)和用于全局依赖性建模的轻量级变换器(Transformer)瓶颈,随后是一个通过多级跳跃特征融合(multi-level skip-feature fusion)恢复空间分辨率的渐进式解码器(progressive decoder)。为了更好地适应严重的前景稀疏性并保留精细裂缝结构,该框架使用复合Dice-二元交叉熵(Dice–Binary Cross-Entropy)目标函数进行训练,并采用一种旨在保留精细空间细节同时实现高效全局上下文建模的令牌化(tokenization)策略。研究人员在四个公开基准数据集上验证了所提出的方法,证明了相较于代表性卷积、基于变换器和混合基线的持续改进,而消融研究确认了每个设计组件的贡献。最后,运行时分析显示了有利的延迟和内存特性,支持在嵌入式和边缘检测平台上进行实时或近实时部署。
在土木基础设施维护中,表面裂缝的精确分割对于结构健康评估至关重要,但传统人工检测方法主观低效,而深度学习虽已广泛应用,仍面临挑战。当前基于卷积神经网络(CNN)的方法受限于局部感受野,难以建模长距离依赖;基于视觉变换器(ViT)的方法虽能捕获全局上下文,但计算和内存开销大,限制了在资源受限平台上的部署。现有混合架构往往在准确性、效率或部署可行性上折中。为此,研究人员提出了一种轻量级混合架构,巧妙整合CNN编码器与轻量级ViT瓶颈,旨在同时保留局部细节与全局语义,实现高效裂缝分割。该研究在四个公开数据集(Crack Segmentation Dataset、Crack500、SDNET2018、DeepCrack)上进行了验证,结果显示模型在Dice系数、交并比(IoU)等指标上一致优于多种基线(包括U-Net、DeepLabV3+、Swin-UNet、SegFormer-B0、CrackFormer、CrackSegFormer、TransFuse等),消融研究证实了跳跃连接、复合损失函数、ViT瓶颈及最优patch尺寸等组件的重要性。部署分析表明,模型仅5.1M参数、21.3MB存储,在NVIDIA RTX 3050上达到35 FPS,在Jetson TX2嵌入式平台上经TensorRT优化后可达约11.5 FPS,支持近实时推理,适用于无人机、移动机器人等边缘检测场景。论文发表在《Sensors》。
研究人员采用的主要关键技术包括:(1)四阶段CNN编码器,使用3×3卷积和2×2最大池化,将输入图像从512×512逐步降采样至32×32,通道数从64增至512,以提取多尺度局部特征;(2)轻量级ViT瓶颈,作用于编码器第二阶段输出的128×128特征图,将其划分为16×16的非重叠patch(共64个令牌,排列为8×8网格),每个令牌映射至128维嵌入,经4层、4头自注意力处理,以建模全局依赖;(3)级联解码器,通过双线性上采样和3×3卷积逐步恢复空间分辨率,并利用从编码器各阶段到对应解码器阶段的跳跃连接融合高分辨率细节;(4)复合Dice-二元交叉熵损失函数(λ=0.5)以缓解前景稀疏和类别不平衡问题;(5)训练采用Adam优化器(初始学习率1e-4),数据增强包括随机旋转、翻转、透视变形、亮度/对比度调整及高斯噪声注入。样本来源为四个公开数据集:Crack Segmentation Dataset(2581张含裂缝图像)、Crack500(500张道路裂缝图像)、SDNET2018(8484张裂缝+47608张无裂缝桥梁/路面图像)、DeepCrack(537张墙面/路面裂缝图像),所有图像统一调整至512×512分辨率。
**4.4 结果**:研究人员在四个数据集上分别以70%训练、15%验证、15%测试的比例进行实验,采用早停法(基于验证集Dice)选取模型检查点,报告五次独立运行的均值±标准差。在CrackDataset上,测试Dice为0.499±0.006;Crack500上为0.519±0.007;SDNET2018上为0.484±0.008;DeepCrack上达到最高0.533±0.007,对应的IoU为0.393±0.006,像素精度为0.964±0.002。所有数据集的像素精度均高于95%,表明模型在不同复杂度和噪声水平下均保持稳定分割能力。
**5.1 消融研究**:在CrackDataset上进行的消融实验表明:(1) 移除跳跃连接导致Dice从0.499降至0.462,说明跳跃连接对保留精细结构至关重要;(2) 仅使用二元交叉熵(BCE)损失(无Dice损失)使Dice降至0.469,证明复合损失的必要性;(3) 将ViT的patch大小从16×16增至32×32(令牌数从64减至16)使Dice降至0.484,表明较小patch能更好捕获裂缝细节;(4) 用卷积瓶颈替代ViT瓶颈使Dice降至0.457,验证了全局长程依赖建模的重要性。此外,增大嵌入维度(128→256)或Transformer层数(4→8)仅带来微乎其微的精度增益(<0.003 Dice),却显著增加参数量,确认了轻量级设计(D=128, L=4, h=4)的最优效率-精度平衡。
**5.2 对比分析**:在统一实验协议下(随机初始化,无预训练权重),与U-Net、DeepLabV3+、Swin-UNet、SegFormer-B0、Attention U-Net、CrackFormer、CrackSegFormer、TransFuse等八种基线模型相比,所提模型在四个数据集上均取得最高Dice分数。例如,在CrackDataset上,所提模型Dice为0.499,分别比U-Net(0.452)和DeepLabV3+(0.427)高出10.4%和16.9%;比CrackFormer(0.498)和CrackSegFormer(0.493)分别提升0.1和0.6个百分点。在SDNET2018上,所提模型Dice为0.473,比CrackFormer(0.446)和SegFormer-B0(0.423)分别高出2.7和5.0个百分点。敏感性分析表明,统一超参数(学习率1e-4、批大小8)并未系统性偏向任何架构,相对排名一致。
**5.3 部署分析**:在NVIDIA RTX 3050、Jetson TX2和Jetson Nano平台上进行推理性能测试。所提模型在RTX 3050上达到35 FPS,推理时间为28.6 ms;在Jetson TX2(TensorRT FP16优化)上为87.3 ms(约11.5 FPS);模型大小仅21.3 MB,参数量5.1M。相比之下,CrackFormer(25 FPS)、Swin-UNet(26 FPS)、CrackSegFormer(22 FPS)均更慢,而U-Net(42 FPS)虽快但精度显著较低。准确性-速度权衡图显示所提模型位于最接近理想右上象限的位置。
**5.4 失败案例分析**:模型在极端细裂缝、裂缝状纹理误检、遮挡或阴影导致的裂纹不连续以及patch边界伪影方面存在局限。例如,在SDNET2018中,由于表面复杂度和光照不一致,极细裂缝易被低估;类似污迹或划痕的线性图案可能被误判为裂缝。这些局限性为未来改进指明了方向。
**结论**:本研究提出了一种轻量级且任务优化的混合架构,统一了卷积和基于变换器的范式,用于复杂真实场景中的鲁棒裂缝分割。通过精心整合用于局部细节提取的CNN编码器和用于全局上下文建模的感受野感知ViT瓶颈,该模型有效解决了现有方法在捕获细薄、碎片化和低对比度裂缝结构方面的局限性。解码器的级联上采样和跳跃连接细化进一步提高了边界精度和结构连续性。该架构引入了多种裂缝感知设计,包括优化的patch尺寸和复合Dice-二元交叉熵(Dice-BCE)损失函数,共同提高了对形态变异性和类别不平衡的敏感性。在包括CrackDataset、Crack500、SDNET2018和DeepCrack四个不同公开数据集上的全面评估显示,该模型相较于经典和最先进基线取得了持续的性能提升。消融研究确认了每个架构组件的独特贡献,揭示了性能改进的内部机制。除了准确性之外,研究人员通过在Jetson Nano和Raspberry Pi等嵌入式平台上的实时推理分析验证了模型的部署就绪性,实现了低内存占用、紧凑模型尺寸和高帧率,且未牺牲准确性。与许多先前专注于准确性或模型复杂度的工作不同,本研究提供了一个统一架构,平衡了分割保真度、跨数据集泛化能力和实际可部署性。所得框架非常适合集成到移动检测系统中,包括无人机(UAV)、基于边缘的机器人平台和手持监测设备。未来工作将探索模型量化、剪枝和知识蒸馏以进一步降低延迟和能耗,并扩展至多类缺陷分割及主动学习管道。