《Buildings》:Engineering Structure Crack Detection Method Combining TAPFormer Model and Morphological Mask Reasoning Rules
编辑推荐:
为应对复杂背景干扰、卷积神经网络(CNN, Convolutional Neural Network)长距离建模能力有限及钢–混凝土跨材料场景下泛化性差等挑战,研究人员提出了一种融合Task-Aware Part-based Transformer(TAPFo
为应对复杂背景干扰、卷积神经网络(CNN, Convolutional Neural Network)长距离建模能力有限及钢–混凝土跨材料场景下泛化性差等挑战,研究人员提出了一种融合Task-Aware Part-based Transformer(TAPFormer)与形态学推理规则的增强检测框架。该方法以TAPFormer为主干网络,通过任务感知查询(Task-Aware Query)机制捕获裂缝全局拓扑特征,弥补传统卷积算子对细长裂缝连续性建模的不足。此外,研究人员构建了基于几何先验知识的掩码(Mask)推理模块来处理标记笔痕迹、焊缝及混凝土孔洞等非结构化干扰,定义边缘曲率一致性、轴向长宽比及端点延伸方向等逻辑判据,对初始分割掩码进行拓扑修复与假阳性滤除。研究采用含4500张跨材料损伤图像的混合数据集验证,结果表明所提方法平均交并比(mean IoU, Intersection over Union)达86.72%,F1分数(F1-score)达90.36%;在强干扰场景下可滤除超91.0%由人工标记笔引起的假阳性,相较于主流先进(state-of-the-art, SOTA)模型IoU至少提升5.48%。结果表明该框架提升了复杂工程环境下裂缝识别的鲁棒性与逻辑自洽性。
《Buildings》期刊所刊发的该文针对既有基于卷积神经网络(CNN, Convolutional Neural Network)的裂缝语义分割方法存在局部感受野难以建模细长裂缝长距离连续性、在钢结构和混凝土结构混杂背景下易受焊缝/标记笔/水渍等干扰产生断裂或假阳性,以及纯数据驱动的Transformer模型仍缺乏物理逻辑约束等问题,提出将任务感知部件Transformer(TAPFormer, Task-Aware Part-based Transformer)与基于几何拓扑先验的形态学掩码(Mask)推理规则相结合的跨材料工程结构裂缝检测框架,经钢箱梁桥与SDNET2018及实地混凝土图像混合数据集验证,该方法在保持裂缝拓扑连续性的同时显著抑制非结构性干扰,mean IoU达86.72%、F1-score达90.36%,对标记笔假阳性抑制率达91.0%,优于主流SOTA模型,为结构健康监测(SHM, Structural Health Monitoring)中自动化损伤识别提供了兼顾视觉感知与逻辑推理的闭环方案。
为开展本研究,研究人员主要采用了以下关键技术方法:构建包含钢结构(大跨度钢箱梁桥巡检影像)与混凝土结构(SDNET2018公开数据集及水利大坝与建筑立面现场图像)的跨材料裂缝混合数据集,共约4500张512×512像素切片并按同原图分配划分训练/验证/测试集(7∶1.5∶1.5),由资深检测人员像素级标注并以Cohen's κ系数校验一致性;以改进TAPFormer为分割主干——采用重叠块嵌入(Overlapping Patch Embedding, 7×7卷积核步长4)、四级分层编码器及可学习任务感知查询(Task-Aware Query, Nq个),重构为空间拓扑感知逻辑聚焦裂尖与分叉点等几何关键点,解码器对称跳跃连接上采样输出初始概率图,损失函数为二值交叉熵(BCE, Binary Cross Entropy)与Dice Loss加权组合(λBCE=λDice=0.5);设计形态学掩码推理模块对初始概率图动态阈值提取连通域,计算边缘曲率方差(Var(κ))、骨架长宽比(AR=Lskeleton/√A)及端点方向延伸匹配准则判断真伪裂缝并做抑制或正向修复,生成修正权重;最终通过非线性融合算子(Pfinal=α·PTAP+β·wreason, α=0.6, β=0.4)反馈耦合视觉概率与推理权重,全局自适应阈值(τ=0.5)输出精细分割掩码;以IoU、Precision、Recall、F1-score为评价指标,设置U-Net、DeepLabV3+、Swin-Unet、SegFormer(B5)、CrackFormer II为对照模型并实施消融实验与权重敏感性分析。
研究结果如下:
4.1. Dataset Preparation and Preprocessing
研究人员采集真实巡检图像建立无合成样本的钢–混凝土跨材料裂缝基准数据集,经滑动窗口裁剪、几何与光度数据增强后按同原图互斥划分,由两名>5年经验技术人员LabelMe像素标注且κ=0.82(允许5像素容差),确保真值拓扑一致性,最终训练集扩增后15750样本。
4.2. Experimental Setup and Evaluation Metrics
实验基于PyTorch 2.0框架、NVIDIA RTX 3090显卡,AdamW优化器初始学习率1×10?4配合余弦退火调度,批次大小与训练轮次按标准配置,以IoU、Precision、Recall、F1-score量化性能,公式严格依TP/FP/FN定义。
4.3. Comparative Analysis of Experimental Results
训练损失快速下降并于约第180轮收敛,验证集IoU同步稳定无过拟合。对比实验显示:U-Net(IoU 75.82%)、DeepLabV3+(78.45%)、Swin-Unet(80.17%)、SegFormer-B5(82.86%)、CrackFormer II(84.12%),而所提方法IoU达86.72%(较最强基线+2.6%)、Precision 91.45%(+3.91%)、Recall 89.30%(+>3%),配对t检验p<0.01具统计显著性。形态学推理模块使标记笔假阳性率从12.45%降至1.12%(抑制91.0%),焊缝与混凝土孔洞假阳性抑制率分别达75.4%与86.9%。定性可视化表明该框架能解耦标记笔平滑边缘与真实微锯齿裂缝边缘,并对光照遮挡导致的断裂段通过方向延伸推理恢复拓扑连续性。
4.4. Ablation Study and Effectiveness Analysis
以基础Swin-Transformer为基线(M1, IoU 81.22%),加入TAP模块(M2)IoU提升至84.90%(+3.68%)、F1+3.92%,验证任务感知查询对裂纹尖端/分叉特征捕捉有效性;进一步加入形态学推理模块(M3)IoU达86.72%(+4.62%),Precision从84.60%跃升至91.45%(+6.85%)。增量消融证实边缘平滑滤波(+1.8% Precision)、长宽比筛除(+2.1% Precision)、方向延伸修复(+1.9% Recall, +1.3% Precision)各自贡献明确且协同最优。融合权重敏感性分析确定α=0.6, β=0.4时F1-score峰值且在钢/混凝土子集方差<1.2%,具跨材料泛化性。
讨论与结论翻译
研究人员指出:(1)改进TAPFormer作为特征提取主干,利用重叠块嵌入维持块边界亚像素连续性缓解标准Transformer裂缝断裂问题,重构拓扑感知逻辑精确捕获裂尖与分叉等几何关键点,为异质环境特征对齐提供稳健视觉基础;(2)构建掩码推理模块作为逻辑约束层强制拓扑自洽性,量化边缘曲率方差、轴向长宽比及方向延伸定律等几何先验区分真裂缝与非结构化干扰,可"逻辑恢复"断裂段并抑制假阳性,实验证实该机制使字迹诱导假阳性降低约91.0%;(3)综合评价表明所提方法在跨材料测试集上mean IoU 86.72%、F1-score 90.36%,持续优于经典CNN及近期SOTA Transformer模型,较最强纯数据驱动基线(CrackFormer II) IoU提升2.6%,证明融入逻辑推理层可在复杂高噪工程场景中突破常规视觉架构性能瓶颈。局限包括钢结构子集源于单一桥梁、未实现裂缝级别定量度量(长度/宽度/连通性)及推理阈值为经验设定需针对不同材料微调。未来工作将探索知识蒸馏模型压缩适配边缘端与无人机终端,以及小样本适应技术拓展至碳纤维复材等新材料损伤识别。