IViT:一种用于输电线路走廊隐蔽隐患目标检测的增量学习方法

《Sensors》:IViT: An Incremental Learning Method for Object Detection of Hidden Hazards in Transmission Line Corridors

【字体: 大 中 小 】 时间:2025年12月26日 来源:Sensors 4.0

编辑推荐:

  利用无人机对输电线路进行巡检主要依赖于目标检测。然而,新型障碍物类别的持续出现要求对检测模型进行频繁更新,从而带来较高的重复训练成本。为应对这一挑战,研究人员提出了一种名为IViT的新型框架,该框架将增量学习与混合卷积神经网络(CNN)-视觉Transform

  
利用无人机对输电线路进行巡检主要依赖于目标检测。然而,新型障碍物类别的持续出现要求对检测模型进行频繁更新,从而带来较高的重复训练成本。为应对这一挑战,研究人员提出了一种名为IViT的新型框架,该框架将增量学习与混合卷积神经网络(CNN)-视觉Transformer(ViT)架构相结合,以提升识别能力。研究中将知识蒸馏与弹性响应选择蒸馏策略(ERS)相结合,以增强模型对旧类别的检测性能,并通过基于逐元素乘法构建的星形卷积残差块(SCRB)强化知识保持能力。研究人员设计了一种可分离卷积聚合块(SCAB),该模块集成了部分卷积(PConv)与注意力机制,有效融合全局信息与局部信息,从而提高检测精度。最后,研究将这两个模块统一到一个混合块中。在静态检测任务中,IViT取得了55.3%的平均精度均值(mAP)、83.6%的mAP50和61.0%的mAP75。在增量检测任务中,该方法实现了57.8%的mAP、79.7%的mAP50和62.3%的mAP75。基于输电线路走廊外破数据集和INSPLAD数据集的大量实验表明,与主流静态目标检测模型和增量目标检测模型相比,IViT展现出突出的检测性能。
本文发表于《Sensors》,研究聚焦于输电线路走廊隐患巡检场景中的目标检测与模型持续更新问题。输电线路走廊是高压输电线路两侧及下方需要重点监测的带状区域,起重机、挖掘机、塔吊、车辆及电力部件等目标一旦进入或接近危险范围,可能引发短时或长期停电事故。随着无人机巡检和计算机视觉技术的发展,基于深度学习的自动巡检已成为提升巡检效率和安全性的重要路径。然而,现有输电线路巡检目标检测方法大多建立在静态类别集合之上,当新的隐患类别不断出现时,模型往往需要联合旧数据进行整体重训练,这不仅计算开销大、更新流程复杂,而且在实际部署中难以满足快速迭代需求。与此同时,输电巡检图像还具有类别长尾分布、类间差异细微、背景复杂、小目标多以及视角变化显著等问题,仅依赖卷积神经网络(CNN,擅长局部纹理建模)容易忽略长程依赖,仅依赖Transformer则可能削弱细粒度局部细节表达。因此,如何在不回放历史数据的前提下实现新类别学习,并兼顾旧知识保持与复杂场景表征能力,成为该研究的核心问题。

围绕上述问题,研究人员提出了IViT增量目标检测框架。该方法以知识蒸馏为增量学习主线,采用教师-学生结构:上一阶段训练完成的模型在新阶段被冻结为教师模型,学生模型继承其网络架构,在学习新类别的同时通过蒸馏损失保留旧类别知识。为改善旧类别遗忘问题,研究引入弹性响应选择策略(ERS),依据教师模型回归响应的统计特征动态筛选高质量蒸馏节点,使学生模型能够在关键位置获得更有效的定位与分类指导。为进一步增强特征保持与新旧类别辨识能力,作者构建了混合CNN-Transformer结构,并提出两个关键模块:星形卷积残差块(SCRB)通过深度卷积(DWConv)和逐元素乘法形式的星操作实现高维隐式特征交互,以稳定旧类别特征表示并缓解灾难性遗忘;可分离卷积聚合块(SCAB)则将部分卷积(PConv)与自注意力机制结合,在降低计算冗余的同时强化全局语义建模能力,从而更好地处理复杂背景中的新旧类别区分。实验结果表明,该方法在静态检测和增量检测两类任务上均取得优异性能,优于多种主流静态检测器和增量检测器。研究表明,IViT在输电线路巡检这一动态演化场景中,为低重训练成本、高鲁棒性的目标检测模型更新提供了有效方案,具有明确的工程应用价值。

方法上,研究以输电线路走廊外破数据集作为旧类别数据,以InsPLAD公开数据集中不与旧类别重叠的14类电力部件作为新类别数据,按9:1划分训练集与测试集,在mmdetection框架上完成实验。模型采用教师-学生增量训练机制,以检测损失与ERS分类、回归蒸馏损失联合优化。网络编码端由多阶段特征提取结构构成,核心混合块包含SCRB、空间缩减注意力(SRA)与SCAB,通过CNN局部建模和Transformer全局关系建模协同增强特征表达。研究进一步通过对比实验、消融实验和可视化实验验证各模块贡献。

3. Methodology
研究方法部分首先给出了IViT总体框架。整个系统采用学生模型与教师模型同构设计,教师模型在每个增量阶段开始时由前一阶段模型冻结得到,权重保持不变,用于提供稳定的高层语义与定位响应;学生模型则在当前阶段接收相同输入,并在学习新类别的过程中接受蒸馏约束。总损失由检测器本身的分类与定位损失,以及ERS引导的增量分类损失与增量回归损失共同构成。该设计的关键在于通过弹性阈值,从教师模型回归响应中筛选最具信息量的蒸馏节点,从而保留高质量分类知识和代表性定位输出,降低无效蒸馏带来的噪声。

3.1. Overview of the Proposed Method
在编码器设计中,输入图像首先经过嵌入层转化为后续处理所需的特征表示,随后进入SCRB以减少参数量并缓解灾难性遗忘。之后,特征依次通过两个残差连接分支:第一分支在归一化后引入空间缩减注意力(SRA),通过压缩键(K)和值(V)的空间维度降低相似度计算成本,同时维持全局依赖建模能力;第二分支在归一化后引入SCAB,以部分通道卷积和注意力机制提升特征融合效率。最终,特征经前馈网络(Feed Forward Network)进一步变换与增强,形成更适于检测任务的表示。

3.2. Star Convolution Residual Block
该小节针对SCRB进行了系统阐述。研究指出,深度卷积(DWConv)由于逐通道独立卷积,可显著减少参数量并提高已有特征的复用效率,这一性质对增量目标检测中的旧知识保持具有积极作用。相较于MobileNet和RepViT模块中SE层在增量学习时易因参数更新而削弱旧类别表征,SCRB利用DWConv的通道独立性稳定旧特征,并引入受StarNet启发的星操作,在不显式增加网络宽度的条件下,获得类似高维核映射的隐式非线性特征空间。其核心思想是对输入特征的不同线性变换结果进行逐元素相乘,从而生成更丰富的高阶交互特征,强化类间细微差别表达。实验逻辑上,这一设计提高了旧类别特征保留能力,并通过残差连接维持训练稳定性。具体结构为:输入特征先经DWConv,再分为两个子空间,经星操作融合后依次经过1×1卷积、批归一化(BatchNorm)、GELU激活与另一层1×1卷积,最后与原输入建立跳跃连接。研究据此认为,SCRB在缓解旧类别遗忘方面发挥了关键作用。

3.3. Separate Convolution Aggregation Block
针对PConv感受野受限、难以获取全局信息的问题,研究提出SCAB。PConv仅对部分输入通道施加卷积,剩余通道直接旁路,这可显著降低计算复杂度和内存访问成本,但也会弱化全局语义建模。SCAB通过将PConv与注意力机制结合,补偿局部卷积在长程依赖建模上的不足。其实现方式是先按比例将输入通道划分为两部分,仅对其中一部分进行卷积特征精炼,再经层归一化(LayerNorm)和自注意力进行重要性重标定,最后与未处理通道拼接输出。该模块兼顾了局部感知与全局建模,既减少冗余计算,也增强了模型在复杂隐患图像中的新旧类别区分能力。

4. Experiments
实验部分在两个电力相关数据集上验证方法有效性。旧类别数据来自研究自建的输电线路走廊外破数据集,共包含起重机、塔吊、挖掘机、输电塔、自卸车、叉车、混凝土搅拌车、混凝土泵车、打桩机和气瓶10类目标,经缩放与随机裁剪扩增至9611幅图像。新类别数据来自InsPLAD数据集,原始数据共18,000幅图像,研究选取其中与自建数据集不重叠的14类用于增量实验。实验采用mAP作为评价指标。

4.3.1. Results of Comparative Experiments
在静态目标检测对比中,IViT在自建输电线路走廊外破数据集上实现55.3%的mAP、83.6%的mAP50和61.0%的mAP75。结果显示,其mAP与mAP75优于ATSS、RTMDet、TOOD、VFNet、YOLOv9、YOLOv10、YOLOv11和RT-DETR等方法,mAP50仅次于YOLOv9,说明该模型在复杂走廊外破场景下具备较强的综合检测能力。
在增量学习前与增量检测方法的比较中,IViT同样优于IOD、MLIFSOD、ERD和CLDETR,在mAP、mAP50和mAP75上均取得最佳或并列最优表现,显示出其作为增量检测框架的优越基础性能。
在增量学习后对旧类别和新类别的综合评估中,IViT在旧类别上达到40.1%的mAP、65.7%的mAP50和44.2%的mAP75,在新类别上达到71.7%的mAP、90.2%的mAP50和76.4%的mAP75,总体达到57.8%的mAP、79.7%的mAP50和62.3%的mAP75。结果表明,IOD虽对新类检测较强,但旧类遗忘严重;MLIFSOD与ERD改善了旧类保持,却牺牲了部分新类性能;CLDETR整体较均衡,但IViT在旧类与新类上均进一步超越。该结果直接支持了IViT在“旧知识保持—新知识获取”平衡上的优势。

4.3.2. Visualization Results
可视化结果进一步证明了模型有效性。针对旧类别检测,IOD存在类别预测错误和重复框较多的问题;MLIFSOD与ERD在复杂背景下漏检明显,类别辨别能力有限;CLDETR能够识别多类目标,但仍有漏检。IViT则能够更完整、准确地识别图像中所有类别,显示出更好的抗遗忘能力。针对新类别检测,可视化比较中CLDETR已表现较好,而IViT在其基础上进一步提高,说明该方法不仅能保留旧类能力,也能维持对新类的高检测性能。

4.4. Ablation Experiments
消融实验以基于Transformer的GFLv1为基线,逐步引入ERS、SCRB和SCAB,以验证各模块独立贡献。增量学习前,基线模型达到54.4%的mAP、82.7%的mAP50和58.3%的mAP75;加入SCRB后分别提升至54.5%、83.3%和59.9%,说明SCRB对静态检测性能有正向贡献;进一步加入SCAB后提升至55.3%、83.6%和61.0%,证明SCAB能够进一步增强检测精度。
增量学习后,若不采用特定策略,模型在旧类别上的mAP、mAP50和mAP75仅为33.5%、57.4%和35.3%,而新类别较高,说明存在明显灾难性遗忘。加入ERS后,旧类别三项指标分别提升5.4%、6.2%和6.2%,而新类别基本稳定,表明ERS能有效缓解遗忘而不显著损伤新类性能。进一步加入SCRB后,旧类别继续小幅提升,但新类别性能略有下降,提示旧知识保持与新知识适应之间存在一定权衡。最终引入SCAB后,旧类别提升至40.1%、65.7%和44.2%,新类别维持在71.7%、90.2%和76.4%的较高水平,说明SCAB成功弥补了前一步中新类别性能下降的问题,并显著增强整体表现。对应的可视化消融结果也显示:ERS能改善类别判别稳定性,SCRB能进一步缓解旧类遗忘,而SCAB则有助于恢复并提升对新类别的检测效果。

讨论部分指出,IViT通过知识蒸馏、CNN与Transformer的系统融合,实现了兼顾旧类保持与新类学习的增量目标检测。SCRB利用DWConv和逐元素乘法强化旧类别特征稳定性,SCAB通过局部卷积与注意力协同提升全局语义聚合能力,两者共同构成了混合架构中的关键增益来源。研究同时指出,该方法虽取得优异性能,但深度融合结构也带来一定内存与计算开销;在复杂工业环境下,运动模糊、遮挡和无人机高频振动仍可能影响特征提取、边界定位和表征稳定性。此外,作者讨论了其工程可部署性:由于框架不依赖记忆回放,增量更新不会增加额外推理时延,适用于无人机近实时巡检需求;CNN分支有助于稳定局部纹理与边缘表示,Transformer分支有助于在遮挡和几何变化下保持语义一致性,SCRB与SCAB则进一步增强了模型对环境干扰的鲁棒性。总体而言,研究在输电线路巡检这一典型动态视觉任务中,提出了一个兼具理论创新与应用潜力的增量检测方案。

结论部分可译为:
本文提出了IViT,一种系统集成知识蒸馏、卷积神经网络(CNN)与Transformer架构的增量目标检测框架。与ERD和CL-DETR相比,IViT采用兼顾局部特征效率与全局关系建模的混合架构,为增量学习提供了更高效的优化基础。不同于传统混合CNN-Transformer检测器,IViT作为增量检测器,引入了灵活的知识蒸馏机制,使模型能够在逐步学习新类别的同时保留对旧类别的识别能力。所提出的弹性响应选择蒸馏策略有效保持了既有类别知识。通过星形卷积残差块(SCRB)与可分离卷积聚合块(SCAB)的协同作用,模型在旧类别与新类别识别方面均表现出增强能力。CNN与Transformer组件的深度融合实现了稳健的特征表示学习,但同时也带来一定的内存与计算开销。SCRB利用深度卷积与逐元素乘法增强旧类别特征保持,但多层堆叠形成高维特征空间时会略微增加计算成本;SCAB通过融合局部卷积与注意力机制提升全局语义建模,但注意力模块引入的附加矩阵运算可能对资源受限部署造成负担。尽管IViT取得了较强性能,仍存在一定局限性,例如复杂工业条件下的运动模糊、遮挡和无人机高频振动会削弱特征表示稳定性并加剧灾难性遗忘。总体而言,该方法在不依赖记忆回放的前提下,具备满足无人机近实时巡检需求的潜力,并为后续跨域增量学习、多任务联合建模与时序一致性增强研究提供了基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号