在电网检测中,通过RGB点云融合技术对小样本和小尺寸绝缘子烧蚀痕迹进行尺寸补偿

《Information Fusion》:Dimensional Compensation for Small-Sample and Small-Size Insulator Burn Mark via RGB-Point Cloud Fusion in Power Grid Inspection

【字体: 大 中 小 】 时间:2026年01月01日 来源:Information Fusion 15.5

编辑推荐:

  针对电力绝缘子烧痕检测样本稀缺及背景干扰大问题,本文提出IBMR数据集及两阶段分割框架,结合DCCU-Sampling降采样和BB-Backtracking细节恢复,实现81.21%和68.37%的mIoU,有效提升小缺陷检测能力。

  
唐俊秋|袁志康|魏子翔|高硕杰|沈长勇
同济大学电子与信息工程学院,上海,201804,中国

摘要

为了解决电力基础设施检测中烧痕样本稀缺的问题,我们推出了绝缘子烧痕RGB点云(IBMR)数据集,这是首个公开可用的基准数据集,其中包含了带有像素级注释的绝缘子和烧痕的RGB点云。为了解决由于背景点数量庞大而烧痕尺寸较小导致的严重类别不平衡问题,我们提出了一种新颖的两阶段RGB点云分割框架。该框架结合了DCCU-Sampling算法(一种创新的降采样算法,能够在保留目标关键结构的同时有效抑制背景点)和BB-Backtracking方法(一种几何恢复方法,用于重建降采样过程中丢失的细粒度烧痕细节)。实验结果验证了该框架的有效性:使用32个训练样本时,mIoU达到了81.21%;仅使用14个样本时,mIoU达到了68.37%。该数据集可在以下链接公开获取:https://huggingface.co/datasets/Junqiu-Tang/IBMR。

引言

作为电力传输和分配系统中的关键绝缘组件,绝缘子不断受到电应力、热应力和环境应力的共同作用[1],[2],这会加速其老化过程,并可能引发故障(例如局部放电、闪络),通常会在其表面留下可见的烧痕[3],[4](见图1)。未能及时识别并采取干预措施可能导致绝缘状态持续恶化,最终导致严重的运行故障,如设备损坏甚至线路跳闸[5],[6]。因此,快速准确地识别绝缘子表面的烧痕对于确保电网的安全稳定运行具有至关重要的工程意义和实际价值。
传统上依赖人工检查来识别绝缘子上的烧痕,已越来越无法满足电力系统的效率和准确性要求。为此,计算机视觉和机器学习的进步使得基于图像的自动化识别方法成为可能,为绝缘子缺陷检测提供了新的解决方案。鉴于烧痕等表面缺陷的复杂形态、小尺寸以及显著的背景干扰[7],近期研究主要集中在数据驱动的深度学习方法上。邵等人[8]提出了一种改进的DeepLabv3+网络,以解决检测表面缺陷时的误分类和边界混淆问题。卢等人[9]开发了一种三步框架,用于高速铁路牵引变电站中绝缘子表面缺陷的像素级分割。这些基于图像的方法通常需要使用数千个甚至更多的标注缺陷样本进行训练。
然而,在实际的电网检测场景中,缺陷事件较为稀少且罕见,因此在短时间内收集大量数据颇具挑战性。当训练样本数量有限时,这些方法的性能会显著下降,从而难以准确检测绝缘子上的细微表面缺陷。为了解决数据稀缺的问题,我们提出了一个研究问题:“通过引入额外的数据维度和多通道信息融合,是否可以增强神经网络对缺陷特征的表示和学习能力,而无需增加样本数量?”
激光雷达(LiDAR)技术能够捕捉精确的三维几何信息,包括表面形状和空间位置,这与来自视觉传感器的纹理和颜色数据具有互补性[10],[11]。欧阳等人[12]提出了SaccadeFork模型,这是一种卷积神经网络,可以将图像与上采样的激光雷达点云融合,从而在复杂的自动驾驶场景中解决精确感知问题。徐等人[13]开发了MM-Net模型,这是一种多模态多层融合网络,通过双分支特征提取和特征级融合模块来增强行人检测能力。因此,正如这些方法所展示的,将激光雷达的详细3D结构特征与图像中的丰富视觉信息融合,可以显著提升特征表示和模型的鲁棒性。即使在烧痕样本稀缺的情况下,这种多模态融合策略也能利用互补的数据源,实现对绝缘子表面及其缺陷的更全面理解,具有重要的研究价值和实际潜力。
然而,在将激光雷达-视觉融合应用于绝缘子烧痕检测时,一个突出的挑战源于激光雷达数据本身的特性。激光雷达扫描对于捕捉空间几何结构至关重要,但通常会覆盖广阔的区域,从而产生大量高密度的点云。在这些庞大的数据集中,目标对象(即绝缘子上的小烧痕)仅占极少数的点,并且特征较为微妙。同时,背景点占据了场景的绝大多数,可能会严重掩盖这些目标特征。在电力传输和分配系统的复杂环境中,这一问题尤为突出,因为树木、建筑物和塔架等众多背景物体的存在进一步加剧了准确检测小尺寸烧痕的难度。
为了解决烧痕样本稀缺和由于背景点众多以及烧痕尺寸较小导致的严重类别不平衡问题,本文做出了以下关键贡献:
  • 1)
    首先,我们推出了绝缘子烧痕RGB点云数据集(IBMR),这是首个包含描绘绝缘子烧痕的RGB点云的数据集。
  • 2)
    其次,我们提出了一种专为小样本学习场景设计的新颖两阶段RGB点云分割框架。该架构有效利用了RGB数据和点云数据的互补优势,即使在实际电力系统检测中烧痕数据极为有限的情况下,也能实现稳健的特征学习和精确分割。
  • 3)
    第三,为直接解决在激光雷达数据中从大量背景点中检测小尺寸烧痕的核心问题,我们引入了DCCU-Sampling算法,这种创新的降采样算法能够在保留小目标关键结构的同时有效抑制背景点,从而大幅减轻类别不平衡问题。此外,BB-Backtracking方法能够恢复在必要降采样阶段丢失的具有区分性的细粒度细节,确保用于分割这些微妙烧痕的关键特征能够被准确重建并用于最终预测。
  • 总体而言,这项工作首次提出了一个综合解决方案,有效解决了数据稀缺(小样本)问题和由于小目标导致的背景引起的类别不平衡问题,显著推进了电力传输基础设施自动化状态监测的发展。

    部分内容

    多模态融合用于场景理解

    视觉(RGB)数据和激光雷达数据的融合已成为提升多个领域感知能力的强大范式,包括自动驾驶[12]、机器人技术[14]和基础设施检测[15]。融合策略可以根据模态结合的阶段进行广泛分类:早期(数据级)、中期(特征级)或后期(决策级)融合[16]。特征级融合从每种模态中提取并组合特征

    IBMR数据集

    我们推出了绝缘子烧痕RGB点云(IBMR)数据集,这是首个包含描绘绝缘子烧痕的RGB点云的集合。该数据集包括同步的RGB点云、相应的RGB图像帧以及精确的注释,这些注释标识了绝缘子和烧痕。该数据集可在以下链接公开获取:https://huggingface.co/datasets/Junqiu-Tang/IBMR

    两阶段点云处理和分割框架

    该框架专门设计用于定位和分割小尺寸目标。在第一阶段,从原始点云中提取绝缘子主体,显著减少了搜索空间和背景杂乱。随后,在第二阶段,从提取的绝缘子区域中精确分割出微妙的烧痕,将计算资源集中在关键的小尺寸特征上。所提出框架的总体架构如图4所示。

    实验设置

    训练实施:所有实验都在配备了NVIDIA V100-32GB GPU和Intel? Xeon? Gold 6130 CPU的统一平台上进行。模型使用PyTorch实现,并采用一致的批量大小(4)进行训练,以确保公平比较。
    数据集划分:为了确保统计可靠性和严格评估,我们为所有实验建立了固定的数据划分方案。在IBMR数据集的50个样本中,有10个样本被永久保留作为测试集

    结论

    本研究提出了一个综合解决方案,解决了电力传输基础设施检测中烧痕样本稀缺和极端类别不平衡的双重挑战。关键的是,我们推出了绝缘子烧痕RGB点云(IBMR)数据集,这是首个包含带有精确注释的同步RGB点云的基准数据集。利用这一资源,我们开发了一种新颖的两阶段RGB点云分割框架,包括:

    CRediT作者贡献声明

    唐俊秋:撰写——原始草稿、软件、方法论、形式分析、数据整理、概念化。袁志康:撰写——审阅与编辑、资源获取。魏子翔:撰写——审阅与编辑。高硕杰:数据整理。沈长勇:撰写——审阅与编辑、形式分析。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号