面向RGB-D钢轨表面缺陷检测的层次化跨模态注意力与多尺度交互

《Displays》:Hierarchical cross-modal attention and multi-scale interaction for RGB-D rail surface defect inspection

【字体: 大 中 小 】 时间:2026年09月24日 来源:Displays 3.9

编辑推荐:

   •我们提出了一种新颖的层次化多尺度注意力网络(HMANet),结合基于SAM的深度编码策略,用于RGB-D铁路表面缺陷检测。•我们提出了一种层次化跨模态注意力融合(HCAF)模块,以增强RGB-D特征交互和深度信息的利用。•我们提出了一种多尺度注意力交互(MSAI)模块,通过

  

•我们提出了一种新颖的层次化多尺度注意力网络(HMANet),结合基于SAM的深度编码策略,用于RGB-D铁路表面缺陷检测。•我们提出了一种层次化跨模态注意力融合(HCAF)模块,以增强RGB-D特征交互和深度信息的利用。•我们提出了一种多尺度注意力交互(MSAI)模块,通过跨尺度特征交互来增强缺陷判别能力。•在NEU RSDDS-AUG数据集上的实验结果表明,该模型优于15种最先进方法。引言得益于高效、大运量和经济性,铁路运输已成为许多地区人员和货物运输的重要方式。然而,随着列车载重和运行速度的持续增加,铁路面临日益增长的运行压力。因此,铁路表面缺陷检测(RSDI)任务自然引起了广泛关注。传统的铁路缺陷检测主要依赖维护人员的现场例行检查,导致检测效率有限且运行成本高。由于不同的形成机制,铁路表面缺陷呈现出多样化的视觉模式。同时,光照条件和铁路表面外观的变化引入了相当大的不确定性,使得准确的缺陷定位和识别更加具有挑战性。为应对这些挑战,研究人员开发了更先进的铁路表面缺陷检测方法[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8],这些方法主要依赖铁路表面图像来实现准确的缺陷定位和分割。在传感技术近期进步的推动下,深度信息越来越多地被引入该任务中,以补充传统的RGB信息。通过捕获潜在的几何结构,深度表示提供了额外的指导,有助于从完好的铁路表面中检测缺陷区域。这推动了各种有效方法的出现[9]、[10]、[11]、[12]、[13]、[14],从而促进了RGB-D RSDI的快速发展。大多数现有的RGB-D RSDI模型采用双流特征提取架构来捕获多模态和多层次特征,随后通过各种解码器融合提取的信息。然而,这些模型在双流框架中以相同的方式处理RGB图像和深度图,这阻碍了铁路表面缺陷图像中深度信息的充分利用。尽管RGB-D信息同时提供了外观和空间线索,但深度图中的缺陷信息未被充分挖掘。此外,缺陷形态的显著变化以及复杂背景干扰的存在,使得在复杂场景中鲁棒的缺陷表征成为一个具有挑战性的任务。鉴于上述考虑,本文尝试将Segment Anything Model(SAM)架构引入RGB-D RSDI,并提出一种名为HMANet的新颖框架。为了更好地利用深度图提供的几何信息,所提出的框架融入了SAM架构。尽管SAM最初是用于通用图像分割的,但其预训练编码器已从大规模图像数据中学习到了强大的语义表示。与传统的骨干网络相比,SAM编码器在捕获对象边界和几何结构方面表现出更强的能力。由于铁路缺陷通常具有不规则的边界和微妙的几何变化,这些特征使SAM特别适合从深度图中提取信息丰富的表示。因此,我们采用SAM编码器作为深度特征提取器,而不是使用另一种标准的视觉骨干网络。为了在保留其强大表示能力的同时,有效地将预训练SAM编码器适配到RSDI任务中,我们冻结其参数并插入轻量级适配器模块,这显著减少了可训练参数的数量。基于SAM的架构在处理深度图方面是有效的,然而,RSDI任务仍需要对RGB和深度图进行进一步处理,以及一个专门用于特征融合的模块。因此,我们提出了层次化跨模态注意力融合(HCAF)模块,该模块结合自注意力和通道注意力机制来利用经过SAM处理的深度特征,并促进全面的跨模态特征交互。此外,我们提出了多尺度注意力交互(MSAI)模块,该模块在同一尺度上具有不同感受野的特征之间有效地进行成对交互。通过这种方式,所提出的HMANet有效地解决了在复杂场景中准确捕获缺陷结构的挑战。我们的主要贡献总结如下:•我们引入了一种基于SAM的深度编码策略,利用预训练的图像编码器提取语义丰富的深度特征。与之前将深度视为辅助模态的方法不同,我们利用SAM将深度特征提升为强大的语义信息,这一设计显著提高了复杂场景中铁路表面缺陷检测的性能。•我们提出了一种层次化跨模态注意力融合(HCAF)模块,结合自注意力和通道注意力,同时考虑空间和通道依赖性。这一设计实现了RGB和深度模态之间的全面特征交互,显著增强了利用深度图的能力。•我们提出了一种多尺度注意力交互(MSAI)模块,在不同感受野的特征之间进行成对交互。通过在通道域和空间域中对跨尺度的RGB-D融合特征进行对齐,所提出的模块显著提高了模型从复杂背景中区分铁路表面缺陷的能力。章节摘要铁路表面缺陷检测确保铁路轨道结构完整性需要有效地检测铁路表面缺陷,这对于维护安全稳定的铁路运营至关重要。为满足这一需求,研究人员探索了各种技术来进行及时的轨道状况评估[2]、[3]、[4]、[5]。Nieniewski等人[2]设计了一种铁路检查方法,利用形态学分析同时定位缺陷并恢复其几何形状。Ni等人[3]提出了一种方法……方法概述所提出的HMANet架构概述如图1所示。该框架分为三个顺序阶段,包括特征提取、通过HCAF模块进行层次化跨模态注意力融合,以及通过MSAI模块实现的多尺度特征交互。作为HMANet的第一步,RGB和深度数据通过两个专用骨干网络进行编码。视觉流采用金字塔视觉Transformer(PVT)[39]来捕获外观线索,而……实现细节所提出的HMANet框架基于PyTorch开发,并在单个NVIDIA TITAN RTX GPU上执行。所有输入图像统一调整为352 × 352 × 3的分辨率,具有三个通道,以匹配网络输入规范。在训练过程中,模型优化120个epoch,批量大小为4,学习率初始化为10??。在推理阶段,我们采用条件扩散机制,渐进式细化从高斯分布初始化的样本……结论在本文中,我们提出了一种新颖的框架HMANet,用于RGB-D铁路表面缺陷检测。该模型整合了层次化跨模态融合机制和多尺度特征交互策略,以有效利用多模态信息。具体而言,基于SAM的特征提取与HCAF模块相结合,增强了与深度相关的缺陷线索的利用。此外,MSAI模块通过在通道域和空间域中聚合多尺度RGB-D特征来加强表示学习,从而……利益冲突声明作者声明,他们没有已知的竞争性经济利益或个人关系,这些关系可能影响本文所报告的工作。致谢本工作得到了国家自然科学基金(编号:62401350)和上海"扬帆计划"(编号:24YF2713000)的支持。Zhihao He | Zhi Liu | Gongyang Li
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号