一种基于旋转不变特征的轻量级3D异常检测方法

《Patient Education and Counseling》:A Lightweight 3D Anomaly Detection Method with Rotationally Invariant Features

【字体: 大 中 小 】 时间:2025年12月20日 来源:Patient Education and Counseling 3.1

编辑推荐:

  Hanzhe Liang|Jie Zhou|Can Gao|Bingyang Guo|Jinbao Wang|Linlin Shen深圳大学计算机科学与软件工程学院,中国广东省深圳市518060摘要3D异常检测是计算机视觉中的重要任务,旨在从点云数据中识别出异常点或区域。然而,现

  
Hanzhe Liang|Jie Zhou|Can Gao|Bingyang Guo|Jinbao Wang|Linlin Shen
深圳大学计算机科学与软件工程学院,中国广东省深圳市518060

摘要

3D异常检测是计算机视觉中的重要任务,旨在从点云数据中识别出异常点或区域。然而,现有方法在处理姿态和位置发生变化的点云时可能会遇到挑战,因为由此产生的特征可能会有很大差异。为了解决这个问题,我们提出了一种用于3D异常检测的旋转不变特征框架。首先,为消除点云数据变化带来的不良影响,我们开发了一种点坐标映射技术,该技术将每个点映射到旋转不变空间,以保持表示的一致性。然后,为了学习强大且具有区分度的特征,我们设计了一个轻量级的卷积变换特征网络,用于为特征库提取旋转不变特征。为了提升特征提取器的性能,我们引入了迁移学习理念,通过3D数据增强对特征提取器进行预训练。实验结果表明,所提出的方法在Anomaly-ShapeNet数据集上取得了优异的性能,平均P-AUROC值提升了17.7%,同时在Real3D-AD数据集上也取得了最佳性能,平均P-AUROC值提升了1.6%。通过将RIF与传统的特征提取方法结合用于异常检测任务,验证了其强大的泛化能力,显示出在工业应用中的巨大潜力。源代码可在https://github.com/hzzzzzhappy/RIF获取。

引言

三维异常检测因其在检测高精度工业产品方面的广泛应用,越来越受到计算机视觉领域的关注。它的任务是识别出与给定3D点云数据有所偏差的异常点或区域。在现实世界的工业应用中,我们常常面临这样的情况:获取正常样本相对容易,而获取缺陷样本则既耗时又昂贵,因此通常会使用仅从正常样本中学习的无监督方法。
对于3D异常检测,一些传统方法如BTF已被提出,用于直接从3D结构中提取特征,但它们在提取跨样本特征以适应不同样本的多样性方面存在局限性。鉴于深度学习的巨大成功,基于深度神经网络的方法已成为3D异常检测的主流方法。这些方法大致可分为基于特征嵌入的和基于重建的两类。
基于特征嵌入的方法使用预训练模型为特征库提取正常样本的特征,通过将测试样本的特征与库中的特征进行比较来检测异常。一些方法如M3DM已在使用特征库的方法上取得了一定成果。然而,它们在处理如Real3D-AD和Anomaly-ShapeNet这样的未配准数据集时面临挑战。Reg3D-AD使用PointMAE基于配准后的点云进行特征表示,而Group3AD则进一步利用对比学习来提高特征区分能力。另一方面,基于重建的方法将点云数据编码到潜在空间中,再将其解码为原始形式,如果重建误差较大,则表明存在异常。IMRNet通过使用保持几何结构的下采样和随机掩蔽来改进异常检测。R3D-AD则利用PointNet和扩散过程逐步恢复点云。这些方法在Anomaly-ShapeNet和Real3D-AD数据集上取得了良好的效果。
工业领域的3D异常检测尤其困难,因为生产线上的产品可能会出现不同的姿态,因此同一个产品的点云数据在姿态和位置上可能会有所不同。尽管旋转后的点云其几何结构并未改变,但它改变了对应于该结构的坐标表示,从而导致特征提取网络的输出出现显著差异。Reg3D-AD通过配准将测试样本与标准模板对齐,以减少数据变化带来的影响,但这种方法计算量大,而且当训练集和测试集之间存在较大差异时,还可能存在配准错误。SplatPose通过高斯溅射实现新的视图合成,从而重建3D物体并提高姿态的鲁棒性;然而,其点云的精确度仍然在很大程度上取决于图像质量、合成视图的一致性以及视图数量,而且它还需要在测试时进行图像与3D的対齐。这些局限性促使我们寻求一种纯粹的几何表示方法,能够在点云上直接保持旋转不变性。因此,我们提出的方法通过坐标变换将点云映射到旋转不变空间,从而为具有不同旋转和平移的点云生成独特的特征表示。我们的解决方案与以往方法的区别如图1所示。
基于上述原因,我们提出了旋转不变特征框架。具体而言,我们首先引入点坐标映射技术,将点云坐标转换为相对坐标系。然后,我们基于组合卷积设计了一个卷积变换特征网络,该网络能够捕捉不同尺度下的局部点云特征。为了帮助对CTF-Net进行预训练,我们开发了空间3D数据增强技术,为训练样本增加多样性,从而获得更好的特征表示。通过在Anomaly-ShapeNet和Real3D-AD数据集上进行的比较实验和消融研究,我们发现我们的框架具有很强的吸引力,并在各项指标上取得了最先进的成果。据我们所知,我们是第一个使用深度特征提取器来实现点云旋转不变特征表示的方法。我们的贡献总结如下:
  • •
    为消除点云数据变化对特征提取的负面影响,我们开发了点坐标映射技术,该技术可将点云映射到旋转不变空间,从而为后续的特征提取提供一致的点坐标表示。
  • •
    为了有效提取点云特征,我们设计了卷积变换特征网络,该网络在不同尺度上进行多次一维卷积,以捕捉局部结构信息。此外,我们还采用了空间3D数据增强策略,帮助对特征提取网络进行预训练,为特征表示提供更多样的训练数据。
  • •
    基于点坐标映射和卷积变换特征网络,我们提出了用于异常检测的旋转不变特征框架。我们的框架可以与其他点云特征提取器无缝集成,为3D异常检测提供通用且实用的解决方案。
  • •
    我们在Anomaly-ShapeNet和Real3D-AD数据集上进行了大量的比较实验和消融实验。实验结果表明,我们的方法具有优越性,在Anomaly-ShapeNet数据集上的P-AUROC值提升了17.7%,在Real3D-AD数据集上提升了1.6%。
本文的其余部分结构如下。第2节回顾了一些相关工作。第3节详细介绍了我们提出的方法。第4节通过大量实验来验证所提出的方法。最后,第5节对本文进行总结。

章节片段

2D异常检测

2D异常检测是一项重要的视觉任务,其目标是从图像中检测并定位异常点。现有的2D异常检测方法主要分为两类:生成式方法和判别式方法。生成式模型如Autocoder、GAN和扩散模型被用来学习正常样本的特征表示或分布,然后通过图像重建或与特征库匹配来检测异常。

方法

我们RIF框架的核心是学习旋转不变特征,以应对样本在姿态、位置和姿势方面的多样性。在这里,我们提出了一种简单而高效的3D异常检测解决方案,如图2所示。我们将在后续章节中详细介绍其细节。为便于理解,文中出现的主要符号及其含义见表1。

实验

在本节中,首先通过比较实验来展示我们方法的有效性,接着通过消融研究和参数敏感性分析来检验各关键组件的合理性。最后,还进行了扩展性实验,以证明我们的RIF框架与其他特征提取器的兼容性。

结论

本文提出了一种创新的3D异常检测框架RIF,旨在解决实际工业生产场景中因样本姿态和位置变化所带来的挑战。为消除数据变化对特征提取的负面影响,我们提出了点坐标映射技术,可将任意姿态的点云转换为一致的点云表示。此外,为了从正常点云样本中学习,我们还开发了...

CRediT作者贡献声明

Hanzhe Liang:撰写——审稿与编辑,撰写——初稿,可视化,验证,软件,资源,方法论,调查,正式分析,数据整理,概念构建。Jie Zhou:撰写——审稿与编辑,撰写——初稿,验证,方法论,概念构建。Can Gao:撰写——审稿与编辑,撰写——初稿,指导,软件,方法论,调查,资金获取。Bingyang Guo:撰写——初稿,方法论,

利益冲突声明

作者声明,他们没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢

本研究部分得到了中国国家自然科学基金(编号62476171和62206122)、广东省基础与应用基础研究基金(编号2024A1515011367)、粤澳科技创新合作基金(编号2024A1515011367)、全国大学生创新创业训练计划(编号S202510590118)、广东省重点实验室(编号2023B1212060076)以及腾讯“犀牛鸟”-科学研究基金的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号