通过多视图配准和双残差分析来探测三维异常
《Neurocomputing》:Probing 3D anomalies via multi-view registration and dual-residual analysis
【字体:
大
中
小
】
时间:2026年04月06日
来源:Neurocomputing 6.5
编辑推荐:
3D点云异常检测方法中,针对稀疏无序数据和小样本正常数据,提出多视角初始姿态生成、增强粗到细配准及几何特征残差融合的框架,在两个基准数据集上验证其有效性并提升4.1%和1.8%的物体级AUROC。
杨宇星|傅泽宇|李阳|王立伟|余思月|肖志敏
中国苏州西安电子科技大学先进技术学院智能科学系
摘要
由于点云数据具有稀疏、无序和信息密度低的特点,3D异常检测是一项具有挑战性的任务,尤其是在正常训练数据量很少的情况下。近年来,基于配准的点云异常检测方法越来越受欢迎。为了解决基于配准方法中存在的局部最优解和随机初始姿态问题,我们从多视图的角度重新审视了配准问题。然后,我们使用了一种从粗到细的降采样配准流程来将测试样本与增强后的正常参考对齐。通过结合几何残差和特征残差,我们可以捕捉到点级的空间偏差以及高维特征空间分布的差异。我们的框架在公开的Anomaly-ShapeNet和Real3D-AD数据集上进行了评估,并与其他最先进的方法在对象和点级别进行了比较。我们进行了详细的消融研究,分析了多视图生成策略、双分支残差和输入特征的影响。广泛的实验验证了我们提出方法的有效性,在对象级别的AUROC上分别提高了4.1%和1.8%。代码将发布以支持进一步的研究。
引言
点云异常检测是一项专注于3D数据的关键任务。其目标是在有限的正常训练数据条件下,自动识别物体表面和破损结构中的异常区域,包括凸起、凹陷和缺陷[1]、[2]、[3]、[4]。这一任务面临几个挑战:首先,由于正常点云数据有限,很难对正常样本的分布进行建模,尤其是当这些样本还存在结构差异时;如果训练数据都是正常的,那么在测试时任务就变成了开放集问题,检测之前未见过的异常就变得困难。训练模型必须具有良好的泛化能力。最后,由于扫描噪声和密度变化,即使是正常样本也会表现出类内差异,这使得将它们与真正的异常区分开来变得困难。这项任务在工业制造、生产线质量控制和大型结构的稳定性监测中具有广泛的应用[5]、[6]。
3D异常检测主要遵循两种范式:记忆库方法和异常合成方法。记忆库方法通过预训练模型编码正常模板或其投影的特征,并将其存储起来以供测试时进行相似性比较[7]、[8]、[9]、[10];异常合成方法通过扰动正常样本来生成伪异常,并以监督方式训练判别模型[11]、[12]、[13]、[14]、[15]、[16]。然而,记忆库方法存在预训练数据与真实世界样本之间的领域差距,这往往导致预测不可靠[10]、[17]、[18];尽管异常合成方法高效且直接,但它们高度依赖于合成异常与真实异常之间的相似性,这使得它们对未见过的模式非常敏感[19]、[20];此外,测试数据泄露风险和低质量的对象级标注会损害公平性和泛化能力[21]。
最近,点云配准技术在3D异常检测领域受到了越来越多的关注[18]、[22]、[23]、[24]。一个代表性的工作是Reg3D-AD[23],它引入了Real3D-AD数据集,并使用点云配准将测试样本与正常模板对齐,从而允许在规范姿态空间内直接进行特征比较。这种对齐也与基于记忆库的范式结合使用来进行异常检测。传统的点云配准通常被构建为一个迭代优化过程,其中变换参数被反复更新以收敛到最优解。尽管这种方法采用了从粗到细的配准流程:首先应用全局特征匹配,然后通过局部优化来细化变换,但它从根本上忽略了测试样本的初始姿态的影响。由于在实际场景中测试样本可以任意定向,配准流程很容易陷入局部最优解。
如图1(a)所示,尽管单视图配准获得了较低的均方根误差(RMSE),但可视化显示测试样本存在错位。点云配准本质上是一个非凸优化问题。迭代优化过程受到初始变换的极大影响,初始姿态的较大差异可能导致次优解。此外,对称和重复的结构会加剧局部最优解的情况。对称物体可能会产生相同的匹配结果,从而导致错误的对齐。总之,错位问题是由于缺乏全局几何约束造成的,可以通过生成多视图初始姿态来缓解这一问题。
对于点云异常检测来说,点云配准通常不是必需的前提。在我们的工作中,我们将点云配准模块视为数据规范化,即将训练集和测试集中的点云对齐到相同的坐标系统和初始姿态。如图2所示,这些数据的对齐非常重要。当测试样本和训练样本之间的姿态变化显著时,直接比较它们会导致残差估计不一致和较大的方差。然而,高质量的配准并不能保证高精度的异常检测,特别是在缺少局部区域的情况下。在这种情况下,严格的点对点对应可能变得不可靠,可能导致误导性的残差。因此,我们提出了一种互补的双残差评分机制,使得异常检测不仅仅依赖于欧几里得对应关系。
在本文中,我们提出了一个有效的3D点云异常检测框架,该框架包括多视图初始姿态生成、增强型从粗到细的配准以及几何和特征残差分析策略。多视图初始姿态生成模块可以有效减少局部最优解问题,并为测试样本提供更多的匹配选择。增强型从粗到细的配准利用了降采样的RANSAC[25]和ICP[26],实现了从全局到局部的高质量配准。在配准部分之后,计算了两种互补的残差:几何残差用于直接计算欧几里得距离,以便检测小的断裂或位移;特征残差使点云投影到高维特征空间中,以捕捉形状或语义差异。主要贡献如下:
•提出了一种多视图初始姿态生成策略,以解决现有基于配准的方法对测试样本的初始姿态敏感的问题。当源样本和目标样本的初始姿态差异显著时,这种策略可以提高配准性能。
•通过结合几何残差和特征残差,设计了一种双分支异常评分策略,可以共同建模结构偏差和特征级别的不一致性,从而更准确地识别和定位异常区域。
•多视图初始姿态生成策略可以为残差估计提供更可靠的配准结果。结合的异常评分策略提高了点云异常检测的鲁棒性。在两个基准数据集上的广泛实验表明,我们的方法在对象级别上实现了最高的准确性,证实了其在不同对象类型和异常模式下的鲁棒性。
部分摘录
3D异常检测
3D点云数据仅包含位置信息。由于缺乏颜色和纹理信息,物体的常见异常表现为缺失点或偏移[6]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、[34]。在这种情况下有两种方法:一种基于特征相似性。例如,BTF[8]用于提取全局特征并计算测试样本与正常训练样本之间的特征相似性以检测异常。
方法论
我们提出了一个无需学习特征的无人监督3D点云异常检测框架。如图2所示,它由三个主要模块组成:用于生成更丰富初始姿态的多视图训练模板、用于将每个测试样本与参考库对齐的从粗到细的配准流程,以及用于异常评分的几何和特征残差计算。
实验设置
我们的框架在两个公开的3D点云异常检测基准数据集上进行了评估:Anomaly-ShapeNet[14]和Real3D-AD[23]。Anomaly-ShapeNet[14]是一个从手工制作的ShapeNet[44]数据集派生出的合成数据集,包含属于40个类别的1600个点云样本。每个类别中有四个训练模板。测试集包含正常样本和异常样本。Real3D-AD[23]是一个高分辨率的真实世界数据集,包含12个类别。
结论
本文提出了一个基于配准的框架,用于检测3D点云数据中的异常。该框架使用增强的从粗到细的流程将测试样本与参考正常样本对齐。多视图策略改善了初始对齐效果。结合几何和特征残差可以在对象和点级别计算异常分数,从而提高了对3D物体上各种类型异常的检测能力。实验结果验证了其准确性
CRediT作者贡献声明
杨宇星:撰写——原始草案、可视化、软件、方法论、概念化。傅泽宇:验证、方法论。李阳:调查、概念化。王立伟:验证、监督。余思月:资源、项目管理。肖志敏:撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
杨宇星于2018年在英国纽卡斯尔大学工程学院获得硕士学位。他于2023年11月在纽卡斯尔大学智能感知与通信研究组完成了博士学位。他还参与了EPSRC资助的多模态安全项目。目前,他是中国苏州西安电子科技大学的博士后研究员,从事相关研究。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号