《Neurocomputing》:UniAD: Unified cross-modal prompt regularization for zero-shot anomaly detection across domains
编辑推荐:
零样本异常检测框架UniAD通过跨模态表示模块和知识引导的提示正则化策略,解决了现有方法在异常定位和跨域泛化上的不足,在工业与医疗数据集上实现最优性能。
Xuezhi Xiang|Songran Luo|Yingjun Du|Lei Zhang|Xiantong Zhen
哈尔滨工程大学信息与通信工程学院,中国哈尔滨 150001
摘要
零样本异常检测(ZSAD)旨在无需目标数据的训练样本即可检测未见领域的异常。现有的基于CLIP的方法显示出潜力,但存在两个关键限制:跨模态交互能力较弱,导致异常定位粗糙;以及可学习提示中的语义漂移,降低了对未见类别的泛化能力。我们提出了UniAD,这是一个用于ZSAD中的跨模态提示优化的统一框架。UniAD整合了一个跨模态表示模块,该模块将共享的可学习令牌注入视觉和文本编码器中,以加强细粒度的语义对齐,并结合了一种知识引导的提示规范化策略,限制可学习提示与手工制作的模板保持语义一致性,有效缓解了语义漂移并提高了对未见类别的泛化能力。在14个工业和医学数据集上的广泛实验表明,UniAD在图像级分类和像素级分割方面均取得了最先进的性能,其跨领域泛化能力优于现有的ZSAD方法。
引言
零样本异常检测(ZSAD)[1]、[2]、[3]的目标是在无需目标领域任何样本的情况下识别和定位图像中的异常区域[4]、[5]、[6]、[7]。这种设置对于工业缺陷检测和医学诊断等应用非常有价值,因为在这些应用中收集异常样本成本高昂或甚至不可行。像CLIP[1]这样的视觉语言模型(VLM)的最新成功为ZSAD开辟了新的机会,通过在共享的语义空间中对齐图像和文本。例如,AnomalyCLIP[5]通过图像-文本对齐实现了有希望的零样本性能。然而,CLIP主要捕捉全局语义,并依赖于静态的手工制作的提示,这限制了其感知细微局部异常和泛化到未见类别的能力[4]、[8]、[9]、[10]。
有两个主要的研究方向试图解决这些挑战。一方面,多模态表示学习框架(如MMRL[11])认为构建共享的表示空间可以改善跨模态交互,但大多数方法关注通用任务,忽略了局部异常区域所需的细粒度对齐。另一方面,像CoOp和CoCoOp[10]、[12]、[13]这样的可学习提示调整方法虽然能够适应特定任务,但常常遭受语义漂移和灾难性遗忘的问题,即任务特定的优化会侵蚀预训练模型中编码的通用语义知识,最终降低了对未见类别的零样本泛化能力。
为了克服上述限制,我们提出了UniAD,这是一个用于ZSAD中的跨模态提示优化的统一框架,明确解决了三个关键挑战:细粒度异常定位的跨模态交互不足、可学习提示中的语义漂移以及缺乏统一的跨领域泛化优化。
首先,我们引入了一个跨模态表示模块,将共享的可学习令牌注入图像和文本编码器的上层。与仅对齐全局图像-文本特征的先前方法不同,这种设计建立了跨模态之间的高级语义锚点,使得文本描述和局部视觉区域之间能够进行细粒度对齐。它建立在多模态学习中的表示桥接思想之上,但有所超越,特别是在现有方法常常失败的地方明确地对局部异常进行了建模。
其次,我们设计了一种知识引导的提示规范化策略,以在提示适应过程中减轻语义漂移。通过将可学习提示限制在语义空间中与手工制作的模板保持接近,该模块保留了预训练CLIP的通用语义知识,同时提高了对下游任务的适应性。
最后,我们引入了一个统一的训练目标,该目标联合优化了跨模态对齐、语义保持和异常分类损失。这种整体设计确保了表示学习和提示适应之间的一致性,使UniAD能够在工业和医学数据集上实现强大的跨领域泛化。
在各种工业和医学图像数据集上的广泛实验表明,所提出的UniAD在图像级分类和像素级分割任务中始终优于现有的ZSAD方法。除了在多个基准测试上建立了新的最先进性能外,UniAD在没有进行任何微调的情况下,还展示了从工业缺陷到医学成像场景的强大跨领域泛化能力。此外,全面的消融研究和超参数分析证实了每个提出的组件的有效性——跨模态表示学习、知识引导的提示优化和统一的训练目标——为我们的框架设计的合理性和鲁棒性提供了明确的证据。
章节摘录
利用视觉语言模型的零样本异常检测
零样本异常检测(ZSAD)在工业缺陷检测[2]、[14]、[15]、[16]和医学图像诊断[17]、[18]、[19]、[20]、[21]等应用中发挥着关键作用,在这些应用中收集异常样本成本高昂或甚至不可行。传统的ZSAD方法通常分为两类:基于表示的方法[22]、[23]、[24]、[25],它们存储正常样本的特征并在推理时通过特征距离来检测异常;以及基于重建的方法
方法概述
图1展示了我们的零样本异常检测框架
UniAD的总体架构。UniAD通过两个关键组件解决了两个主要挑战——视觉-文本交互不足和可学习提示中的语义漂移:
•跨模态表示模块(CMR): 一组共享的可学习令牌被注入图像和文本编码器的上层。这些令牌作为语义锚点,使得文本描述和局部视觉区域之间能够进行细粒度对齐,超越了全局语义
实验配置
数据集和评估指标。我们在涵盖两个主要领域的十四个公开可用数据集上评估了UniAD。在工业检测领域,我们使用了MVTec AD [2]、VisA [16]、BTAD [15]、SDD [14]、DAGM [46]和DTD-Synthetic [47],这些数据集涵盖了现实世界制造场景中观察到的各种缺陷类型、物体纹理和背景变化。在医学成像领域,我们使用了CVC-ClinicDB [21]、CVC-ColonDB [20]、Kvasir [48]、Endo [49]、TN3k [17]、HeadCT [50]
结论
在这项工作中,我们提出了UniAD,这是一个用于零样本异常检测的统一框架,它结合了跨模态表示学习(CMR)和知识引导的提示规范化(KGPR),以解决细粒度异常定位和语义泛化的挑战。所提出的CMR模块通过共享的表示令牌增强了视觉-文本交互,使得局部异常的建模更加精确,而KGPR在提示适应过程中减轻了语义漂移
CRediT作者贡献声明
Xuezhi Xiang:撰写 – 审稿与编辑、项目管理、资金获取。Songran Luo:撰写 – 原始草稿、方法论。Yingjun Du:形式分析、概念化。Lei Zhang:监督、资金获取。Xiantong Zhen:监督、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作部分得到了中国国家自然科学基金(项目编号62271160)的支持,部分得到了哈尔滨工程大学特色学科基础研究稳定支持计划(项目编号KYWZ220240812)的支持,部分得到了黑龙江省自然科学基金(项目编号LH2021F011)的支持,部分得到了中央高校基本科研业务费(项目编号3072024LJ0803)的支持
Xuezhi Xiang1979年出生于中国哈尔滨。他分别于2002年、2004年和2008年在哈尔滨工程大学获得了信息工程学士学位以及信号与信息处理硕士和博士学位。2009年至2011年,他是哈尔滨工业大学的博士后研究员。2011年至2012年,他是渥太华大学的访问学者。自2010年以来,他一直担任