《Engineering Applications of Artificial Intelligence》:Multifarious support-and-query feature interaction network for few-shot anomaly segmentation
编辑推荐:
摘要及时的异常检测在工业场景中至关重要,而现有的许多检测方法高度依赖庞大的数据集合。然而,当面对新型异常类型、且可用于分析的样本极其有限时,数据稀缺便构成了一个严峻挑战。为此,我们提出了一种名为多样化支持-查询特征交互网络(MSFINet)的方法,这是一种基于小样本学习的、用
摘要
及时的异常检测在工业场景中至关重要,而现有的许多检测方法高度依赖庞大的数据集合。然而,当面对新型异常类型、且可用于分析的样本极其有限时,数据稀缺便构成了一个严峻挑战。为此,我们提出了一种名为多样化支持-查询特征交互网络(MSFINet)的方法,这是一种基于小样本学习的、用于识别高速动车组关键部件异常的方法。具体而言,MSFINet 引入了双注意力特征增强器(DFA),通过融合自注意力与互注意力机制来强化不同层级的特征。基于掩码的共性收敛(MCC)旨在融合上下文理解、精确定位支持图像与查询图像之间的相似性,并结合支持掩码进行特征收敛,从而提升特征的判别能力。最后,综合相关性学习器(CCL)被引入,用于学习一系列既包含高层语义结构、又包含细粒度底层细节的相关性图。本方法的有效性通过其在定制化异常数据集以及 PASCAL- 基准数据集上的优异表现得到验证。具体而言,在本异常数据集上,本方法相较前沿方案取得了显著的超越。
引言
正如 Sheynin 等人(2021)与 Kimura 等人(2020)的研究所强调,异常检测的根本目标是隔离出异常数据子集,其在工业领域的重要性不言而喻。鉴于异常样本稀缺,且传统的深度学习算法通常依赖海量数据用于模型训练,在工业场景——尤其是高速动车组的关键部件——中进行异常检测仍是一项巨大挑战。润滑油对高速动车组的某些关键部件(例如液压减震器、齿轮箱)至关重要,而这些部件对于列车正常运行不可或缺(Chang 等人,2020;Huang 与 Zeng,2018)。因此,通过检测油渍来发现异常漏油,对于列车安全运行至关重要。同样,外来异物与破损填料的异常检测也不容忽视。然而,这些异常的数据非常稀缺,因此我们基于小样本学习方法(Snell 等人,2017;Vinyals 等人,2016;Sung 等人,2018)来研究这些异常。
高速动车组的异常检测任务尤为艰巨,原因在于这些异常本身的复杂多样性,以及其所处环境的复杂性。图 1 展示了若干样本,凸显了异常形状的巨大差异、其在复杂机械部件背景下的不规则轮廓,以及异常与背景之间不均匀的交错混杂。进一步加剧难度的因素在于,油污、外来异物等类别的异常在尺寸上差异显著,这使得在这些苛刻环境中区分异常变得更加复杂。
考虑到异常的复杂性与可用样本的有限性,小样本语义分割方法(Liu 等人,2022;Shi 等人,2022;Gao 等人,2022;Liu 等人,2021;Tian 等人,2022)在该场景下表现出色:它们仅需极少量样本,即可检测未见类别。借助卷积神经网络(CNN)(Szegedy 等人,2015;Xie 等人,2017;Simonyan 与 Zisserman,2014;He 等人,2016)与 Transformer(Dosovitskiy 等人,2020;Liu 等人,2021)的进展,业界存在多种策略。一些方法对支持图像的特征执行基于掩码的全局平均池化操作,以获得表征前景与背景的 prototype 向量(Zhang 等人,2020;Zhang 等人,2019;Chen 等人,2022;Lang 等人,2022;Liu 等人,2022;Tian 等人,2020;Lang 等人,2024),随后利用这些 prototype 引导查询图像的特征学习。然而,该方法的表征能力有限,在面对细节丰富、场景复杂的任务时往往不足。其局限源于最显著的信息是从全局视角捕获的,这导致缺乏细节与空间上下文,难以在查询图像中精确匹配目标。另一些方法基于密集的 4D 空间超相关性,在支持图像与查询图像之间建立视觉对应关系(见图 2(a)),这些特征同时包含细节信息与语义内容(Min 等人,2021;Hong 等人,2022;Kang 与 Cho,2022)。然而,由骨干网络直接生成的特征可能过于密集且粗粒度,可能包含噪声等无关信息,从而导致错误的特征对应。
经过深入研究,我们识别出两大现存挑战:(a) 过度侧重显著特征:忽视了细节信息以及前景与背景之间的关系。(b) 冗余与不精确:骨干网络直接输出的密集特征含有过多冗余特征与无关信息。为缓解这些挑战,我们提出多样化支持-查询特征交互网络(MSFINet),精心设计以充分利用支持图像特征与查询图像特征在多个层级间的相互作用,如图 2(b) 所示。通过这种方式,它全面探索了二者之间的相关性并强化各特征层级,包含双注意力特征增强器(DFA)、基于掩码的共性收敛(MCC)与综合相关性学习器(CCL)。骨干网络在单层提取的特征可能粗粒度、冗余过多。为应对这一问题,我们引入 DFA,利用自注意力与互注意力来精炼这些特征,从而蒸馏并突出最显著的信息。上下文特征包含丰富信息,因此提出 MCC 以基于不同特征之间的交互捕获支持图像与查询图像之间的相似特征,并结合支持掩码收敛特征。CCL 则用于以支持掩码为基础探索多种相关性图,并融合从粗粒度到细节的多尺度信息,从而获得上下文丰富、更加全面的特征,以更好地预测查询图像。
简言之,本研究的创新点如下:
(1) 我们提出了多样化支持-查询特征交互网络,以缓解小样本语义分割的问题,并为复杂环境下的小样本异常分割提供了可行方案。
(2) 我们提出双注意力特征增强器,基于自注意力与互注意力捕获更有效的特征;提出基于掩码的共性收敛,利用支持图像与查询图像特征之间的相互作用捕获相似性特征;并提出综合相关性学习器,挖掘多张相关性图的关联并融合多尺度信息,以捕获更具代表性的、上下文丰富的特征。
(3) 我们在高速动车组异常数据集上进行了充分实验,本方案以较大优势超越了前沿技术。此外,我们在 PASCAL- 公开数据集上也进行了详细实验,MSFINet 超越了大多数前沿方法,证明了本方法优异的泛化性能。
章节摘录
异常检测
顾名思义,异常检测的首要目标是识别异常,以便及时处理,避免进一步损害。异常检测在众多领域中都发挥着关键作用,包括制造业的产品质量检测以及铁路系统的故障识别。特别是,它在保障列车正常运行方面处于至关重要的位置。下面我们介绍一些与铁路异常检测相关的研究。
问题定义
在小样本异常分割中,主要目标是基于少量标注图像识别异常像素,例如,利用一或五个新类别异常图像进行检测,而无需重新训练模型。训练集与测试集之间不存在异常类别的重叠。模型的输入包括支持集(一张或多张图像及其对应的掩码)和查询集(一张或多张图像及其对应的掩码)。我们使用支持
总体概述
我们所设计的 MSFINet 结构如图 3 所示,主要包含双注意力特征增强器(DFA)、基于掩码的共性收敛(MCC)与综合相关性学习器(CCL)。受先前观察的启发,我们通过精炼特征并兼顾前景与背景来弥合现有方法的不足。我们增强了密集特征,考虑到它们可能过于冗余且粗粒度。首先,每层的多层
数据概述与评估标准
我们的异常数据集包含三类异常:油渍、外来异物与破损填料,各自类别的图像数量分别为 502、494 与 489 张。这些异常用于训练与评估。每类异常都具有高度变异性,在图像中的表现形式差异较大,例如形状不规则以及异常区域尺寸差异显著。此外,背景环境也非常复杂。以下是这些
结论
在本工作中,我们提出了 MSFINet,由 DFA、MCC 和 CCL 组成。该方法不仅可用于小样本异常检测,也可用于小样本目标分割。DFA 通过双重注意力机制增强了特征表征:自注意力用于增强全局上下文,互注意力用于捕获特征之间的语义关联。MCC 进一步精炼这些特征,通过整合上下文信息并收敛共性
CRediT 作者贡献声明
Wei Liu(刘伟):撰写——初稿,软件,方法学,调查研究,数据整理,概念构思。Xiaobo Lu(卢小波):撰写——审阅与编辑,指导,调查研究,经费获取,形式化分析。Yun Wei(魏云):撰写——审阅与编辑,指导,资源,经费获取。Zhidan Ran(冉智丹):撰写——审阅与编辑,形式化分析,数据整理。
利益冲突声明
作者声明,不存在任何已知可能影响本文所报告工作的竞争性财务利益或个人关系。
Wei Liu|Xiaobo Lu|Yun Wei|Zhidan Ran