编辑推荐:
本文提出了一种创新的多专家融合网络(CVEF),巧妙结合了卷积神经网络(CNN)的局部特征提取优势与视觉变换器(ViT)的全局上下文建模能力,以应对开集识别(OSR)中已知类别分类与未知类别识别的双重挑战。该框架通过自适应融合多位CNN与ViT专家的输出,显著提升了模型在动态开放环境中的判别鲁棒性,为图像处理与识别任务提供了更通用的解决方案。
亮点
- •
本工作首次将视觉变换器(ViT)引入开集识别(OSR)任务,构建了一个融合CNN与ViT专家的多专家网络(CVEF)。
- •
CVEF充分利用了CNN在局部特征提取方面的专长与ViT在全局上下文建模方面的优势,实现了更全面、鲁棒的特征表示。
- •
该模型提供了一个通用框架,可灵活集成不同类型的神经网络架构作为专家,具有良好的可扩展性与适应性。
引言
多年来,深度神经网络(DNNs)在图像识别、图像分割和图像分类等诸多任务中已达到甚至超越人类水平。传统的图像分类作为一种基础识别方法,长期依赖于一个核心假设:训练与测试阶段遇到的类别是固定且完全相同的。然而,在现实世界,特别是动态开放的应用场景中,这一假设往往并不成立,模型经常会遇到大量训练时未见的新类别。这使得传统分类方法在开集识别(OSR)场景中表现欠佳,因为它无法识别未知类别,常将未知实例误判为已知类。因此,在诸如工业质量控制和公共安全监控等高风险的决策过程中,亟需发展能够动态处理新类别或未知类别的鲁棒OSR方法。
为应对这一挑战,本文提出了一种用于OSR的新方法,其核心是运用ViT模型。具体而言,我们设计了一个多专家系统,将多个ViT模型与CNN专家相结合,旨在发挥两种架构各自的优势:ViT提供全面的全局上下文理解,而CNN则擅长提取对细粒度细节至关重要的局部特征。通过将ViT专家与CNN专家的输出集成到一个称为CNN和ViT专家融合(CVEF)的模型中,我们的方法促进了更全面的决策过程,从而增强了模型准确、鲁棒地区分已知与未知类别的能力。
结论
本文提出了CVEF模型,这是一个为OSR开发的多专家系统。该模型通过整合CNN与ViT的互补优势,有效应对了在复杂动态数据集中同时识别已知与未知类别的挑战。结合ViT的全局上下文理解能力和CNN的局部特征提取能力,CVEF产生了均衡且鲁棒的特征表示。CVEF内部的权重生成器能够动态地……