基础知识增强的跨模态融合小样本图像分类
《Expert Systems with Applications》:Base-knowledge enhanced cross-modal fusion for few-shot image classification
【字体:
大
中
小
】
时间:2026年08月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
• 我们提出了一种基础知识增强的跨模态融合方法用于少样本学习。• 我们设计了一种熵引导的双相似度策略来选择可迁移的基础样本。• 我们引入了一种多头跨模态融合来捕获高阶特征关系。• 所提出的BKECMF在四个标准少样本数据集上取得了卓越的准确率。
引言
近年来,深度学习方法
• 我们提出了一种基础知识增强的跨模态融合方法用于少样本学习。• 我们设计了一种熵引导的双相似度策略来选择可迁移的基础样本。• 我们引入了一种多头跨模态融合来捕获高阶特征关系。• 所提出的BKECMF在四个标准少样本数据集上取得了卓越的准确率。
引言
近年来,深度学习方法在图像分类、目标检测等任务中展现了与人类水平相当甚至超越人类的性能[1-3]。然而,其成功在很大程度上依赖于大规模高质量标注数据集的可用性。在实际应用中,数据收集和标注往往受到高经济成本和高度依赖领域专业知识等限制。当标注样本有限时,深度模型容易出现过拟合,导致泛化能力不足。
相比之下,人类具有出色的少样本学习(FSL)能力,能够通过极少示例快速获取新概念并迁移现有知识。这种独特的学习能力激发了大量关于少样本学习的广泛研究,其核心目标是在极其有限的监督条件下使模型能够快速适应新任务或新类别。传统上,大多数少样本学习方法遵循元学习范式,将学习过程结构化为N-way K-shot的轮次任务。该范式在大量模拟任务上训练模型以获得可迁移知识,使其能够快速适应未见任务。基于此原理,现有方法通常分为三类:基于优化的方法(如MAML)、基于距离度量的方法(如ProtoNet)以及基于数据增强的方法(如IDeMe-Net)。
由于其简单性和强可解释性,基于距离度量的少样本学习方法近年来引起了越来越多的关注并取得了显著进展。然而,这些方法通常主要依赖视觉特征来表示样本和类别之间的关系,并通过测量特征空间中的相似度或距离进行分类。因此,在复杂的视觉场景中,单一视觉模态的局限性可能直接影响模型表征类别关系的能力,从而削弱分类决策的稳定性和判别性。例如,在类内差异较大且类间差异细微的场景中,如图1(a)所示,不同类别可能表现出高度相似的视觉外观,而同一类别内的样本可能因姿态、尺度、背景和遮挡的变化而存在显著差异。这使得模型难以建立稳定准确的决策边界。同样,如图1(b)所示,当多个物体出现在同一图像中时,仅依赖视觉信息可能导致模型关注与目标类别无关的区域,从而引起类别混淆。此外,基于距离度量的少样本学习方法通常只能访问少量支持样本来表征新类特征,这进一步加剧了因单模态视觉信息不足而导致的稳定性问题。
人类在学习新类别时,通常不会仅依赖有限的视觉示例。相反,他们会主动利用语义先验知识进行理解和决策。例如,在图1(b)所示的场景中,图像包含两个物体:一只猫和一棵凌霄花。如果模型仅依赖视觉特征进行分类,可能会受到多个物体或背景区域的干扰,导致类别识别不稳定。相比之下,人类可以融入现有的概念知识,如动物属性"动物"以及猫的典型外观特征"胡须"和"毛发",从而快速定位与目标类别相关的关键区域并完成识别。这表明,当支持样本有限且图像内容复杂时,语义先验可以为类别理解提供额外约束,并有助于提高模型判别的稳定性和鲁棒性。因此,如何有效地将语义先验融入少样本学习模型并与视觉信息形成互补,具有重要的研究意义。
近年来,越来越多的研究尝试将语言模态信息引入少样本学习,从而为模型提供更丰富的先验知识,以缓解数据稀缺条件下视觉模态的局限性。例如,自适应模态混合机制(AM3)采用自适应策略融合视觉原型和语义表示以增强类别表征,在视觉信息不足时提高了模型的鲁棒性和分类性能[4]。原型重合成网络(PRSN)利用类级别语义信息选择与支撑集语义相似的基础类样本,并通过引入查询样本重构类别原型,还进一步引入了跨图像语义对齐模块以提高类内一致性[5]。潜在部件嵌入(LPE)利用类语义知识生成类特定潜在部件滤波器,并通过潜在部件嵌入和部件级基础先验迁移来增强新类表征[6]。
尽管上述方法通过引入语义信息提高了少样本分类性能,但仍存在一定的局限性。首先,当支持样本数量极其有限时,仅依赖新类支持样本容易产生样本偏差,而基础类中包含的丰富可迁移先验知识可以为新类识别提供有效补充。然而,AM3主要关注视觉原型与语义表示之间的自适应融合,并未显式检索和利用与新类既相关又可迁移的基础类样本。其次,PRSN虽然在新类学习过程中利用了基础类信息,但其基础类选择主要由语义相似性驱动,对基础类与新类之间的视觉相关性考虑不足,也未进一步评估不同模态在当前任务中的可靠性。LPE通过语义引导的潜在部件表示和部件级基础先验迁移缓解了单全局原型的稳定性问题,但其重点在于部件级类别建模和先验迁移。在少样本学习中,语义相似性和视觉相似性通常提供互补的线索:仅依赖语义相似性可能引入视觉上不匹配或迁移价值较低的基础类信息,而仅依赖视觉相似性可能忽略类别级别的语义关联。因此,如何有效利用语义信息和视觉信息之间的互补性,并充分利用基础类知识来增强新类表示,仍然是一个重要的研究挑战。
为了解决上述问题,我们提出了BKECMF,旨在通过语义信息和基础类先验的协同使用来缓解有限支持样本导致的新类原型偏差。具体来说,EGDSBSS策略从视觉和语义相似度两个角度评估基础类与新类之间的相关性,并利用相似度分布的熵来自适应估计不同模态在当前任务中的可靠性。通过该策略,模型可以选择与新类更相关且具有更高迁移价值的基础类样本,从而避免依赖单一模态所导致的选择偏差。随后,MHCMFKT在新任务上下文中建模所选基础类样本、新类视觉原型和语义原型之间的交互。这使得基础类表示能够吸收新类的视觉和语义约束,并进一步增强新类原型表示。BKECMF不仅充分利用了基础类中包含的可迁移先验知识,还提高了视觉信息与语义信息之间的互补建模能力。在miniImageNet、tieredImageNet、CIFAR-FS和FC100等多个标准少样本学习基准上的实验结果验证了BKECMF的有效性。
主要贡献总结如下:
• 我们提出了BKECMF,该方法联合利用类别级别语义信息和基础类先验知识,为新类表示提供额外的可迁移信息。
• 我们设计了EGDSBSS,该策略同时考虑基础类与新类之间的视觉和语义相似度,并利用相似度分布的熵自适应估计模态可靠性,以选择相关性和迁移价值更高的基础类样本。
• 我们提出了MHCMFKT,该方法在新任务上下文中建模所选基础类样本、新类视觉原型和语义原型之间的交互,对基础类表示进行任务相关校准,并进一步利用其增强新类原型。
• 在多个标准少样本学习基准数据集上的实验结果验证了所提方法的有效性,消融研究进一步突出了每个组件的重要性。
---
基于元学习的少样本学习
少样本学习(FSL)旨在降低深度模型对大规模标注数据集的依赖,使其仅通过少量标注样本即可学习判别性表征并识别新类别。作为少样本学习的主流范式,现有研究通常采用N-way K-shot的轮次训练机制,模型在大量模拟任务上进行训练以获取跨任务迁移能力,从而使其在测试阶段能够快速适应未见类别。
---
问题定义
在标准少样本学习设置中,数据集通常被划分为用于训练的基础类数据集D_base={(x_b, y_b) | x_b∈X_base, y_b∈C_base}和用于评估的新类数据集D_novel={(x_n, y_n) | x_n∈X_novel, y_n∈C_novel}。其中x表示图像样本,y表示其对应的类别标签,通常以一热编码形式表示。基础类集合与新类集合互不相交,即C_base∩C_novel=?。
为模拟真实世界中的数据稀缺场景,少样本学习
---
方法概述
所提出的BKECMF受到人类在学习新类别时运用先验知识进行类比和概念迁移能力的启发。其目标是在类别级别语义信息的指导下从基础类迁移相关知识,从而增强新类表示。如图2所示,整体工作流程由三个关键阶段组成:视觉与语义特征提取、熵引导的双相似度基础样本选择(EGDSBSS)以及
---
数据集
为评估所提方法的有效性,我们在四个广泛使用的少样本图像分类基准上进行了实验:miniImageNet[7]、tieredImageNet[8]、CIFAR100 Few-Shot(CIFAR-FS)[9]和Few-shot CIFAR100(FC100)[10]。图5展示了这些数据集中的若干示例图像。
miniImageNet来源于ImageNet[11],包含100个类别,共600张
---
结论与未来工作
本文提出了BKECMF用于少样本图像分类。与主要依赖有限支持样本视觉信息的传统方法不同,BKECMF引入了类别级别语义先验和基础类样本中包含的可迁移知识来补充和校准新类表示,从而缓解了极端有限样本条件下原型估计不稳定和判别力不足的问题。BKECMF由两个核心模块组成:EGDSBSS和
未引用的浮动元素
表1和表6。
---
CRediT作者贡献声明
蒋梦娟:概念化、方法论、软件、调查、验证、形式化分析、可视化、原始草稿撰写、审阅与编辑。李凡章:监督、方法论、项目管理、经费获取、验证、审阅与编辑。
利益冲突声明
作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。
蒋梦娟 | 李凡章
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号