RAC:通过基于CLIP的歧义减少技术实现少样本水果识别

《Neural Networks》:RAC: Few-Shot Fruit Recognition through CLIP-based Ambiguity Reduction

【字体: 大 中 小 】 时间:2026年03月01日 来源:Neural Networks 6.3

编辑推荐:

  农业假货检测中CLIP模型优化方法研究,提出RAC框架通过多级特征融合和类间歧义抑制模块提升少样本学习性能,实验在四项基准测试中准确率达76.95%,较现有方法提升2.50%,TFS-Fruit数据集上达到80.0%准确率。

  
Dat Tran-Anh、Thang Vu Ba、Ngan Hoang Dao、Bao Bui Quoc、Nam Hoai Vu、Tao Ngo Quoc、Quynh Nguyen Huu
越南科学技术院研究生院,河内,越南

摘要

假冒农产品对传统的分类模型(如CLIP)构成了重大挑战,尤其是在小样本学习场景下,因为存在微妙的视觉歧义。本研究提出了RAC(Reducing Ambiguity in CLIP for Counterfeit Detection)这一新框架,旨在通过主动细化过程来识别和减轻这些歧义。具体而言,RAC利用多层感知器加法(MLP-P)模块,通过有效合成来自CLIP图像编码器的多级视觉表示来增强判别能力。随后,类间歧义减少(IRA)模块抑制导致正品和假冒产品混淆的特定视觉模式。最后,网络融合(NF)阶段动态结合这些增强路径的输出,以确保分类结果的稳健性。实验验证表明,RAC显著提高了检测准确性,在四个基准测试中的16样本学习场景下平均准确率达到76.95%,比现有最佳方法高出2.50%。在专门的TFS-Fruit数据集上,该框架的准确率达到了80.0%,证明了其在关键农业应用中的有效性。

引言

假冒产品对农业部门构成了严重的经济威胁,并危及消费者健康(Giannakas和Yiannaka,2023年),这不仅造成了巨大的经济损失,还对消费者健康和信任造成了严重风险。确保产品的真实性至关重要。视觉语言模型(VLMs)(Zhang等人,2024年),如CLIP(Contrastive Language-Image Pre-training)(Gao,2024a,Gao,2024b),已成为各种视觉理解任务中的强大工具,展示了出色的零样本和小样本学习能力。这使得它们在农产品验证等应用中非常吸引人,因为在这些应用中,每种新产品或假冒变体的标记数据可能都非常稀缺。除了假冒产品检测之外,深度学习还通过自动化系统彻底改变了可持续农业(Mohyuddin等人,2024年)、利用YOLOv11进行作物健康监测(Eliwa等人,2025年)以及现场牲畜体重估计(Shams等人,2025年)。这些进展凸显了在多样化农业任务中需要稳健视觉系统的迫切需求。
CLIP的优势在于它能够通过在大型互联网数据上对齐图像和文本来学习丰富的、可迁移的视觉表示。这种预训练的知识使CLIP能够在几乎不需要或完全不需要特定任务训练的情况下泛化到未见过的类别,为小样本学习(FSL)(Ayoub等人,2024年)识别新的农产品提供了希望。
然而,尽管CLIP具有这些优势,但将其直接应用于如假冒农产品识别这样的细微FSL任务时却暴露出一个关键限制:类间歧义。我们观察到,CLIP的logits在区分真实产品和精心制作的假冒产品时可能会出现显著混淆。这种歧义源于CLIP主要是通过对比学习在图像-文本对上进行训练的,而不是通过明确优化视觉相似或略有不同的类别之间的分类边界来训练的。因此,其区分细微视觉差异的能力——这对于假冒产品检测至关重要——可能不够充分。在现实世界场景中,由于CLIP的预训练数据与下游任务中遇到的农产品的具体视觉特征之间的领域差异,这个问题往往会被加剧。
区分真实农产品和假冒产品的微妙视觉差异(例如,纹理的微小变化、颜色一致性、包装细节或标签不完善)通常会导致CLIP嵌入空间中的表示重叠。这导致“混淆”或模糊的logits,模型难以为正确类别(真实品与假冒品)分配高置信度分数。这种类间歧义直接影响了分类的准确性和可靠性,阻碍了基于CLIP的解决方案在现实世界中的实际应用。本研究的基本动机源于一个关键观察:虽然CLIP在通用视觉概念方面表现出色,但其对比预训练目标并未明确优化视觉上几乎相同的类别之间的细粒度分类边界。在农业假冒产品检测的背景下,这导致潜在空间中的表示严重重叠,其中纹理或标签的细微不完善——这些是真实性的关键指标——常常被视为噪声。我们的研究旨在通过主动建模和消除这些类间歧义来弥补这一差距,从而在小样本场景中恢复判别能力。
因此,迫切需要开发能够增强CLIP判别能力的方法,特别是对于需要细粒度视觉区分的任务,例如识别假冒农产品。我们的动机是直接解决这种歧义。我们提出在CLIP的logits中学习和主动减少这些类间歧义。通过建模真实产品和假冒产品之间的具体混淆模式,并利用增强的视觉特征作为先验,我们旨在“净化”logits,从而实现更可分离和可靠的分类。我们将其称为RAC(Reducing Ambiguity in CLIP for Counterfeit Detection),旨在通过使CLIP对区分真实产品和假冒产品的微妙视觉线索更加敏感来提高小样本假冒产品识别的精度,从而增强其在关键实际应用中的效用。
我们的工作解决了将CLIP应用于假冒农产品小样本识别时存在的类间歧义这一关键挑战。本文的主要贡献如下:(1)一种新的歧义减少框架(RAC):我们提出了RAC(Reducing Ambiguity in CLIP for Counterfeit Detection),这是一种专门设计用于学习和减轻阻碍真实农产品和假冒农产品准确区分的视觉歧义的新方法。RAC通过集成专门的模块来细化和改进特征表示和分类logits来实现这一目标。(2)增强的多层感知器加法(MLP-P)用于产品细节辨别:我们引入了MLP-P模块,该模块从CLIP图像编码器的多个层次提取并有效融合特征。这一过程构建了一个更全面和稳健的视觉表示,能够捕捉到识别假冒产品所必需的更细微的细节;(3)通过学习残差进行有针对性的类间歧义减少(IRA):我们提出的IRA模块明确地对CLIP初始零样本logits中的特定歧义模式进行建模和减少。通过利用增强的视觉特征作为先验,并采用可学习的残差结构,IRA“净化”logits,以提高真实产品和假冒产品之间的类别可分离性;(4)网络融合(NF)用于优化决策:我们采用NF模块动态且自适应地融合MLP-P路径生成的logits和IRA路径减少歧义后的logits。融合权重基于增强的视觉特征进行学习,使模型能够智能地结合证据,从而得出更可靠的最终分类;(5)假冒产品检测效果的实证验证:在专门的TFS-Fruit数据集和三个公共基准测试上的广泛实验表明,RAC的性能显著优于基线CLIP和现有的最佳小样本学习方法。具体而言,RAC在16样本场景下的平均准确率达到76.95%,比之前的模型提高了2.50%,证明了其在数据稀缺条件下识别假冒农产品的稳健性。我们的方法不仅提高了分类准确性,还显著减少了类间歧义,验证了其在这一关键应用中的有效性。

相关工作

相关工作

本节回顾了与我们工作相关的文献,主要关注小样本学习(FSL)、基于CLIP的FSL方法的进展,以及减少视觉识别中歧义或混淆的方法。FSL在传统图像分类之外的领域的更广泛应用,例如从传感器数据中计数动作重复,其中标记数据也非常稀缺,这突显了FSL旨在解决的数据稀缺这一根本挑战。

符号和基本假设

本文中使用的符号列在表1中。这些符号在每个部分中都有正式定义,介绍了我们提出方法的技术细节。
在这项工作中,我们专注于在数据有限的情况下识别假冒农产品。在某些实际情况下,假冒产品的制作和包装与真实产品非常相似;因此,类间歧义会直接影响分类的准确性。我们的方法使用了增强版的CLIP和FSL。

提出的RAC方法

我们提出的RAC(Reducing Ambiguity in CLIP)方法旨在通过系统地解决和减轻标准CLIP输出中常见的类间歧义来提高小样本识别准确性。整体架构如图1所示,分为三个主要阶段,分别对应两个不同的处理分支:步骤1. 零样本嵌入,步骤2. 类间歧义减少(IRA),步骤3. 网络融合(NF)。
完整的RAC方法论包括...

实验评估

在本节中,我们对提出的RAC方法进行了全面验证。通过将其与多个基准模型和现有最佳模型进行比较,我们旨在验证我们歧义减少机制的稳健性和有效性。我们的验证策略包括定量性能提升、内部模块的消融分析以及定性视觉证据。

结论性评论

在这项研究中,我们解决了将CLIP应用于小样本识别时存在的类间歧义这一关键挑战,特别是在区分真实农产品和假冒产品时,视觉差异非常微妙。为了克服这一问题,我们引入了RAC(Reducing Ambiguity in CLIP for Counterfeit Detection),这是一个新框架,它集成了多层感知器加法(MLP-P)模块,用于从多个编码器层次提取增强的视觉特征。

未引用的参考文献

Min等人(2021年),Palanisamy等人(2024年),Radford等人(2021年)。

CRediT作者贡献声明

Dat Tran-Anh:撰写 – 审稿与编辑,监督,概念化。Thang Vu Ba:撰写 – 原始草稿,方法论,概念化。Ngan Hoang Dao:撰写 – 原始草稿,可视化,方法论。Bao Bui Quoc:撰写 – 原始草稿,可视化,方法论。Nam Hoai Vu:数据管理,验证。Tao Ngo Quoc:验证。Quynh Nguyen Huu:数据管理,验证。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。

致谢

本研究由越南国家科学技术发展基金会(NAFOSTED)资助,资助编号为27/2025/TN。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号