M3SPCL:多阶段、多粒度、多视图监督原型对比学习

《Neural Networks》:M3SPCL: Multi-stage Multi-grained Multi-View Supervised Prototypical Contrastive Learning

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neural Networks 6.3

编辑推荐:

  M3SPCL提出多阶段、多粒度、多视图监督原型对比学习框架,通过视图选择、双对比学习(监督与原型)及自适应融合,有效整合实例与类别级关联,提升分类精度并降低计算成本,实验验证优于现有方法。

  
Jingjing Tang | Yan Li | Saiji Fu | Yingjie Tian | Yu Bao
中国西南财经大学商学院,成都,611130

摘要

大多数现有的多视图学习方法通过多阶段融合利用视图互补性并通过表示对齐来强制一致性来提高性能。然而,它们主要局限于实例级建模,无法充分捕捉类别级语义,这限制了它们的有效性。最近的对比学习尝试结合了类别信息以提高区分度,但它们通常依赖于穷尽式的视图和样本配对,导致计算开销过大。因此,在实例和类别层面同时实现类别感知的有效性和计算效率仍然是一个基本挑战。为此,我们提出了M3SPCL,一个多阶段多粒度多视图监督原型对比学习框架。在早期阶段,M3SPCL采用配对视图选择策略通过高效的视图连接来构建对比输入。在中期阶段,它整合了监督学习和原型对比学习,以在实例和类别层面强制细粒度和粗粒度的一致性,其中基于原型的匹配也减少了密集的样本比较。在后期阶段,自适应决策融合机制根据它们学到的贡献来聚合特定于视图的预测。总体而言,M3SPCL提供了一个统一的框架,同时提高了利用双重相关性的有效性和效率。在八个广泛使用的公共多视图基准数据集(包括基于图像的数据集(例如,Handwritten、Scene15、Caltech101)和基于文本的数据集(例如,Reuters)上的广泛实验表明,M3SPCL始终优于最先进的方法。特别是,M3SPCL在准确率上提高了1.162%,在精确度上提高了1.703%,在召回率上提高了1.298%,在F分数上提高了1.752%,同时大幅降低了计算成本和内存使用。

引言

多视图数据在现实世界场景中无处不在,同一个对象或现象可以从多个视角或来源观察到。例如,Subhashri等人(2025年)描述了一幅图像的不同类型特征,而自动驾驶系统通过多个传感器(如摄像头和雷达)感知其周围环境。通过整合视图之间的一致性和互补信息,多视图学习旨在获得更全面的数据表示,这对于各种下游任务(如分类和聚类)至关重要(Li等人,2025年)。通常,多视图学习的有效性依赖于两个互补原则:1)一致性,它捕捉视图之间的共享语义;2)互补性,它强调特定于视图的信息。在现有的多视图学习文献中,这两个原则通常通过不同的建模机制来解决。互补性通常通过在学习流程的不同阶段整合信息来实现,包括早期、中期和后期融合(Ramachandram和Taylor,2017年)。早期融合方法旨在将不同视图的原始特征连接成单一的联合表示(Chen等人,2013年)。中期融合在中层网络层融合高级表示以学习统一的联合表示(Li等人,2018年)。后期融合方法在决策层操作独立视图并聚合多个分类器的输出(Zhang等人,2025年)。相比之下,一致性通常通过对学习到的表示施加对齐标准来强制实现,例如最大化跨视图相关性或相似性(Tang等人,2023年)。代表性的方法包括基于相关性的方法(例如,典型相关性分析Cai等人,2026年)和对比学习(CL)(Tian等人,2020年),这些方法在预定义的目标下对齐不同视图。
尽管这些多阶段融合和基于标准的对齐机制非常有效,但它们主要设计用于建模实例级相关性,即同一样本的不同视图之间的互补性和一致性(如图1(a)所示)。然而,一致性和互补性不仅限于单个实例。它们也自然存在于类别层面,属于同一类别的样本具有共同的语义特征,同时表现出多样的特征。如图1(b)所示,同一类别内的鸟类具有共同的内在特征,例如有两条腿、尖嘴和飞行能力,反映了类别级别的一致性。同时,不同鸟类品种在外观和行为上的差异突出了它们的互补性,丰富了类别的多样性。我们将实例和类别层面的关系统称为双重相关性,这为在多视图学习中利用一致性和互补性提供了统一的视角。
最近,一些研究将监督对比学习引入多视图学习中,以捕捉类别级语义(Yang, Li, Huang, Liu, Hu, Peng, 2021; Yang, Zhang, Xu, Li, Xu, Shen, Zhao, 2025)。如图1(c)所示,这些方法不仅将同一实例的视图表示汇集在一起,还鼓励同一类别的样本在表示空间中更接近。尽管有这些进步,多视图对比学习通常涉及视图和样本之间的穷尽式配对,当结合类别级监督时,这变得更加昂贵。因此,随着视图或类别数量的增加,现有方法面临巨大的开销和内存瓶颈。
因此,现有的多视图对比学习方法在利用实例和类别层面的双重相关性时仍然难以同时实现强大的有效性和高效率。这种权衡自然导致了两个基本挑战:(1) 有效性,如何在双重相关性下充分捕捉一致性和互补性,而不仅仅局限于实例级关系;以及(2) 效率,如何在利用多视图对比学习建模双重相关性时避免由穷尽式视图和样本配对引起的巨大计算成本。
为此,我们提出了一个新颖的框架——多阶段多粒度多视图监督原型对比学习(M3SPCL),以解决有效性和效率方面的挑战。图2展示了该模型的整体结构,该框架以统一的方式同时利用双重相关性下的一致性和互补性。具体来说,M3SPCL由三个紧密耦合的模块组成。首先,在配对视图选择模块中,它通过交替将每个视图视为查询视图来构建对比输入,同时将剩余视图连接起来形成相应的关键视图。这种设计执行了早期融合,以暴露互补信息,同时避免了穷尽式的视图配对。其次,基于这些构建的视图对,CL模块结合了监督CL和原型CL,鼓励每个样本与同一类别的样本以及其对应的类别原型接近,同时与不同类别的样本和原型分开。重要的是,原型公式不仅在中间阶段捕捉了类别互补性,还通过进行原型比较提高了效率。最后,M3SPCL进一步使用自适应加权来评估每个视图的贡献,并使用决策集成聚合特定于视图的预测,从而实现了后期互补性。通过这一流程,M3SPCL建立了一个统一的框架,同时缓解了有效性和效率方面的挑战。主要贡献总结如下:
1) 我们提出了一个多阶段多粒度多视图对比学习方法,以利用双重相关性内的一致性和互补性。
2) 为了提高有效性,M3SPCL通过三个层次化的融合阶段整合了互补信息,同时通过双级对比学习机制确保了细粒度和粗粒度的一致性。
3) 为了提高效率,M3SPCL引入了配对视图选择模块来减少比较视图对,并采用原型对比学习来简化样本比较。
4) 在基准多视图数据集上的广泛实验和详细的消融研究验证了所提出框架的优越性能和计算效率,证明了其在多视图学习任务中的实用性。

相关工作

相关工作

在本节中,我们首先从多视图学习中的两个基本原则——互补性和一致性的角度回顾相关工作。随后,我们将现有的多视图对比学习分为实例级和类别级范式,并讨论它们各自的优点和局限性。

方法论

本节介绍了M3SPCL的总体框架,该框架由三个紧密耦合的模块组成,如图2所示。在早期阶段,设计了一个配对视图选择模块,通过交替将每个视图视为查询视图并将剩余视图连接起来形成关键视图,从而实现高效的早期融合。在中期阶段,对比学习模块整合了监督对比学习和原型对比学习

为什么CL模块有助于多视图学习?

CL的内在属性。在多视图学习中,一致性和互补性原则在有效利用多视图信息方面起着核心作用。这些原则与CL的两个关键属性——对齐性和均匀性密切相关,这些属性已知可以增强表示学习(Wang和Isola,2020年)。具体来说,对齐性确保了正例的表示共享共同信息并保持不变特征,而均匀性有助于分布

实验

在本节中,我们进行了广泛的实验来验证所提出方法的有效性和效率。所有实验都在Pytorch 1.10.2和Ubuntu 18.04操作系统以及NVIDIA 2080Ti GPU上进行。源代码可在https://github.com/Mironly33/M3SPCL获得。

结论和未来工作

在本文中,我们提出了M3SPCL,这是一个多视图学习框架,旨在通过共同建模一致性和互补性来平衡有效性和效率。在多个多视图基准数据集上的广泛实验表明,M3SPCL在预测性能和运行时效率方面始终优于最先进的方法。从有效性角度来看,对八个基准数据集的实验结果显示,M3SPCL的平均改进超过了

CRediT作者贡献声明

Jingjing Tang:撰写——审阅与编辑,撰写——原始草稿,监督,项目管理,方法论,资金获取。Yan Li:撰写——原始草稿,验证,方法论,调查,资金获取,形式分析。Saiji Fu:撰写——审阅与编辑,监督,项目管理,资金获取,概念化。Yingjie Tian:撰写——审阅与编辑,监督,概念化。Yu Bao:撰写——审阅与编辑,验证。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了以下机构的资助:中国国家自然科学基金(编号72401034和72495125),四川省自然科学基金(编号2025NSFSC1975),中国留学基金委(编号202406980060和202506980008),教育部人文社会科学项目(编号24YJCZH054)以及西南财经大学研究生代表成就培养项目(编号JGS2024043)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号