多视图数据在现实世界场景中无处不在,同一个对象或现象可以从多个视角或来源观察到。例如,Subhashri等人(2025年)描述了一幅图像的不同类型特征,而自动驾驶系统通过多个传感器(如摄像头和雷达)感知其周围环境。通过整合视图之间的一致性和互补信息,多视图学习旨在获得更全面的数据表示,这对于各种下游任务(如分类和聚类)至关重要(Li等人,2025年)。通常,多视图学习的有效性依赖于两个互补原则:1)一致性,它捕捉视图之间的共享语义;2)互补性,它强调特定于视图的信息。在现有的多视图学习文献中,这两个原则通常通过不同的建模机制来解决。互补性通常通过在学习流程的不同阶段整合信息来实现,包括早期、中期和后期融合(Ramachandram和Taylor,2017年)。早期融合方法旨在将不同视图的原始特征连接成单一的联合表示(Chen等人,2013年)。中期融合在中层网络层融合高级表示以学习统一的联合表示(Li等人,2018年)。后期融合方法在决策层操作独立视图并聚合多个分类器的输出(Zhang等人,2025年)。相比之下,一致性通常通过对学习到的表示施加对齐标准来强制实现,例如最大化跨视图相关性或相似性(Tang等人,2023年)。代表性的方法包括基于相关性的方法(例如,典型相关性分析Cai等人,2026年)和对比学习(CL)(Tian等人,2020年),这些方法在预定义的目标下对齐不同视图。
尽管这些多阶段融合和基于标准的对齐机制非常有效,但它们主要设计用于建模实例级相关性,即同一样本的不同视图之间的互补性和一致性(如图1(a)所示)。然而,一致性和互补性不仅限于单个实例。它们也自然存在于类别层面,属于同一类别的样本具有共同的语义特征,同时表现出多样的特征。如图1(b)所示,同一类别内的鸟类具有共同的内在特征,例如有两条腿、尖嘴和飞行能力,反映了类别级别的一致性。同时,不同鸟类品种在外观和行为上的差异突出了它们的互补性,丰富了类别的多样性。我们将实例和类别层面的关系统称为双重相关性,这为在多视图学习中利用一致性和互补性提供了统一的视角。
最近,一些研究将监督对比学习引入多视图学习中,以捕捉类别级语义(Yang, Li, Huang, Liu, Hu, Peng, 2021; Yang, Zhang, Xu, Li, Xu, Shen, Zhao, 2025)。如图1(c)所示,这些方法不仅将同一实例的视图表示汇集在一起,还鼓励同一类别的样本在表示空间中更接近。尽管有这些进步,多视图对比学习通常涉及视图和样本之间的穷尽式配对,当结合类别级监督时,这变得更加昂贵。因此,随着视图或类别数量的增加,现有方法面临巨大的开销和内存瓶颈。
因此,现有的多视图对比学习方法在利用实例和类别层面的双重相关性时仍然难以同时实现强大的有效性和高效率。这种权衡自然导致了两个基本挑战:(1) 有效性,如何在双重相关性下充分捕捉一致性和互补性,而不仅仅局限于实例级关系;以及(2) 效率,如何在利用多视图对比学习建模双重相关性时避免由穷尽式视图和样本配对引起的巨大计算成本。
为此,我们提出了一个新颖的框架——多阶段多粒度多视图监督原型对比学习(M3SPCL),以解决有效性和效率方面的挑战。图2展示了该模型的整体结构,该框架以统一的方式同时利用双重相关性下的一致性和互补性。具体来说,M3SPCL由三个紧密耦合的模块组成。首先,在配对视图选择模块中,它通过交替将每个视图视为查询视图来构建对比输入,同时将剩余视图连接起来形成相应的关键视图。这种设计执行了早期融合,以暴露互补信息,同时避免了穷尽式的视图配对。其次,基于这些构建的视图对,CL模块结合了监督CL和原型CL,鼓励每个样本与同一类别的样本以及其对应的类别原型接近,同时与不同类别的样本和原型分开。重要的是,原型公式不仅在中间阶段捕捉了类别互补性,还通过进行原型比较提高了效率。最后,M3SPCL进一步使用自适应加权来评估每个视图的贡献,并使用决策集成聚合特定于视图的预测,从而实现了后期互补性。通过这一流程,M3SPCL建立了一个统一的框架,同时缓解了有效性和效率方面的挑战。主要贡献总结如下:
1) 我们提出了一个多阶段多粒度多视图对比学习方法,以利用双重相关性内的一致性和互补性。
2) 为了提高有效性,M3SPCL通过三个层次化的融合阶段整合了互补信息,同时通过双级对比学习机制确保了细粒度和粗粒度的一致性。
3) 为了提高效率,M3SPCL引入了配对视图选择模块来减少比较视图对,并采用原型对比学习来简化样本比较。
4) 在基准多视图数据集上的广泛实验和详细的消融研究验证了所提出框架的优越性能和计算效率,证明了其在多视图学习任务中的实用性。