细粒度对比分析与完整融合技术在多视图聚类中的应用
《Neurocomputing》:Fine-grained contrastive and complete fusion for multi-view clustering
【字体:
大
中
小
】
时间:2026年03月24日
来源:Neurocomputing 6.5
编辑推荐:
多视图聚类网络通过动态调整视图融合权重和优化对比学习样本选择策略,提升聚类性能。实验表明优于现有方法。
侯书东|范永驰|徐伟|刘恒|陈峰
摘要
多视图聚类旨在结合同一对象的多个可观测视图进行联合学习,以获得更好的共识表示,而不是单一视图,从而获得更可靠和可分离的聚类结果。基于深度学习的方法已经证明了它们在解决这一问题上的强大学习能力。大多数现有的MVC深度聚类方法利用对比学习策略,而正负样本对的选择过程对最终表示有很大影响。因此,在对比学习算法中选择合适的正负样本对是核心任务。此外,在基于特征的融合方法中,设计独立的网络学习权重缺乏有效的监督信息指导,使得难以获得准确的视图融合权重。在本文中,我们提出了一种新的多视图聚类网络来解决上述问题。具体来说,我们通过比较每个视图与融合视图之间的相似性来调整视图融合过程中的适应度权重。此外,我们提出了一种新颖的算法来选择正负样本对,利用所有视图和融合视图的信息来选择高置信度的样本,然后使用对比学习方法使聚类结果更具可分离性。在多个数据集上的大量实验表明,我们的方法相比几种现有的最先进方法能够取得更好的性能。
引言
由于传感器的多样性和信息的爆炸性增长,我们现在可以从多个角度观察和描述对象。例如,不同的机构可能对新闻文章有不同的报道,可以从图像中提取LBP和HOG等特征进行分析。LBP用灰度和旋转不变性描述局部纹理,而HOG则关注梯度方向直方图,强调边缘和轮廓信息[34]。多视图数据集的重要特征是互补性和一致性。利用多个视图可以提供更全面的数据分析。多视角聚类的目标是在保持语义一致性的同时,最大化无监督挖掘视角中的互补信息,使数据更具可分离性。
聚类是重要的无监督任务之一。多视图聚类广泛应用于社交网络分析、信息检索和医学领域[13]、[43]。当前的方法分为传统机器学习和深度学习方法。传统方法包括多核技术[21]、[48],它们通过非线性变换在高维空间中对数据进行聚类;以及基于子空间的方法[12]、[53],这些方法学习一个共同的潜在子空间进行聚类。基于非负矩阵分解(NMF)的方法将数据矩阵分解为两个非负矩阵的乘积[8]、[47]、[51],在低维空间中表示数据并进行聚类。然而,这些传统方法对噪声和异常值敏感,随着数据规模的增加,计算复杂性和内存需求也会增加。对来自不同视图的数据进行对齐仍然复杂且计算密集,限制了数据表示和内部结构信息的提取[35]。
深度学习方法在特征提取和处理非线性关系方面表现出色,非常适合处理复杂的多视图数据交互[33]。这些方法通常为每个视图使用编码器来提取更具区分性的特征。基于图的方法[9]、[39]、[50]侧重于揭示数据之间的潜在结构关系。CMGEC[36]引入了一种新的多图嵌入聚类框架,该框架采用多图注意力融合编码器灵活地整合互补的多视图数据。对比学习方法旨在通过最大化正样本对之间的相似性和负样本对之间的距离来创建紧凑的特征表示。基于信息论的方法利用不同视图之间的互信息来提高聚类性能。DMIM[24]最大化不同模态之间的互信息以捕获共享信息,并最小化每个视图中的冗余信息,从而提高聚类纯度。
尽管基于深度学习的多视图聚类(MVC)方法在特征提取和跨模态对齐方面取得了显著进展,但在完全发挥多视图数据在聚类任务中的价值方面仍有改进空间。首先,加权融合——一种在其他机器学习领域得到广泛验证的方法(例如,在[1]中用于中风分类的预训练模型的加权集成)——需要进一步调整以适应MVC场景。传统的MVC加权策略,如[41]中的视图内损失驱动的自加权,虽然在核心逻辑上是合理的,但往往缺乏对各个视图与融合视图之间语义一致性的明确考虑;此外,它们倾向于将加权视为一个独立模块,这可能限制了融合特征可靠地捕获多视图互补性的能力。其次,互信息是一种在[42]中有效利用的工具,用于验证不完整视图MVC任务的投影特征,但尚未针对完整的多视图设置进行充分优化。具体来说,它很少与标签级校准机制集成,这可能使其在过滤特定于视图的噪声的同时保留关键共享信息的效果较差。
除了这些方面,现有的MVC方法还面临其他影响其聚类性能的关键挑战。例如,为不同视图确定适当的权重仍然是一项非平凡的任务——当前的策略通常产生的权重可解释性有限,缺乏直观的损失函数约束来指导权重分配,使得难以确保权重与每个视图的实际贡献相匹配。此外,在MVC的对比学习中,现有方法通常强调同一样本的不同视图之间的相似性,将样本的每个视图视为正样本,其他视图视为负样本。虽然这种策略已在实践中应用,但它可能忽略了样本之间的内在结构关系(例如,同一簇中不同样本在多个视图上的一致性),从而可能导致同一簇中的样本之间的距离增加,从而影响最终性能。
为了解决这些相互关联的挑战——包括为语义一致性改进加权融合、针对完整视图的目标优化互信息、需要可解释的权重约束以及改进对比样本选择——我们提出了一种新的多视图对比融合网络。与现有方法不同,我们的方法通过比较各个视图与融合视图之间的相似性动态调整权重,并使用互信息和校准损失作为约束。对于对比学习,我们利用每个视图和融合视图的伪标签信息,应用聚类级别的对比学习来选择样本并设置对比强度。我们的主要贡献总结如下:
•提出了一种新的视图融合模块,该模块通过比较每个视图与融合特征伪标签之间的相似性来动态调整视图融合权重。在特征级别最大化互信息,并在伪标签级别使用校准损失来保持融合特征的一致性和互补性。
•结合所有视图(包括通过融合特征获得的伪标签图)来挖掘样本之间的内在结构关系,全面评估和选择正负样本,并对置信度较高的样本进行更强的对比学习。
•在多个数据集上的实验结果表明,我们的方法具有最佳性能。我们的代码即将发布。
章节片段
深度多视图聚类
随着计算能力的提升和深度网络强大的特征提取和表示能力[18]、[19]、[52],近年来出现了许多深度多视图聚类模型。尽管它们都有各自的模型架构和工作方法,但可以将其分解为固定的一组组件[7]。
当前的方法通常涉及为每个视图堆叠特定的自动编码器以生成独特的表示[16]。监督任务属于
符号说明
图2显示了整体模型架构。在本文中,我们使用来表示原始多视图数据的输入,其中是视图的数量,N是样本的数量,表示第m个视图中的特征维度。表示样本中的类别数量。
多视图自动编码器
原始多视图数据通常包含噪声和冗余信息,这可能会影响聚类效果。编码器可以通过学习有效地减少噪声和冗余
实验设置
数据集。所提出的方法在六个公开可用的多视图数据集上进行了测试。BDGP [2]数据集包含2500个果蝇胚胎样本,每个样本都由图像和文本特征描述。COIL20 [25]数据集包含20个对象类别,每个对象在360度水平旋转过程中每隔5度拍摄一次;选择每个对象的三张图像形成一个三视图数据集。Scene-15 [11]数据集构建了15个类别的场景环境,包括
结论
在本文中,我们提出了一种更精确和详细的多视图融合对比聚类网络(FCCF)。与之前的视图融合方法相比,我们的方法引入了几项关键创新以提高聚类性能。具体来说,我们首先使用聚类级别的对比损失,这不仅鼓励同一簇内视图之间的更强对齐,还促进了不同簇之间的更好分离。在融合过程中,我们动态获取视图
CRediT作者贡献声明
侯书东:写作——审稿与编辑,监督,项目管理。范永驰:调查,可视化,写作——审稿与编辑,数据管理。徐伟:写作——初稿,软件,方法论,概念化。刘恒:写作——审稿与编辑,验证,形式分析。陈峰:资金获取,验证,写作——审稿与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了安徽省自然科学基金(项目编号:1808085QF210)和国家自然科学基金(项目编号:61971004、62206006)以及安徽工业大学的Wotu计划(项目编号:WTZ202418)的支持。
侯书东目前是中国安徽工业大学计算机科学与技术学院的副教授。他于2012年在南京理工大学获得模式识别与智能系统博士学位。他的当前研究兴趣包括模式识别、计算机视觉和深度学习。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号