DWCL:用于强大多视图聚类的双权重对比学习算法
《Engineering Applications of Artificial Intelligence》:DWCL: Dual-Weighted Contrastive Learning for robust multi-view clustering
【字体:
大
中
小
】
时间:2025年12月17日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
袁汉宁|张志辉|郭琪|迟莲华|阮思杰|周伟|庞金辉|郝晓帅中国北京,100081,北京工业大学摘要多视图对比聚类(MVCC)旨在通过最大化各视图特定表示之间的一致性来学习来自多个视图的一致聚类结构。然而,现有方法通常不加区分地构建所有成对的交叉视图,从而导致大量不可靠的视图组合和
袁汉宁|张志辉|郭琪|迟莲华|阮思杰|周伟|庞金辉|郝晓帅中国北京,100081,北京工业大学摘要多视图对比聚类(MVCC)旨在通过最大化各视图特定表示之间的一致性来学习来自多个视图的一致聚类结构。然而,现有方法通常不加区分地构建所有成对的交叉视图,从而导致大量不可靠的视图组合和表示退化。为解决这些问题,我们提出了双权重对比学习(DWCL)这一新框架,该框架利用轮廓系数选择最可靠的视图,并通过最佳其他(B-O)对比机制与其他视图构建有针对性的交叉视图。这一策略将交叉视图的构建复杂度从二次方降低到线性,显著提高了计算效率。此外,我们还引入了一种双权重策略,结合视图质量权重和视图差异权重,以自适应地强调高质量、低差异的交叉视图。在八个多视图数据集上的广泛实验表明,DWCL的性能始终优于现有的最先进方法。具体而言,DWCL在Caltech5V7数据集上的绝对准确率提升了3.5%,在CIFAR10数据集上提升了4.4%。理论分析进一步证明了DWCL在提高互信息界限和减少低质量视图影响方面的优势。这些结果证实,DWCL是一种强大且高效的适用于大规模多视图聚类的解决方案。引言多视图聚类(MVC)通过利用多个视图的互补信息来提升聚类质量。它在包括图像和视频表示(Yu等人,2024年)、社交网络分析(Zhang等人,2024年)以及跨媒体信息检索(Wang等人,2023年)在内的多个领域都受到了广泛关注。对比学习在这一背景下发挥着关键作用,它能够显式增强语义相关实例表示之间的相似性。由于对比学习能够加强多个视图中的表示,它被越来越多地应用于MVC中(Diallo等人,2023年;Yang等人,2023年)。多视图对比聚类(MVCC)方法侧重于构建交叉视图,以便从多视图数据中学习一致的表示,其中每个交叉视图通常涉及两个不同的视图(Chen等人,2023年)。然而,大多数现有的MVCC方法(Cai等人,2024年;Cui等人,2024a年)采用如图1(a)所示的成对交叉视图构建策略,在对比学习中将所有交叉视图视为同等重要。实际上,多视图数据中的视图在质量上存在固有差异(Yang等人,2021年)。因此,成对对比学习可能会迫使高质量和低质量视图对齐,导致强视图和弱视图之间的表示相似性趋近于1.0,从而限制了各个视图的表现力。此外,生成大量不可靠的交叉视图会显著增加计算成本。除了质量不平衡之外,由于视图差异导致的表示退化仍然是MVCC中的一个关键挑战(Cui等人,2024b年;Yan等人,2024年)。如图1(b)所示,自加权方法,如SEM(Xu等人,2023年),试图通过为差异较小的交叉视图分配更高的权重来解决这一问题。然而,它们往往忽视了视图质量,可能会过度强调那些恰好具有较低差异的低质量视图,从而加剧噪声而非减少噪声。这些局限性凸显出需要一种同时考虑视图质量和视图差异的更平衡的方法。为了解决这些挑战,我们提出了一种名为双权重对比学习(DWCL)的新模型,用于实现强大的多视图聚类,如图2所示。DWCL引入了一种称为最佳其他(B-O)对比机制的创新多视图对比机制,该机制在显著降低不可靠交叉视图的计算负担的同时,增强了单个视图的表现力。在B-O对比机制中,交叉视图是通过将基于轮廓系数(SI)(Rousseeuw,1987年)确定的最佳视图与每个其他视图配对来构建的。这将交叉视图构建的复杂度从二次方降低到线性,即从O(|V|2)变为O(|V|),其中V表示视图的数量。此外,我们还提出了一种双权重策略,该策略结合了从SI衍生的视图质量权重WSI以及视图差异权重WCMI(Xu等人,2023年)。这一策略有选择地增强高质量、低差异的交叉视图,同时抑制低质量、高差异的视图,有效减轻了表示退化的问题。在八个多视图数据集上进行的广泛实验表明,DWCL在聚类准确率和计算效率方面始终优于现有的最先进MVCC方法。我们的主要贡献总结如下:•方法创新:为了解决视图质量不平衡和语义差异问题,我们提出了双权重对比学习(DWCL),该算法具有新颖的最佳其他(B-O)对比机制。DWCL不构建所有的成对交叉视图匹配,而是选择最可靠的视图(基于轮廓系数)作为锚点,仅与其余视图形成对比对,从而将交叉视图的复杂度从O(|V|2)降低到O(|V|),避免产生过多的不可靠对。•双权重策略:我们设计了一种双权重策略,该策略结合了视图质量权重(用于体现聚类的紧凑性)和视图差异权重(用于体现交叉视图的语义差异)。这一策略优先考虑可靠、高质量的交叉视图,同时抑制噪声较大或差异较大的视图,从而产生更加稳健且具有区分度的多视图表示。•理论分析:我们提供了理论分析,表明DWCL相比现有的MVCC方法能够得到更严格的互信息下界,并且能够有效减轻不可靠或冗余交叉视图的负面影响。•广泛验证:我们在八个公开的多视图数据集上进行了全面实验,结果表明DWCL的性能始终优于现有的最先进基准方法。值得注意的是,DWCL在Caltech5V7数据集上的绝对准确率提升了3.5%,在CIFAR10数据集上提升了4.4%,充分体现了其有效性和可扩展性。章节摘录深度多视图聚类近年来,多视图聚类(MVC)(Wang等人,2024年;Zhang等人,2025年)取得了显著进展。借助深度网络强大的表示能力,深度MVC已被广泛应用于各个领域。深度MVC通常分为两类:两阶段算法和单阶段算法。如Xu等人(2021年)的研究所示,两阶段MVC首先从不同视图学习特征表示,然后再进行聚类。相比之下,问题陈述给定一组多视图数据{Xv∈RN×Dv}v=1V,其中包含V个视图和N个维度为Dv的实例,Xv=[x1v,…,xiv,…,xNv]表示第v个视图,xiv则表示多视图数据中的第i个实例。具有相同语义标签的实例可以被归入同一个簇中。假设K为簇的数量,那么MVC的目标就是根据实例的语义相似性将N个实例划分为K个不同的簇。确定最佳其他对比机制中的最佳视图我们提出了一种最佳其他(B-O)对比机制,在该机制中,交叉视图实验设置数据集我们的实验使用了表1中所列的八个多视图数据集。具体来说,我们使用了Caltech数据集(Fei-Fei等人,2004年),重点研究Caltech5V7,该数据集包含1400个实例,由五种视图表示:小波矩、CENTRIST、HOG、GIST和LBP,涵盖七个类别。Caltech6V7和Caltech6V20则在此基础上增加了六种视图——Gabor、小波矩、CENTRIST、HOG、GIST和LBP——前者包含1400个实例,涵盖七个类别;后者包含2386个实例,涵盖20个类别。结论与未来工作在本文中,我们介绍了DWCL,这是一种专为多视图聚类设计的强大且可扩展的对比学习框架。通过结合视图质量和视图差异,DWCL有效地减轻了表示退化现象,并在各种基准测试中提升了聚类性能。它的适应性使其成为模式识别领域的宝贵工具,尤其是在那些需要可扩展且易于理解的解决方案的应用中。尽管DWCL依赖于Silhouette函数。CRediT作者贡献声明袁汉宁:资金获取。张志辉:方法论。郭琪:形式分析。迟莲华:验证。阮思杰:可视化。周伟:软件。庞金辉:撰写——初稿。郝晓帅:撰写——审阅与编辑。利益冲突声明作者声明他们没有已知的可能影响本文所报告工作的财务利益或个人关系。致谢本研究得到了内蒙古科学发展计划(2022EEDSKJXM003-2)和中国国家自然科学基金(编号42371480、62306033)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号