基于潜在表示与结构保持的多视图子空间聚类

《Pattern Recognition》:Multi-view subspace clustering with latent representation and structure-preserving

【字体: 大 中 小 】 时间:2026年10月01日 来源:Pattern Recognition 9.1

编辑推荐:

   • 提出了一种新颖的多视角子空间聚类框架(MSC_LSP)。• 在潜在表示中显式地保留局部几何结构。• 学习对噪声和离群值具有鲁棒性的自适应相似度矩阵。• 具有迭代收敛分析的统合优化框架。• 大量实验表明,在八个公共数据集上具有卓越的性能。 引言 多视角聚类(MVC)是无监

  

• 提出了一种新颖的多视角子空间聚类框架(MSC_LSP)。• 在潜在表示中显式地保留局部几何结构。• 学习对噪声和离群值具有鲁棒性的自适应相似度矩阵。• 具有迭代收敛分析的统合优化框架。• 大量实验表明,在八个公共数据集上具有卓越的性能。

引言
多视角聚类(MVC)是无监督学习中的一个重要研究课题,已在图像处理[1]、[2]、运动分割[3]、[4]和人脸识别[5]、[6]等领域得到广泛应用。与单视角聚类不同,多视角聚类利用同一数据的多个异构视角表示。例如,一张图像可以通过不同的特征描述符来表示,包括SIFT [7]、HOG [8]、LBP [9]和GIST [10]。通过整合来自不同视角的信息,多视角聚类能够捕获更丰富且更具互补性的表示。然而,这也带来了诸如视角异质性、噪声和冗余以及多样化特征空间的有效整合等挑战。

现有的多视角聚类方法大致可分为矩阵分解方法[11]、[12]、[13]、基于图的方法[14]、[15]、[16]、基于子空间的方法[17]、[18]、[19]和基于核的方法[20]、[21]、[22]。近期的多视角学习研究探索了更具表达力的结构建模和更具挑战性的数据设置。MANGO [23]将熵引导的多尺度图扩散与随机游走增强的对比学习相结合,在联合捕获局部结构和全局语义关系的同时减轻假阴性污染。HOPER [24]利用超图和超拉普拉斯正则化来建模样本间的高阶相关性。AGCL [25]通过一致性约束投影联合学习全局图结构和视角特定权重,而AGFD [26]将聚类指标分解为一致性和多样性分量,并利用Kullback–Leibler散度细化全局相似度。此外,OPTION [27]将最优传输引导的流匹配与结构对齐相结合,用于不完整和非对齐的多视角聚类。这些研究推动了多视角学习向高阶结构建模、自适应图学习和对非理想数据的鲁棒性发展。其中,基于子空间的方法因其处理高维数据的鲁棒性和建模复杂结构的能力而得到了广泛研究。这些方法通常采用自表示框架,并融入各种正则化策略来增强鲁棒性和判别力。一种常见方法是学习多个视角特定的自表示矩阵,然后将它们融合为一致性表示以捕获跨视角的一致性和互补性[28]、[29]、[30]。另一类工作专注于学习跨所有视角共享的统一自表示,从而构建更稳定、更完整的潜在子空间[31]、[32]、[33]。与单视角表示相比,学到的潜在表示对噪声和离群值更具韧性,能更好地捕获样本之间的本质关系。最近,基于张量的多视角聚类方法[34]、[35]通过利用跨视角的高阶相关性展现出了巨大的潜力。例如,判别张量谱聚类[34]和深度张量谱聚类网络[35]有效地捕获了多路结构信息,这对于高维小样本场景尤其有益。这些进展促使我们进一步探索在潜在空间中保留局部几何结构的方法。

尽管这些多视角子空间方法取得了良好的性能,但它们仍面临两个主要挑战。首先,许多方法未能显式保留多视角数据的几何结构。理想情况下,原始空间中相近的样本在潜在空间中应该保持相近。然而,当前方法通常忽略了潜在空间中的流形结构,削弱了它们保留局部关系的能力,进而降低了聚类性能[36]、[37]。一些近期的研究探索了高级流形或分区融合技术以增强结构保留[38],其中一些方法在潜在子空间聚类中联合建模全局和局部结构[39],另一些方法采用双重图正则化同时保留潜在空间和自表示空间中的流形结构[40]。尽管有这些努力,现有方法通常仍以固定方式基于原始特征或中间表示构建相似度图,这限制了它们在原始数据被噪声污染时捕获潜在几何结构的能力。其次,结构保留的有效性严重受限于相似度矩阵的质量。流形学习严重依赖于预定义的相似度图;然而,大多数方法直接从原始特征构建此矩阵[41]、[42]。由于原始数据不可避免地受到噪声和离群值的污染,由此生成的相似度矩阵往往是扭曲的和非最优的。因此,学到的结构信息可能具有误导性,导致聚类结果受损。

为了解决上述挑战,我们提出了一种新颖的多视角子空间聚类方法,称为基于潜在表示与结构保持的多视角子空间聚类(MSC_LSP)。该方法从多视角数据中学习共享的潜在表示,同时通过流形正则化显式建模局部几何结构。此外,它在潜在空间中自适应地构建鲁棒的相似度矩阵,而非依赖有噪声的原始数据。具体来说,MSC_LSP首先提取跨视角共享的低维潜在表示,并利用流形学习捕获局部邻域结构。然后,基于潜在特征学习相似度矩阵,该矩阵对噪声和离群值不那么敏感。为了进一步增强其质量,我们引入了基于信息熵的标准来优化相似度表示。最后,在统一框架内基于学到的潜在特征和相似度矩阵执行子空间聚类。图1给出了所提方法的流程图。本文的贡献总结如下:
1. 我们提出了一种新的子空间聚类框架,通过建模潜在空间中样本间的几何关系来显式保留局部结构,从而获得更一致、更完整的表示。
2. 我们引入了信息熵标准来优化相似度矩阵。与传统使用固定相似度矩阵的方法不同,MSC_LSP自适应地学习样本间的成对相似度,从而能更准确地刻画多个视角之间的共享结构。
3. 在九个基准数据集上的大量实验表明,MSC_LSP与其他最先进方法相比具有卓越的聚类性能。

本文的其余部分组织如下。第2节简要回顾本文使用的符号、多视角子空间聚类方法和流形学习方法。第3节介绍了所提出的多视角子空间聚类算法。第4节提供了迭代求解策略。第5节在基准数据集上进行了实验和分析。最后,第6节给出了本文的结论。

符号说明
我们首先介绍本文使用的符号。矩阵用大写粗体字母表示,向量用小写粗体字母表示。对于矩阵M∈Rd×m,其第j列表示为mj。M的转置和逆分别表示为MT和M?1。Frobenius范数定义为‖M‖F=∑i=1d∑j=1mMij2,?2,1-范数定义为‖M‖2,1=∑i=1d∑j=1mMij2。方阵M的迹表示为tr(M)。本文使用的符号总结于表1中。

多视角子空间聚类
所提方法
在本工作中,我们提出了一种多视角聚类方法,该方法同时学习一致性潜在表示并从该表示中重构数据。核心动机是学习一个干净的一致性空间,同时过滤掉视角特定的噪声并保留通常被原始数据破坏的内在局部几何结构。给定一组数据矩阵Xv=1(V),其中X(v)∈Rdv×n。我们假设所有视角共享一个共同的底层潜在表示[31]。

优化
在本节中,我们采用迭代优化策略来更新四个变量(H、Z、P、S)。该问题是凸的,但我们可以通过迭代更新一个变量同时固定其他变量来求解。

实验
在本节中,我们在九个广泛使用的基准数据集上评估所提方法以展示其有效性,并进行全面分析。

结论
本文提出了一种新颖的多视角聚类方法,该方法同时保留局部流形结构并学习最优相似度矩阵。它利用流形学习进行局部结构保持,并且相似度矩阵是从潜在表示中学习的。为了进一步提高精度,在优化过程中引入信息熵来细化相似度矩阵。整个问题在统一优化框架中建模,并...

CRediT作者贡献声明
吕红:撰写——初稿,项目管理,方法论,调查研究,形式化分析,概念化。朱代代:撰写——初稿,可视化,软件,方法论,调查研究,形式化分析,数据管理,概念化。胡金:撰写——初稿,指导,概念化。赵阳:撰写——审阅与编辑,指导,概念化。尤孟博:撰写——审阅与编辑,指导,资源,概念化。袁爱红:

利益冲突声明
作者声明他们没有已知的会可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢
本工作得到了国家自然科学基金(资助号62306244)的支持。我们衷心感谢西北农林科技大学高性能计算平台提供的计算资源。我们也感谢在公共数据库中提供实验数据的研究人员,以及西北农林科技大学信息工程学院人工智能教学实践平台的支持。

吕红在中国陕西的西北农林科技大学获得学士学位,目前正就读于西北农林科技大学攻读硕士学位。她的研究兴趣包括机器学习和数据挖掘。

吕红 | 朱代代 | 胡金 | 赵阳 | 尤孟博 | 袁爱红
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号