《Neural Networks》:Dimension- adaptive Latent Representation Learning with Normalized Hyperbolic Tensor Rank for Multi-view Clustering
编辑推荐:
这篇研究论文提出了一种名为DLRL-NHTR的创新多视图聚类(MVC)方法。该方法通过引入基于零空间投影的自适应维度潜在表示学习(DLRL)框架,解决了传统方法依赖手动设定潜在空间维度的问题。同时,论文提出的归一化双曲张量秩(NHTR)优化了高阶视图间相关性捕捉,而弹性结构正则化(ESR)项则增强了单个视图内多层次结构信息的表征能力。在十个基准数据集上的实验表明,该方法优于12种前沿方法,显著提升了聚类性能。
研究亮点
在机器学习与数据挖掘领域,多视图聚类(MVC)旨在从多源、多模态数据中提取共享和互补的结构信息。然而,现有方法在潜在空间维度选择、高阶张量秩准确估计以及视图内部结构表征等方面存在局限性。本文所提出的DLRL-NHTR方法,正是针对这些挑战而设计的集成解决方案,其核心亮点体现在以下三个方面的创新:
- 1.
自适应维度学习框架:我们摒弃了传统潜在表示(LR)方法中需要手动预设潜在维度的做法,设计了一种基于数据本征秩信息的自适应维度潜在表示学习(DLRL)框架。该框架利用零空间性质,自动将数据投影到由内在秩决定的潜在子空间,从而从根本上缓解了因维度选择敏感导致的聚类性能波动。
- 2.
创新的张量秩约束:为了更精确地表征多视图数据间的高阶相关性,我们引入了一种新的张量秩近似方法——归一化双曲张量秩(NHTR)。该方法通过归一化双曲函数,对不同量级的张量奇异值施加自适应、差异化的惩罚,从而构建了一个更具判别力的张量低秩约束机制,能够更有效地逼近真实的张量秩。
- 3.
弹性的结构正则化:为了捕捉每个视图内部的多层次结构信息,我们设计了一个弹性结构正则化(ESR) 项。ESR能够使模型同时感知视图内部潜在的局部非线性特征与全局线性结构,从而获得更全面、更精确的结构表示,增强模型的判别能力。
引言
随着信息技术的飞速发展和数据采集方式的不断扩展,越来越多的实际应用产生了具有多源、多模态特征的数据,通常称为多视图数据。例如,在图像处理、数据挖掘和社交网络分析等领域,不同类型或不同来源的特征可以从多个角度描述同一对象。这类多视图数据通常包含互补且结构丰富的信息,比单视图数据具有更强的表示能力和更大的分析价值。为了充分利用视图间的共享信息和独有特性,多视图聚类已成为机器学习和数据挖掘领域的研究热点。通过对多视图数据进行联合表示学习并深入挖掘其底层结构,多视图聚类不仅能提升聚类性能,还能为数据的内在模式提供更全面的理解。
多视图聚类的理论基础主要基于两个核心原则:一致性和互补性。一致性原则认为,尽管不同视图来源于不同的数据源,但在表示同一对象或任务时,它们通常共享一致的内在结构信息。相反,互补性原则则认为,每个视图通常包含其他视图无法充分捕获的独特的、具有判别性的信息。为了有效提取一致的结构信息,研究人员开发了多种聚类方法,利用非负矩阵分解(NMF)、图学习、谱嵌入和子空间表示等技术为每个视图构建相似性图。这些图随后被融合形成统一的共识图,从而在保留共享结构信息的同时,抑制来自低质量视图的干扰和噪声。这种融合机制已被证明能显著提高多视图聚类的准确性和鲁棒性。然而,仅依赖一致性信息不足以充分发挥多视图数据的潜力。基于互补性原则,每个视图中包含的独特信息对于全面理解数据对象至关重要且不可或缺。为此,研究人员提出了潜在表示(LR)方法来揭示视图间的互补结构。这些方法通常假设多视图数据的内在结构存在于一个低维的共享潜在子空间中。通过学习每个视图的独立投影矩阵,LR方法将原始数据映射到这个公共子空间,从而获得统一的潜在表示。LR方法不仅加强了一致性特征的融合,还促进了跨视图的有效信息补偿和重建,从而充分利用了互补特征的优点。
尽管上述LR方法在一致性保持、互补信息挖掘和结构关系表示方面推进了多视图聚类,但它们仍存在一些局限性。首先,潜在表示的维度通常需要手动预定义,使得模型对参数选择敏感。其次,大多数现有方法主要关注对一致性和多样性的建模,而在如何处理每个视图内全局与局部结构之间的平衡关系方面仍然不足。
近年来,张量表示因其在捕捉多视图数据高阶相关性方面的卓越能力而受到广泛关注。这些方法的基本思想是将来自每个视图的表示矩阵堆叠成一个三阶张量,并施加特定的数学约束来建模视图间的高阶统计依赖。Zhang等人2015年的工作是开创性的,首次将低秩约束引入基于张量的多视图聚类(TMVC)框架,为后续研究奠定了理论基础。在此工作基础上,后续研究如利用张量奇异值分解(t-SVD)的方法提出了通过张量平均秩来表示真实张量秩,并严格证明了在凸优化框架中,张量核范数(TNN)是该度量的最紧凸松弛。然而,随着研究领域的发展,TNN的一个局限性变得明显:它对所有奇异值的均匀处理可能导致对大奇异值的过度惩罚和对小奇异值的惩罚不足,从而损害聚类性能。为了解决这一局限性,出现了一些改进的张量秩近似方法。例如,Cheng等人引入了一种加权张量Schatten-p范数,对奇异值施加差异化的惩罚参数,从而能更忠实地逼近真实秩。Zhong等人引入了一种加权非凸低秩范数来研究不同奇异值之间的差异。Ji等人提出了一种基于Geman函数的张量秩代理,以进一步改进对非零奇异值的表征。Pan等人开发了不同的非凸张量核范数以更准确地逼近原始张量秩。尽管做出了这些努力,在基于张量的多视图聚类中,准确逼近张量秩仍然是一个不平凡的问题。现有研究为张量秩表征提供了宝贵的见解,而设计更灵活、更具判别力的秩代理仍然是一个开放的研究课题。特别是,如何更好地反映不同奇异值对底层张量结构的贡献仍然值得进一步研究。
尽管现有的潜在表示和基于张量的多视图聚类方法取得了显著的聚类性能,但仍有几个关键问题需要解决:
- 1.
维度选择问题。潜在表示的质量对潜在空间维度的选择高度敏感。维度过大会引入噪声,削弱潜在空间捕捉基本结构的能力;反之,维度过小会导致信息丢失,阻碍完整语义特征的提取。大多数现有方法仍依赖于经验设置,缺乏理论保证。
- 2.
张量秩估计问题。大多数现有的TMVC方法通常未能对张量奇异值施加足够精确的约束,从而忽略了奇异值之间的差异,导致秩估计偏差。因此,设计一种能够有效区分奇异值并能准确逼近张量秩的改进张量秩估计技术仍然是一个重要的研究方向。
- 3.
结构表示问题。许多TMVC方法强调视图间的高阶相关性,却未充分探索单个视图内部的多层次结构信息。特别是,它们常常忽视了局部非线性关系与全局线性结构之间的平衡。这一事实可能导致这些方法无法充分捕捉原始数据的复杂分布模式,从而降低聚类性能。
基于以上分析,本文提出了一种新颖的基于张量的潜在多视图聚类框架,命名为基于归一化双曲张量秩的自适应维度潜在表示学习(DLRL-NHTR)。首先,与需要手动预定义潜在维度的传统潜在表示学习方法不同,我们设计了一个自适应维度潜在表示学习(DLRL)框架,该框架能根据数据的内在秩信息自动确定潜在子空间的维度。具体来说,DLRL利用零空间性质将原始数据投影到由内在秩决定的潜在子空间,而不是像大多数现有方法那样投影到手动指定的固定维度子空间。这一策略从根本上缓解了多视图聚类中因维度选择敏感性而导致的性能波动。其次,我们提出了一种新的张量秩近似方法,称为归一化双曲张量秩(NHTR),它采用归一化双曲函数对不同量级的奇异值施加自适应、差异化的惩罚,从而构建了一个更具判别力的张量秩约束机制。最后,为了捕捉每个视图内部的多层次结构信息,引入了弹性结构正则化(ESR)项,这使得我们的模型能够同时感知单个视图内潜在的局部非线性特征和全局线性结构,从而实现更全面、更精确的结构表示。为了进一步突出所提方法的新颖性,表1总结了DLRL-NHTR与最相关的多视图聚类方法之间的关键差异。
本文的主要贡献总结如下:
- 1.
提出了一种新颖的自适应维度潜在表示学习框架。与传统方法相比,DLRL避免了手动设置维度参数的影响,能更有效地捕捉数据的潜在结构特征。
- 2.
引入了一种新的张量秩近似方法,称为归一化双曲张量秩。NHTR对不同量级的奇异值施加不同的惩罚强度,从而能够精确区分不同尺度的奇异值。这提高了分析多视图聚类中高阶相关性的能力。
- 3.
引入弹性结构正则化以提高结构表示能力。ESR有助于所提模型捕捉视图中的全局和局部结构特征,从而产生更具判别性的表示,忠实地表征多视图数据的内在结构。
- 4.
提出了一种基于增广拉格朗日乘子法的优化算法。在十个基准数据集上进行了对比实验和消融研究。实验结果全面验证了所提方法的有效性和优越性。
本文其余部分的结构如下:第2节介绍了相关方法。第3节详细介绍了所提出的方法,然后在第4节给出了我们方法的优化和复杂度分析。第5节展示了详细的实验结果,并对我们的方法进行了一些分析。最后一节对全文进行了总结。
相关工作
在多视图聚类领域,基于子空间的MVC方法因其坚实的理论基础和数学可解释性而备受关注。这些方法基于原始数据由多个线性子空间组成的假设。通过学习这些子空间之间的关系,可以揭示数据的内在结构特征。子空间方法的关键在于构造一个……
所提出的方法
所提出的方法包含两个核心组件:自适应维度潜在表示学习(DLRL)和归一化双曲张量秩(NHTR)。DLRL作为我们方法的基础框架,克服了传统方法需要预定义潜在空间维度的限制,能够直接从数据中学习潜在表示。一旦获得潜在表示,我们通过自表示学习获得表示矩阵并将其堆叠成……
优化
通过将Z = J引入(25),我们可以推导出增广拉格朗日函数:
min ∥J∥NHTR + Σmv=1∥I - H(v)∥F2 + α∥E∥2,1 + β∥Z∥ESR + (μ/2) Σmv=1 ∥X(v)H(v) + A1(v)/μ ∥F2
+ (μ/2) Σmv=1 ∥H(v) - H(v)Z(v) - E(v) + A2(v)/μ ∥F2 + (φ/2)∥Z - J + W/φ∥F2
s.t. Z(v) ≥ 0,
其中A1(v), A2(v)和 W 是拉格朗日乘子,μ 和 φ 是惩罚参数。然后,我们可以采用ADMM交替优化变量。
(1)对于变量 H(v),对应的优化子问题如下
min Σmv=1 ∥I - H(v)∥F2 + (μ/2) Σmv=1 ∥X(v)H(v) + A1(v)/μ ∥F2 + (μ/2) Σmv=1 ∥H(v) - ...
实验
在本节中,我们选择了十个基准数据集来测试我们提出的方法,并将其与几种相关方法进行了比较。这些数据集被分为多个类别,以确保实验环境的多样性,从而全面验证该方法的可行性。
结论
本文提出了一种基于归一化双曲张量秩的自适应维度潜在表示学习(DLRL-NHTR)方法,用于多视图聚类。与传统方法不同,该方法不需要预定义潜在表示的维度,从而避免了人工参数选择的干扰,同时提供了理论保证。此外,我们引入了一种新的张量秩近似范数——归一化双曲张量秩(NHTR)。与张量……