《Neurocomputing》:Weighted learning via logarithmic sparsity and hyper-laplacian regularization for multi-view subspace clustering
编辑推荐:
本文提出了一种新颖的多视图子空间聚类框架HLR-LS-WTSNM。它通过引入加权张量Schatten-p范数(WTSPN)来精准捕获跨视图的低秩共识结构,利用对数稀疏约束自适应地抑制噪声并增强视图间互补性,并结合超图拉普拉斯正则化以保留数据局部几何关系。该一体化优化模型有效避免了传统多阶段方法的误差累积,其ADMM算法具有收敛性保证,在多个真实数据集上展现了卓越的聚类精度与鲁棒性。
主要亮点
本文介绍了用于多视图子空间聚类的统一非凸加权张量学习框架。该模型利用加权张量Schatten-p范数,通过自适应奇异值惩罚来精确恢复全局低秩结构。为了增强对非高斯噪声的鲁棒性,我们整合了对数稀疏惩罚,它提供了对真实稀疏性的更紧近似,并通过一种新颖的收缩算子提供了闭式解。此外,局部几何结构通过超拉普拉斯正则化得以保留。通过将自表示和谱嵌入整合到一个整体的优化问题中,我们减少了多阶段流程中的误差累积。所得的交替最小化算法得到了理论收敛性证明的支持。实验表明,我们的方法在多个真实世界数据集上展现了卓越的准确性和鲁棒性,为多视图学习建立了新的性能基准。
引言
聚类是通过发现内在相似性来对未标记数据进行分组的基础任务之一。然而,在大数据时代,信息通常具有多模态性。传统的单视图聚类方法,由于其有限的表示能力,难以捕捉此类数据的全部复杂性。为应对这一挑战,研究人员转向了多视图数据,其中每个视图提供互补信息。大量现有工作证实,利用这些互补信号可以显著提高聚类性能。因此,人们开发了多种多视图聚类方法,包括基于矩阵分解、多核学习、协同训练、子空间学习、基于图的方法和基于密度的聚类等方法。其中,多视图子空间聚类(MSC)提供了一个特别引人注目的框架。它基于多个视图共享一个共同潜在子空间的假设,允许构建一个整合一致性和互补性信息的统一表示。
基于矩阵的低秩稀疏表示长期以来一直是多视图子空间聚类(MSC)的基础框架,启发了许多有效的松弛模型。然而,随着数据复杂性的增加,这些方法在捕捉跨视图的高阶相关性方面显露出固有的局限性。这促使范式转向基于张量的表示,这种表示能自然地保留多视图的结构完整性,同时提取深层一致性信息。例如,Lu等人提出了鲁棒张量主成分分析(TRPCA),为恢复损坏的低秩张量建立了凸优化范式。Wu等人开发了一种高效的张量学习模型,在保持基本低秩结构的同时显著提高了可扩展性。进一步扩展多子空间张量学习范式,最近的研究将鲁棒张量学习与秩函数相结合以提高聚类精度。作为补充,Xie等人系统地构建了一套全面的基于张量的自表示模型,包括通过张量多秩最小化的统一多视图表示、鲁棒核化公式以及同时保留局部几何和全局低秩稀疏的超拉普拉斯正则化多线性模型。与此同时,协同学习方法已经出现,它们有效地统一了全局一致性与局部结构保持。结合协同结构学习和模糊聚类的方法,在保持结构完整性和聚类灵活性方面表现出特别的有效性。
尽管基于张量表示的方法取得了显著成功,但大多数依赖于张量核范数(TNN)进行秩近似——这种方法从根本上受到其对所有奇异值进行统一惩罚的限制,而不考虑它们实际的重要性。这种统一的处理方式是次优的,因为较大的奇异值通常对应于应该保留的显著数据结构,而较小的奇异值通常代表应该被积极抑制的噪声或冗余成分。因此,传统方法可能会无意中削弱具有语义意义的特征,同时保留不重要的特征,从而使生成的聚类产生偏差。由此可见,一种更有效的策略应该用一个可区分的奇异值处理机制来取代这种一刀切的惩罚。为此,我们引入了一种非凸加权张量Schatten-p范数,作为张量秩的一种灵活而准确的替代。这种正则化为选择性奇异值惩罚提供了精确的工具,从而增强了对基本低秩结构的恢复。
除了捕获全局低秩结构外,保留多视图数据的内在局部几何结构对于聚类精度至关重要。例如,Lu等人提出了HLR-MSCLRT方法,它将超拉普拉斯正则化与低秩张量约束相结合以保留局部结构信息。这种超拉普拉斯正则化本质上是一种流形正则化技术,它基于数据点位于具有局部线性邻域的非线性流形上的前提。受此启发,我们将超图拉普拉斯约束整合到我们的模型中,以有效表征数据的非线性结构和样本间的局部几何关系。这一增强补充了全局低秩表示,并带来了更鲁棒和更具判别性的聚类结果。
在基于张量的多视图聚类中,自表示误差通常被建模为稀疏的,其中?2,1组范数是被广泛采用来强制执行此属性的选择。该范数通过其?2分量在视图间诱导列稀疏性,而?1范数测量每个视图内的误差大小。这种双重机制使?2,1范数能够有效处理不同类型的误差,使其成为一种流行的正则化策略。然而,这种方法的一个基本限制是其对所有视图的统一处理,未能考虑它们不同的可靠性和噪声特性。这种统一性可能导致次优的稀疏模式,尤其是当误差分布在视图间高度异质时。
为了解决这一局限性,Peng等人在非负矩阵分解(LS-NMF)中引入了一种对数正则化策略,实现了增强的稀疏性和对噪声更好的鲁棒性。尽管前景看好,但他们的方法仅限于非负矩阵分解设置,限制了其在通用基于张量的多视图聚类框架中的应用。在这项工作中,我们将对数稀疏性的概念扩展到张量领域,通过对自表示误差张量引入一种新颖的对数正则化约束。这种表述比传统的?p-范数方法更积极地惩罚小系数,从而增强了视图间的稀疏性,并能够更精确地识别和抑制每个视图中无关或噪声成分。因此,我们的方法不仅提高了表示的可解释性,而且更有效地揭示了高维多视图数据的底层聚类结构。
为此,我们提出了一个通过加权张量Schatten-p范数最小化结合对数稀疏和超图正则化的多视图子空间聚类统一框架(HLR-LS-WTSNM)。该框架通过三个协调的组件明确地解决了一致性和互补性之间的协同作用:(1)一个加权张量Schatten-p范数,用于强制跨视图的高阶、低秩共识;(2)一个对数稀疏约束,自适应地保留具有判别性的视图特定模式并抑制噪声;(3)超图正则化,用于建模复杂的高阶局部关系,以增强结构连贯性并传播互补信息。这些组件共同构成了一个集成的学习系统,确保了具有强跨视图一致性的鲁棒自表示,同时保留了视图独特的判别性细节。本文的主要贡献总结如下:
- •
通过加权张量Schatten-p范数自适应地进行一致性驱动的低秩学习:
为了明确强制执行跨视图一致性,我们将非凸加权张量Schatten-p范数(WTSPN)扩展到高阶低秩近似模型,其具有(a)基于演化奇异值动态调整权重的自适应更新策略;(b) 其与张量t-SVD(t-SVD)的集成,用于多视图一致性建模;(c) 将这种非凸正则化与KKT(Karush-Kuhn-Tucker)平稳点相连接的理论分析。通过对奇异值进行自适应惩罚,我们的表述保留了跨视图共享的、具有语义意义的成分,同时抑制了不一致的、与噪声相关的成分。这使得模型能够学习一个全局一致的低秩子空间,该子空间捕获所有视图共有的基本聚类结构,从而加强了多视图表示学习中的一致性。
- •
通过联合对数稀疏和超图正则化实现互补性感知表示:
为了有效利用视图特定的互补信息,我们将对数稀疏约束?log扩展到误差张量,这比传统的?1-范数和?2,1-范数方法产生更强的稀疏性,从而能够更精确地识别判别性的视图独特特征,同时积极地抑制视图特定噪声。同时,我们融入了超图拉普拉斯正则化,以建模每个视图内的高阶局部关系,从而保留互补数据流形的内在几何结构。这两个组件在端到端的优化框架内协同运作,共同学习稀疏的互补表示和几何上连贯的聚类分配,从而增强判别性和结构完整性。
- •
具有严格收敛性保证的高效优化算法:
为了解决由此产生的非凸多块优化问题,我们基于交替方向乘子法(ADMM)框架开发了一种高效算法。尽管该问题由于加权Schatten-p范数和对数正则化而具有固有的双重非凸性,但我们提供了严格的理论分析,证明我们的算法的迭代序列收敛到一个KKT(Karush-Kuhn-Tucker)平稳点。在六个基准数据集上的大量实验表明,与14种最先进的替代方法相比,我们的方法在包括聚类准确率、标准化互信息、精确率、召回率和F分数在内的多个评估指标上取得了统计学上显著的改进,同时保持了有竞争力的计算效率。
虽然我们的框架建立在现有技术之上,但我们的贡献在于原则性的集成、新颖的理论表征和自适应优化策略,它们共同实现了卓越的性能。我们并非声称单独发明了这些组件,而是展示了它们在新理论的指导下如何协同组合,从而推动该领域的进步。
本文组织结构如下。第2节建立了关于张量代数的数学预备知识,并将我们的工作置于当前多视图聚类的研究背景中。第3节呈现了核心贡献:一个结合了加权张量最小化、对数稀疏约束和超拉普拉斯正则化的统一模型。除了模型公式,本节还详细说明了优化过程,并提供了严格的收敛性分析。第4节分析了实验结果,以证明模型的优越性。第5节提供了总结性评论。为了完整起见,所有正式证明和理论依据都包含在附录中。