《Knowledge-Based Systems》:Multi-view Semi-supervised Classification via Innovative Graph Construction and Smoothness-aware Graph Convolution
编辑推荐:
多视图半监督分类(Mv-SSC)旨在利用多个视图的互补信息和未标记数据来提升分类性能。然而,现有方法在构建鲁棒图结构和有效融合异构特征方面往往面临挑战。因此,研究人员提出了一种新颖的框架——基于图构建创新和平滑感知图卷积的多视图半监督分类(GCSGC),该框架
多视图半监督分类(Mv-SSC)旨在利用多个视图的互补信息和未标记数据来提升分类性能。然而,现有方法在构建鲁棒图结构和有效融合异构特征方面往往面临挑战。因此,研究人员提出了一种新颖的框架——基于图构建创新和平滑感知图卷积的多视图半监督分类(GCSGC),该框架引入了三项关键创新。首先,研究人员采用了稀疏自编码器(SAE)结合基于单层全连接网络的可学习特征融合模块。SAE通过强制稀疏性去除冗余,从每个视图中提取紧凑且具有判别性的表示,而全连接层则自适应地将多视图潜在特征与可学习的共享特征对齐,以保留互补的语义信息。其次,GCSGC引入了两种基于视图的图:(1) 基于余弦K近邻的协作图(CKG),它集成了K近邻(KNN)关系与所学视图特定潜在特征的余弦相似度;(2) 一种鲁棒的半监督图,用于增强视图间的一致性和结构稳定性。第三,研究人员设计了一种混合损失函数,结合了交叉熵和平滑正则化,以指导图卷积网络(GCN)的优化。在多个基准数据集上的广泛实验表明,GCSGC始终优于最先进的Mv-SSC方法,验证了其创新图构建策略、稀疏特征融合机制和双重损失优化的有效性。这项工作为多视图半监督学习中整合结构建模、特征变换和损失设计提供了新视角。
论文解读
研究背景与意义
在多视图学习领域,整合来自不同来源或模态的多样化信息已成为机器学习中的一种强大范式。通过利用视图间的互补性和一致性,多视图方法在聚类和分类等任务中展现出优于单视图方法的性能。然而,现实世界中的多视图数据常常面临视图不一致和标记数据稀缺的挑战。图神经网络(GNN)因其在建模复杂样本关系和非欧几里得数据结构方面的天然能力,成为处理多视图数据的一个极具前景的范式。尽管如此,现有的基于GNN的多视图方法往往独立处理每个视图的图结构,未能充分探索视图间的内在联系,并且经常受到过平滑等问题的影响,这削弱了节点表示的判别力。为了同时高效解决视图融合和半监督分类问题,研究人员开展了本研究,旨在提出一个统一的端到端图神经网络框架。该研究成功发表在《Knowledge-Based Systems》期刊上,其提出的框架对于推动多视图半监督学习的发展具有重要意义。
关键技术与方法
研究人员为开展本研究,主要采用了以下几个关键技术方法:
- 1.
轻量级特征融合模块:采用视图特定的两层稀疏自编码器(SAE)提取潜在表示,并结合一层全连接网络将多视图潜在特征与可学习的共享特征矩阵H进行对齐,以实现跨视图特征融合。
- 2.
基于余弦K近邻的协作图(CKG)构建:在L2归一化的潜在特征上计算余弦相似度矩阵,并结合自适应KNN剪枝(包括对称KNN邻居选择和共同邻居剪枝)来构建稀疏且准确加权的图结构。
- 3.
半监督(SEMI)图构建:扩展现有的图构建框架,通过优化目标函数联合估计图矩阵和未标记样本的标签,约束图和标签在特征和标签空间中保持一致。
- 4.
图融合与边缘筛选:将CKG和SEMI生成的图进行加权融合,并引入可学习的边缘筛选函数(DSA)来抑制噪声边,生成更鲁棒的融合图。
- 5.
混合损失函数:结合交叉熵损失和平滑损失来训练两层GCN,其中平滑损失作为无监督约束,强制相邻节点具有相似的预测标签。
研究结果
1. 引言
研究人员指出,多视图数据表现出复杂的关系结构,传统方法无法充分建模互补信息。图表示学习,特别是图神经网络(GNN),通过显式捕获视图内和视图间的关联,为解决视图不一致和标记数据稀缺问题提供了有力工具。本文提出的GCSGC框架通过协同图构建和细化特征融合来解决这些挑战。
2. 相关工作
研究人员回顾了多视图数据的图构建、图神经网络中的多视图表示学习以及基于图的半监督学习的损失函数。相关工作表明,静态图构建对噪声敏感,而动态图结构学习(GSL)和对比学习虽然强大但计算密集。本文的CKG方法结合了静态启发式和动态学习的优点,而SAE引导的特征融合则在深度图传播之前优先考虑学习鲁棒的联合表示。
3. 提出的方法
研究人员详细阐述了GCSGC框架的三个核心组件:
- •
轻量级特征融合模块:通过SAE提取视图特定潜在特征E(v),并通过最小化与共享特征矩阵H变换后的G之间的距离来实现特征对齐。SAE的损失函数结合了重构误差和稀疏约束。
- •
CKG构建:通过对潜在特征进行L2归一化和余弦相似度计算,结合对称KNN和共同邻居剪枝,生成稀疏且鲁棒的协作图。
- •
SEMI图构建:通过迭代交替最小化方案优化目标函数,联合估计视图特定的相似图S(v)和软标签投影矩阵F。
- •
融合图构建:将CKG和SEMI图加权融合,并通过可学习的边缘筛选函数(DSA)优化加权邻接矩阵,抑制噪声边。
- •
GCN损失:采用混合损失函数,包括交叉熵损失(监督约束)和平滑损失(无监督约束),以指导GCN的优化。
4. 实验设置
研究人员在六个公开的多视图数据集(ALOI、MSRC-v1、NoisyMNIST、BBCsports、BBCnews、Wikipedia)上评估了GCSGC的性能。这些数据集涵盖了对象图像、手写数字图像和文本文档等多种类型。对比方法包括SSGCN fusion、Co-GCN、DSRL、IMvGCN、LGCN-FF、ECMGD、DG-MVL和CGCN-FMF等八种最先进的多视图学习框架。所有模型均基于相同的十次随机划分进行训练和测试,以确保公平性。
5. 实验结果
- •
性能比较:GCSGC在六个数据集中的五个上取得了最高的分类准确率,在一个数据集上排名第二。特别是在BBCnews和MSRC-v1数据集上,该方法显著领先于其他对比算法,证明了其在多视图和少样本场景下的有效性。
- •
参数敏感性:参数k(邻居数)在一定范围内对准确率影响不大,但随着k值的增加,准确率呈现先增后减的趋势。平滑损失权重β在特定值以下时,准确率较高且相对稳定。
- •
消融研究:单独使用CKG或SEMI图均能高效完成半监督分类任务,但两者的结合进一步提升了框架性能。加入平滑损失显著增强了模型的泛化能力,证明了各组件的必要性。
- •
收敛性分析:交叉熵损失在所有数据集上均呈显著下降趋势,验证了模型训练的有效性。平滑损失稳定维持在较低水平,发挥了积极的正则化辅助作用。
- •
计算复杂度分析:研究人员详细分析了特征融合、图构建和GCN训练的时间复杂度,表明该方法在处理大规模数据时的计算开销是合理的。
讨论与结论
研究人员在讨论部分总结了GCSGC框架的三个核心创新及其优势:CKG结合了KNN的结构邻近性和余弦相似度的语义相关性;SAE和全连接网络有效去除了冗余并保留了语义互补性;混合损失函数最大化了未标记数据的利用率。尽管GCSGC取得了优异的性能,但目前多种图构建方法的融合增加了算法复杂度。未来,研究人员将致力于算法效率优化,探索轻量级模型设计,以实现对海量多视图数据的高效处理。总体而言,本研究为推进多视图半监督分类,特别是在结构建模、特征学习和损失函数设计的整合方面,提供了宝贵的参考。