《Neurocomputing》:Robust deep fuzzy k-means clustering with adaptive sample weights
编辑推荐:
基于深度自编码器的鲁棒模糊k-means聚类模型通过同步优化编码器与聚类中心,结合自适应样本可靠性权重和平衡损失函数,有效提升高维数据聚类性能。
庞家硕|王立奎
河北工业大学人工智能学院,天津,300401,中国
摘要
基于深度神经网络的聚类技术凭借其更高效的特征提取能力,通常比传统方法表现得更好。尽管存在许多深度聚类算法,但目前主流方法的优化过程涉及对整个深度自动编码器的统一训练,且系统的鲁棒性没有得到足够的重视。为了解决这些问题,本文提出了一种端到端的鲁棒深度模糊K-means(RDFKM)聚类模型。该模型可以同步更新自动编码器和聚类中心,并通过添加自适应变化的样本可靠性权重来提高系统的鲁棒性。此外,采用更平衡的损失函数和多阶段分层优化过程进行参数训练,使自动编码器能够压缩更适合聚类的低维特征表示。在多个数据集上的实验验证了RDFKM模型在聚类性能上比主流聚类算法具有显著优势。
引言
无监督聚类分析根据样本特征的相似性对样本进行划分:特征相似的样本被归入同一个簇,而特征差异较大的样本则被分配到不同的簇中。作为机器学习领域的一项重要技术,这种方法已广泛应用于计算机视觉、数据分析和经济学等多个领域[1]、[2]。其中,k-means(KM)[3]聚类算法由于其高计算效率和实现简单性而成为最常用的基础算法,其改进版本也被应用于各种任务[4]、[5]、[6]。模糊控制[7]、[8]与KM的结合为聚类分析开辟了新的思路。模糊K-means(FKM)[9]算法打破了传统硬聚类的限制,即样本只能属于一个簇,它引入了软隶属度来映射样本属于每个簇的程度,从而使聚类更加灵活。
为了更有效地利用经典的FKM算法,研究人员提出了一系列增强型的数值变体以扩展软聚类的应用。例如,Mendel等人[10]和Rhee等人[11]将类型2模糊集引入FKM框架,通过不确定性建模能力增强了聚类算法对模糊边界的适应性。此外,Zhang等人[12]提出了将核函数引入FKM的想法,用核距离替换了传统的欧几里得距离,创建了核模糊K-means(KFKM)算法。这一突破克服了FKM只能处理线性数据的限制。随后,在[13]中提出了空间约束核模糊聚类框架,以解决传统KFKM图像分割中忽略像素空间相关性的问题。
随着数据维度和复杂性的增加,传统聚类算法的性能和效率显著下降。相比之下,深度神经网络(DNN)的多层次数据处理结构和非线性映射能力使它们能够将高维数据嵌入到低维潜在特征空间中。它们可以学习复杂的特征表示,有效简化高维数据的聚类任务[14]、[15]。近年来,深度聚类领域出现了许多创新方法。深度学习与各种基本聚类算法的结合不断涌现,涵盖了嵌入聚类、协同优化、对比学习增强聚类[16]等方面。例如,Xie等人[17]首次将自动编码器(AE)[18]与聚类算法结合,创建了深度嵌入聚类(DEC),通过神经网络自动学习优化后的低维嵌入特征,实现高维复杂数据的无监督精确聚类。[19]将谱聚类[20]与自动编码器结合,通过构建统一的相似性矩阵提高了高维数据的聚类准确性。Affeldt等人[21]创新地将深度学习融入共识聚类[22],通过从单视图数据中学习多组低维特征并整合多组基本聚类结果来增强稳定性。[23]、[24]将因果学习和对比学习引入多视图聚类[25],显著提高了多视图聚类的准确性。此外,系统优化过程的研究也是深度聚类领域的一个重要分支。例如,Yang等人[26]和Fard等人[27]打破了先学习特征再聚类的传统两阶段限制,实现了深度学习和k-means聚类的协同优化。[28]通过引入聚类损失函数,提出了深度模糊课程聚类模型,无需手动预设簇数即可自动合并簇。
作为最常见的数据处理方法之一,加权在深度模糊聚类领域也起着重要作用。Wang等人[29]采用簇级学习方法自适应地对特征进行加权,提取多层次语义特征以增强特征之间和簇之间的区分能力。[30]同样旨在通过引入自适应熵正则化加权来提高簇间区分度。Li等人[31]和Ju等人[32]进行样本级加权:前者考虑了样本的稳定性,后者引入了对比损失,使高置信度样本在学习过程中占主导地位。[33]实现了特征级加权,为每个特征维度学习独立的权重以减少噪声特征的干扰。Chen等人[34]通过自适应视图加权,在统一特征空间内实现了不同视图之间的更好聚类。权重的灵活应用发挥了聚类算法的更多潜力。
然而,最近关于深度聚类算法的研究并未关注模型的鲁棒性,也未考虑样本之间的差异,尤其是在输入数据高度不确定时,特征提取容易出错[35]。此外,优化目标并未直接约束样本潜在空间的欧几里得距离度量,大多数模型的优化过程缺乏精细设计,模型难以学习到最优解。这些问题在实际复杂数据场景中尤为突出,严重限制了深度聚类算法的应用可靠性。为了解决这些问题,我们提出了一种新的鲁棒深度聚类模型RDFKM,该模型创新性地使用自适应变化的样本可靠性权重来应对输入数据的不确定性。同时,我们结合了重建损失函数和聚类损失函数以及更好的优化过程来训练模型,从而使学习到的特征更适合聚类。本文的主要贡献总结如下:
1.结合深度自动编码器和FKM实现自上而下的特征学习,并以端到端的方式更新AE参数和聚类中心。
2.每个样本的可靠性权重基于其重建误差计算。重建误差较大的样本可靠性较低。这种方法减少了噪声数据对模型优化的影响。此外,权重与AE同步自适应更新,通过交互放大样本差异,有效对抗不确定性,这是系统鲁棒性的关键。
3.通过协同控制调整重建损失和聚类损失之间的权重,以适应不同的输入特征分布,并采用多阶段分层优化方法根据每层神经元的功能差异来训练参数,从而使模型在特征提取和聚类友好性能之间达到平衡。
本文后续章节的内容安排如下:第2节主要介绍FKM算法、自动编码器及相关工作。第3节描述RDFKM的损失函数和优化过程。第4节通过实验比较展示了模型的优势。最后,第5节对本文进行总结。
节选内容
模糊K-means聚类
模糊K-means(FKM)[9]是一种基于模糊集理论的聚类算法。与k-means聚类不同,它允许每个数据点属于多个簇,并具有不同的隶属度,而不像传统硬聚类那样仅限于一个簇。FKM以数据点到簇中心的距离之和作为优化目标,计算公式如下: