先解耦后对齐:无监督特征选择的结构共识

《Information Fusion》:Decouple-then-Align: Structural Consensus for Unsupervised Feature Selection

【字体: 大 中 小 】 时间:2026年10月21日 来源:Information Fusion 17.4

编辑推荐:

   DTA-UFS 将图结构保持与稀疏回归目标解耦;一种半正交矩阵对齐谱表示与伪标签表示;一个条件界将共识误差与对齐及图正则化联系起来。引言:随着科学技术发展步伐加快,机器学习[1]、计算机视觉[2]和模式识别[3]等领域的数据维度不断增加。然而,高维数据会遭受维度灾难的困扰,导

  

DTA-UFS 将图结构保持与稀疏回归目标解耦;一种半正交矩阵对齐谱表示与伪标签表示;一个条件界将共识误差与对齐及图正则化联系起来。引言:随着科学技术发展步伐加快,机器学习[1]、计算机视觉[2]和模式识别[3]等领域的数据维度不断增加。然而,高维数据会遭受维度灾难的困扰,导致性能下降、计算复杂度高以及存储成本巨大[4]。因此,降维已成为缓解这些问题、提高数据处理效率的关键。降维可大致分为特征提取和特征选择。特征提取将高维数据投影到低维子空间中,同时保留其内在结构[5]。尽管有效,但特征提取会改变原始特征的数值,可能妨碍可解释性[6]。相比之下,特征选择使用特定的评估标准从原始集合中识别最相关的特征,保留了原始特征的含义,具有更好的可解释性[7]、[8]。基于标签可用情况,特征选择方法可分为监督[9]、半监督[10]和无监督[11]、[12]方法。在该领域中,因果特征选择通过马尔可夫边界发现来识别针对指定目标的信息变量。近期研究提高了发现准确率,将该公式扩展到多个目标,并放宽了限制性假设以用于实际数据分析[13]、[14]、[15]。这些进展促进了有目标信息时的特征选择。另一方面,标签信息多标签特征选择使用模糊流形相似性,通过类内相关性和类间可分性来评估流式特征[16],并使用模糊依赖和特征交互来构建加权特征图以进行特征评估[17]。鉴于现实世界数据通常缺乏标签,无监督特征选择(UFS)越来越受到关注。本研究聚焦于基于嵌入的UFS,其中潜在表示学习和稀疏正则化被联合优化。仅线性投影可能无法保留非线性邻域结构,这促使将基于图的流形信息纳入特征选择目标。在基于嵌入的UFS方法中,谱嵌入方法因其保留流形几何的能力而备受关注[18]。这些方法通常构建拉普拉斯图来捕捉局部数据结构,随后学习线性投影映射以连接环境特征空间和低维连续流形目标。核心思想是高维数据通常驻留在嵌入于环境空间中的低维流形上,保留这种几何结构可以指导信息特征的选取[19]。从谱聚类理论的角度看,现有谱嵌入UFS方法可被理解为该理论的不同实现。在联合谱回归流程中,可以根据嵌入的使用方式区分两种范式。第一种是嵌入作为标签范式,直接将谱嵌入作为伪标签用于回归。第二种是投影作为嵌入范式,将数据投影到近似或分解谱嵌入的低维空间。已提出众多遵循这些范式的方法。例如,JELSR通过局部线性近似同时学习保留局部数据结构的低维嵌入,并通过稀疏回归执行特征选择[6]。NDFS引入了无监督特征选择和谱聚类的联合框架,其中类指示器的非负性约束增强了聚类标签准确性[20]。RUSLP同时执行正交基聚类和局部结构保持。这些方法证明了利用谱嵌入进行无监督特征选择的有效性[21]。尽管存在差异,这些公式将多个功能分配给一个学习表示。在嵌入作为标签模型中,谱变量必须在图上保持平滑,同时还要拟合线性投影,在某些情况下还需满足指示器约束。在第二类中,投影数据必须编码图的几何结构,同时提供行稀疏的特征选择映射。这些要求在简单结构上可能兼容,但在非线性或异质流形上,它们的首选解可能不同。由此产生的角色耦合促使我们将图表示与回归目标分离,而不是要求一个变量同时满足两组条件。DTA-UFS通过将两种表示的建模角色分离来解决这一问题。谱表示对图流形几何进行建模,连续值的松弛聚类指示矩阵作为稀疏回归的目标。半正交对齐矩阵显式记录这两种表示潜在坐标之间的对应关系。这种面向任务的解耦再对齐结构使流形信息能够通过学习到的伪标签指导稀疏投影,同时保留谱表示和回归目标各自的约束。每种表示因此保留独立的语义解释:流形几何或聚类结构。由此产生的联合优化将流形保持与信息原始特征的选取联系起来。为表征该框架所达到的结构共识,我们分析了学习到的伪标签表示与理想聚类指示空间之间的差异。我们通过连接表示对齐、谱近似和图扰动推导出一个上界。该分析纳入了优化算法产生的非正交谱表示,并建立了对齐残差和流形正则化项如何共同进入共识界。这种联系为特征选择目标中对齐项和流形保持项的协同作用提供了理论基础。基于上述分析,本文的具体贡献如下:(1)我们构建了一个具有面向任务解耦再对齐架构的无监督特征选择模型:谱表示保留图流形结构,松弛的聚类指示器提供回归目标,显式的半正交对齐参数化记录其潜在基之间的对应关系。(2)我们分析了由此产生的非正交谱表示,并在显式分离条件下推导出一个条件共识界,将伪标签误差与对齐残差、流形正则化项和图扰动联系起来。(3)我们在合成和现实世界数据集上评估了DTA-UFS,并从聚类性能、参数敏感性、收敛性和运行时间方面将其与代表性的无监督特征选择方法进行了比较。本文其余部分组织如下。第2节回顾了谱嵌入和多视角UFS方法,并澄清其与DTA-UFS的关系。第3节介绍了DTA-UFS,并给出了其优化、收敛性和复杂度分析。第4节推导了条件误差界。第5节报告了实验评估,第6节总结了本文。符号约定:本文中,矩阵用粗体大写字母表示,向量用粗体小写字母表示,标量用小写字母表示。设X=[x1,x2,…,xn]∈R^(d×n)为数据矩阵,其中d和n分别表示特征数和样本数。对于任意矩阵M∈R^(m×n),mi和mj分别表示M的第i行和第j列。mij表示M的第(i,j)个元素。对于方阵M,Tr(M)表示其迹,而M^T表示M的转置。此外,矩阵M的l2,1范数为∥M∥2,1=∑_(i=1)^m (∑_(j=1)^n m_ij^2)^(1/2),矩阵M的弗罗贝尼乌斯范数定义为∥M∥F=(∑_(i=1)^m ∑_(j=1)^n m_ij^2)^(1/2)。核范数为∥M∥*=∑_(i=1)^min(m,n) σ_i(M),其中σ_i(M)表示M的第i个奇异值。谱范数‖M‖2为其最大奇异值。I表示单位矩阵,1表示全1列向量。第2节片段:嵌入作为标签范式:一个代表性方法族,我们称之为嵌入作为标签范式,基于这样一种理论洞见:对于高维数据,真实的聚类分配矩阵通常可以嵌入由数据张成的线性空间中[19]。在此基础上,这些方法直接将谱嵌入作为回归的伪标签。它们通常通过学习投影矩阵W∈R^(d×m)来最小化投影数据X^T W与谱…之间的差异。方法:在本节中,我们详细介绍了所提出的DTA-UFS框架,包括其动机、数学公式、优化算法和收敛性分析。理论分析:DTA-UFS的结构共识通过学习到的伪标签表示与理想聚类指示空间之间的差异来表征。该分析通过谱近似和图扰动将此差异与目标中的对齐残差和流形正则化项联系起来。所得到的界适用于更新规则在下列谱分离条件下产生的非正交嵌入。实验:本节通过比较性能、参数敏感性、收敛性、消融和运行时间分析,在合成和现实世界数据集上评估了DTA-UFS。该模型的代码已上传至https://github.com/gaoyl-group/DTA-UFS。结论:本文提出了DTA-UFS,一种基于面向任务解耦再对齐设计的无监督特征选择框架。通过将流形表示学习与回归目标构建分离,并通过对齐进行协调,该框架允许互补的结构信息指导特征选择,同时保留不同的建模角色。理论分析在图扰动和…条件下表征了由此产生的结构共识。贡献声明:Yunlong Gao:写作—审阅与编辑,监督,方法论,资金获取,概念化。Junwen Jiang:写作—原稿,软件,方法论,调查,正式分析,数据整理。Xinjing Wang:写作—审阅与编辑,软件,方法论,正式分析。Jinyan Pan:监督,正式分析。Haifeng Zhang:监督,资金获取。Feiping Nie:监督,正式分析。利益冲突声明:作者声明他们没有已知的可能影响本文所报告工作的竞争性财务利益或个人关系。Yunlong Gao | Junwen Jiang | Xinjing Wang | Jinyan Pan | Haifeng Zhang | Feiping Nie
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号