利用自适应异构图基学习和自适应进化优化结合局部细化的多标签特征选择方法
《Engineering Applications of Artificial Intelligence》:Multi-label feature selection using adaptive heterogeneous graph-based learning and self-adaptive evolutionary optimization with local refinement
【字体:
大
中
小
】
时间:2026年04月03日
来源:Engineering Applications of Artificial Intelligence 8
编辑推荐:
针对高维数据中复杂的特征-标签交互和强标签相关性的多标签特征选择难题,提出一种融合自适应异构图神经网络、自适应性差分进化和元启发式局部优化的混合框架。实验表明,该方法在六个基准数据集上显著优于现有方法,特征数量更少且分类指标(Hamming Loss, One-Error等)提升,验证了多模态联合优化和动态自适应机制的有效性。
刘星明|张莉|潘宁
吕梁大学计算机科学与技术系,吕梁,033000,中国
摘要
在许多现实世界的应用中,由于数据维度高、特征与标签之间的相互作用复杂以及标签之间的强相关性,多标签特征选择是一个具有挑战性的问题。为了解决这些问题,本文提出了一种独特的混合框架,用于高效的多标签特征选择,该框架结合了自适应进化优化、局部细化和自适应异构图基学习。为了动态学习特征相关性并通过注意力驱动的关系学习明确捕捉标签依赖性,所提出的方法构建了一个自适应异构图,该图同时模拟了实例、特征和标签。无需人工调整参数,自适应进化优化方法在全局探索和收敛稳定性之间取得平衡,这一过程由学习到的基于图的表示来指导。整个架构能够抵抗冗余和噪声相关性,同时选择既紧凑又具有高区分度的特征子集。使用六个基准多标签数据集(包括生物信息学、文本分析、图片注释和音乐情感识别)来评估所提出的方法。实验结果表明,与以往的最先进方法相比,在汉明损失、一次错误率、排名损失、平均精度和宏观F1分数等评估指标上均取得了持续的改进。自适应图建模、自适应进化优化和局部细化的综合贡献得到了消融研究的进一步支持。本文展示了如何通过将进化优化与基于图的学习相结合,有效降低高维领域多标签学习问题的维度,提供了具体的人工智能实现及其在现实世界多标签学习场景中的应用。
引言
近年来,高维数据的指数级增长在许多领域引发了严重问题,包括社交网络研究、生物信息学、图像处理和文本挖掘。由于维数灾难,这些数据集通常包含数十甚至数百万个特征,这增加了处理需求,并可能导致模型性能下降(Varghese等人,2020年)。通过找到最相关的特征并去除重复或不必要的特征,特征选择成为缓解这些问题并提高未来学习模型准确性和效率的关键预处理步骤(Hancer等人,2025年)。
特征选择的重要性不可低估,因为它增强了模型的可解释性和泛化能力,同时降低了处理和存储需求。在多标签分类问题中,特征选择尤为重要,因为每个实例都与众多标签相关联。现实世界中的应用,如图像处理中的场景分类、社交媒体中的标签推荐以及生物信息学中的基因表达分析,常常面临类似的问题(Zhu等人,2018年)。通过使用能更好地表示潜在模式的信息特征,模型可以提高预测性能并降低过拟合的风险(Spola?r等人,2015年)。
传统特征选择技术通常分为三类:过滤器方法、包装器方法和嵌入方法。过滤器方法使用互信息或卡方检验等统计度量来优先考虑特征的重要性,并且独立于学习算法评估特征(Bidgoli等人,2019年)。尽管这些方法计算效率高,但它们往往忽略了特征与标签之间的复杂关系。相比之下,包装器方法将特征选择视为一个搜索问题,并使用特定的分类器来评估子集以提高准确性,但代价是增加了计算开销(Saidabad等人,2024年)。嵌入方法利用学习算法的内置机制将特征选择纳入模型训练过程,从而在效果和效率之间取得平衡(Karagoz等人,2021年)。
尽管有这些发展,多标签特征选择仍然面临传统方法难以有效处理的特殊困难。管理标签相关性是一个主要挑战,其中标签并非独立,而是显示出影响特征重要性的关系(Huang等人,2024a)。例如,在信息有限或缺少标签的数据集中,传统技术可能无法捕捉这些相互依赖性,导致特征子集质量较差。此外,由于高维度,区分真正有价值的特征和无关特征也很具有挑战性,这加剧了噪声和冗余等问题(Fan等人,2024年)。当前方法的局限性之一是使用静态表示,这些表示不适应数据属性的变化,导致在动态或多样化情况下性能不佳(Kakarash等人,2023年)。
在基于进化的方法中,探索巨大搜索空间的低效率也是一个重要限制,因为固定参数可能会将搜索限制在局部最优解中(Hancer等人,2024a)。尽管多目标优化通常需要人工调整,并且可能无法完全利用标签特定信息,但其目标是平衡竞争目标,例如在提高分类准确性的同时减少特征数量(Demir等人,2024年)。此外,传统方法在处理实时数据流或不平衡标记的情况时不够灵活(He等人,2023年)。这些困难促使人们创造了更复杂的混合方法,将进化优化的全局搜索能力和基于图的建模用于关系学习相结合(Huo等人,2024年)。
提出一个独特框架以通过自适应过程改进多标签特征选择的必要性推动了这项研究。尽管目前混合方法很有趣,但它们通常依赖于静态图拓扑结构,这些结构无法适应标签相关性的变化或动态整合实例级信息,从而导致在复杂的多标签场景中训练误差累积和鲁棒性及泛化能力下降(Zhang等人,2024年)。此外,它们通常使用具有预设参数的优化技术,这可能使它们在各种数据集上的通用性和可复现性降低(Han等人,2023年)。为了填补这些空白并在高维多标签环境中提高分类结果,我们的研究尝试通过结合自适应异构图和自适应进化技术来提供一种更具适应性和有效性的方法(Cui,2024年)。
所提出的方法具有创新性,因为它将自适应异构图神经网络(GNNs)与遗传局部细化和自适应差分进化算法(jDE)(Brest等人,2006年)相结合。与传统的静态网络不同,自适应异构图使用注意力机制动态创建特征、标签和实例之间的关系,从而实现实时适应标签依赖性。jDE组件确保了无需人工干预的稳健探索,自动调整缩放因子F和交叉率CR参数。该系统还通过遗传局部细化得到进一步改进,后者通过对精英解应用基于梯度的优化来细化特征子集并加速收敛。本研究的主要贡献包括:
•创建了一个自适应的、考虑标签的异构图构建,通过注意力机制动态整合实例节点与特征-特征、特征-标签和实例-标签连接,从而比静态图技术更好地建模多标签依赖性。
•引入了改进了遗传局部细化的jDE,该技术通过自动化参数调整和微调解决方案来避免局部最优解,从而提高了效率和可重复性,优于传统的进化算法。
•在包括消融研究在内的基准数据集上的全面实证验证表明,这些组件的协同作用在平均精度、一次错误率和汉明损失等指标上带来了显著的性能提升,突显了其在图像处理和生物信息学等领域的有用性。
本文的结构如下:第2节回顾了相关工作,强调了所提出方法所填补的空白。第3节详细解释了所提出的框架,包括图生成、优化过程和细化技术。第4节介绍了实验设计、发现、基线比较和消融分析。第5节讨论了研究的局限性、后果和潜在的未来研究方向。
相关工作
高维数据带来的困难、特征与标签之间的复杂相互作用以及标签之间的强相关性,近年来引发了大量关于多标签特征选择的研究。已经提出了许多方法,包括基于图的关系学习、进化优化和标签融合技术。
在一项全面的研究中,从标签融合的角度探讨了多标签特征选择(Qian等人,2023年)。包括……
提出的方法
所提出的系统称为自适应异构图神经网络引导的自适应差分进化与遗传细化(AHGNN-jDE-MR),它结合了用于多标签特征选择的遗传进化优化技术和自适应基于图的关系学习。为了找到紧凑且高质量的特征子集,我们的混合技术在动态建模实例、特征和标签之间的复杂连接的同时,进行了稳健的全局和局部搜索
实验结果与分析
每个实验都在配备Intel Core i7 CPU和32 GB RAM的PC上使用Python 3.9以及scikit-multilearn、PyTorch和DEAP等库进行。使用PyTorch Geometric从零开始实现了所提出的AHGNN-jDE-MR算法。我们使用第3.7节中概述的六个基准数据集(Yeast、Emotions、Genbase、Scene、Bibtex和Delicious)进行了评估。我们对训练折叠进行了特征选择,并在测试折叠上进行了评估
结论
本文提出了AHGNN-jDE-MR,这是一种独特的多标签特征选择混合框架,它结合了遗传局部细化和自适应差分进化与可适应的异构GNN。该方法通过动态建模实例-特征-标签交互,并结合准确的基于梯度的局部调整和稳健的全局进化搜索,成功处理了高维度、标签相关性和特征冗余问题。
AHGNN-jDE-MR
CRediT作者贡献声明
刘星明:撰写——原始草稿,软件,方法论,资金获取,正式分析。张莉:撰写——原始草稿,软件,资源,项目管理,正式分析,数据管理。潘宁:撰写——原始草稿,可视化,验证,软件,资源,方法论,调查,正式分析,数据管理。
利益冲突声明
请根据情况检查以下内容:
o所有作者都参与了(a)概念和设计,或数据的分析和解释;(b)文章的起草或对其重要内容的批判性修订;以及(c)最终版本的批准。
o本手稿尚未提交给其他期刊或其他出版机构,也不在审稿中。
o作者与任何在主题上有直接或间接财务利益的组织无关
致谢
吕梁市科技计划项目(高技术领域的关键研发)(项目编号:2024GX05)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号