使用三级融合的三视图不确定性度量方法进行系统化特征选择,以适用于多粒度模糊γ覆盖

《Expert Systems with Applications》:Systematic feature selection using three-level-fused of three-view uncertainty measures for multi-granularity fuzzy γ coverings

【字体: 大 中 小 】 时间:2026年01月04日 来源:Expert Systems with Applications 7.5

编辑推荐:

  特征选择与多粒度三视角不确定性测度融合框架研究。提出基于模糊γ-覆盖(FGC)的系统框架,构建多粒度(2D-MG/kD-MG)三视角(代数-信息-代数-信息视角)基本测度,集成6种基础测度;设计层级融合强化(HF-REI)技术,通过两因素和三因素融合策略生成18种系统融合测度;基于优化多粒度测度开发12种启发式特征选择算法,实验验证在KNN和SVM分类器下平均精度提升1.02%-1.20%,显著优于现有基准方法。

  
谢新|刘芳|张先勇|秦冠宇
广西大学数学学院与应用数学中心,中国广西南宁530004

摘要

特征选择是数据处理的关键步骤,其有效性在很大程度上取决于鲁棒的不确定性度量。目前基于模糊γ-覆盖(FGC)的方法通常存在局限性,如单一粒度分析、孤立测量视角和浅层融合策略。为了解决这些局限性,本文提出了一个系统的不确定性度量和特征选择框架。首先,构建了一个多粒度三视图基本测量系统,该系统整合了代数视图邻域依赖度(DD)、信息视图区分指数(DI)和代数-信息视图邻域自信息(NSI),从而产生了总共2×3=6个基本度量。其次,提出了层次融合强化(HF-REI)技术,以增强不同视角的互补性和信息融合的层次性。它在宇宙/顶层、类别/中间层和对象/底层结构之间采用了两因素和三因素融合策略,生成了2×3×(2+1)=18个系统融合度量。最后,基于3+3×(2+1)=12个乐观的多粒度度量,开发了12种启发式特征选择算法。在16个公共数据集和10个工业数据集上的实验表明,所提出的算法在KNN和SVM分类器下均优于四种最先进的基准算法(FBCMG-O、FBCMG-P、MVPDI-O、MVPDI-P)。表现最佳的算法在KNN上平均准确率提高了1.20%,在SVM上提高了1.02%。统计显著性测试证实了所提出方法的优越性。

引言

随着数据量的迅速增长和数据模式的复杂性增加,例如非平稳的EEG信号(Yu, Lei, Song, Liu, Wang, 2020; Yu, Li, Liu, Liu, Guo, Wang, Li, 2024; Yu, Zeng, Liu, Wang, Liu, 2025)、图像处理(Song, Ye, Sun, Hou, Li, Hao, 2025; Wang, Song, Li, Wang, 2025c)、交通场景检测(Shen et al., 2024)和噪声工业缺陷数据(Jia, Zheng, Wang, Chen, Karjalainen, Dong, Lu, Wang, Hyypp?, 2024; Xu, Han, Zhou, Liu, Ding, Zhu, 2024),降维已从简单的预处理步骤发展成为连接数据特征和任务要求的核心技术。降维主要包括两个核心技术路径:主成分分析(PCA)和特征选择,它们共同构成了高维数据处理的技术基石。PCA通过正交变换将高维数据映射到低维空间,旨在用最少的维度保留数据的最大方差信息。由于受到线性假设的限制,传统的PCA难以适应非线性数据分布(Bie, You, Li, Zhang, & Lu, 2024)。高斯核PCA通过在执行PCA降维之前通过核函数隐式地将数据映射到高维特征空间来克服这一限制(Wu, Ferrari, Liu, & Wingerden, 2021),而稀疏PCA引入了L1正则化等稀疏约束,显著提高了降维结果的可解释性(Bian, Zhao, Nie, Wang, & Li, 2024)。此外,鲁棒PCA在涉及噪声样本的情景中表现出更强的稳定性(Gao, Wu, Liu, Zheng, & Wang, 2022)。由于PCA基于数据的固有统计规律过滤冗余信息,它通常被归类为无监督过滤方法。与基于PCA的方法相比,基于粗糙集理论的特征选择技术得到了包括样本关系粒度、不确定性度量和属性重要性在内的系统概念的支持(Yang, Chen, Wang, Li, Yu, Wang, Luo, 2023; Zhang, Wang, Bhatti, Zhou, Jin, M, 2025a)。这些方法分析特征与决策属性(类别标签)之间的依赖关系,以保留保持数据分类能力的核心特征子集,通常被归类为监督包装方法。包装特征选择算法以分类准确性为导向,具有决策相关性和信息可解释性等优势,从而优于嵌入式和过滤方法。
特征选择通过消除不相关和噪声特征来实现数据降维和信息净化。它的价值不仅体现在传统任务中,如数据分类(Li, Yang, Bao, Xia, Zhang, Wang, 2025b; Wang, Zhao, Huang, 2025d)、异常值检测(Su, Liu, Cui, 2025; Wang, Ke, 2023)和信息融合(Liu, Li, Zuo, Chen, Chen, Wang, Wang, Lv, 2024; Xu, Li, 2025),而且在推动当代机器学习中也变得越来越不可或缺(Xue, Zheng, Li, Wang, Mu, Yang, Feng, Fan, Li, 2024; Yao, Zhao, Cao, Li, 2025; Zhou, Zhang, Wang, Zhu, Wang, Gao, Cai, Zhou, Li, 2025)。例如,Yin等人(2024)首先分析了当前超分辨率算法中某些特征提取模块的特性,然后提出了一个自适应特征融合模块用于特征提取。最近,针对模糊γ-覆盖决策系统(FGCDSs)的现有特征选择方法取得了显著成就(Huang & Li, 2024)。然而,现有特征选择算法在各种复杂场景中存在某些局限性,包括使用单一粒度邻域、测量构建中的单一视角以及度量融合不足。为了解决上述问题,本文提出了一个基于三级融合三视图不确定性度量的系统特征选择框架,用于多粒度模糊γ-覆盖(FGCs),以实现鲁棒的特征学习。新颖的贡献如下:
  • (1)
    提出了一个多粒度三视图不确定性测量系统,将单一粒度的FGCs推广到2-划分(2D-MG)和k-划分(kD-MG)多粒度结构(乐观/悲观),并整合了代数视图依赖度(DD)、信息视图区分指数(DI)和代数-信息视图邻域自信息(NSI),形成了6个基本度量,以解决孤立测量视角的局限性。
  • (2)
    创新性地开发了层次融合强化(HF-REI)技术,在宇宙/顶层、类别/中间层和对象/底层之间实现了两因素和三因素融合。该技术生成了18个系统融合度量,克服了浅层全局融合的缺点,并保留了细粒度的区分信息。
  • (3)
    基于乐观多粒度度量构建了12种启发式特征选择算法,并在16个公共数据集和10个工业数据集上进行了验证。最佳算法在KNN上的准确率提高了1.20%,在SVM上提高了1.02%,与最先进的基准算法相比,展示了卓越的鲁棒性和实用性。
关于本文的其余部分组织结构,第2节提供了相关工作概述。第3节回顾了FGCs和基本度量,并进一步介绍了FGCs的多粒度结构。第4节为多粒度FGCs构建了三视图基本不确定性度量(代数视图DD、信息视图DI、代数-信息视图NSI)。第5节使用两因素和三因素策略开发了三级融合度量。第6节基于这些度量设计了12种系统启发式特征选择算法。第7节通过16个数据集的实验验证了所提出的方法。第8节提供了结论。

相关工作

粗糙集理论

粗糙集理论是处理不精确和不一致数据的经典工具,为特征选择提供了严格的分析框架(Chen, Zhang, Yuan, 2024; Qiu, Liu, Lin, Chen, Miao, 2025; Sang, Yang, Chen, Li, Xu, 2025a)。在实际场景中,数据和概念经常表现出模糊性(Zhang, Liu, Ning, Tian, & Wang, 2025b)。因此,Dubois & Prade(1990)将粗糙集理论扩展到了模糊粗糙集。模糊粗糙集将模糊集理论与粗糙集结合

初步介绍

在现实世界的决策和分析场景中,以模糊性和覆盖性的二元性为特征的信息很普遍。通过引入γ参数,模糊γ覆盖(FGCs)不仅能够表征模糊信息,还能够动态调整覆盖精度。在本节中,回顾了FGCs及相关不确定性度量(Huang & Li, 2024)。

三视图基本度量

不确定性度量可以定量评估特征的有效信息和冗余性,从而为特征的质量排名提供客观标准。邻域依赖度(DD)(Huang, Li, Qian, 2022; Yin, Chen, Yuan, Wan, Liu, Horng, Li, 2023)、DI(Huang, Li, 2024; Jia, Qiao, Chen, 2025)和邻域自信息(NSI)(Jiang, Zhang, 2024; Wang, Huang, Shao, Hu, Chen, 2020)是邻域信息系统中的三个基本度量。

使用两因素和三因素的三级融合度量

在前面的章节中,建立了三视图基本度量,并将其作为特征选择的基础。为了充分利用它们的潜力,我们认识到它们独立的视角创造了异构和互补的信息,这促使我们开发了一个更全面的测量框架。度量融合通过整合来自不同视角和层次的不确定性度量,实现了对数据不确定性的更全面表征

基于12个系统度量的特征选择

迄今为止,已经为FGCs构建了24个系统度量。这些度量统一表示为?FuMea?, γ(P|D),其中三个组成部分?∈{O, P}, Mea∈{D, H, I, DH, IH, DIH}, 和 Fu∈{Null, T, M, B}共同构成了我们度量构建的系统框架。现有的特征选择算法(Huang et al., 2022)采用单一粒度和度量,因此是非系统的。相比之下,我们提出的特征选择算法是基于结构化的

实验评估和结果分析

本节将验证所提出的系统不确定性度量和12种新特征选择算法的有效性和优越性。我们在16个UCI [a>http://archive.ics.uci.edu/ml ]和OpenML [a>https://www.openml.org/ ]数据集上进行了全面的实验评估,数据集的详细信息见表5。对于特征选择,我们将从性能优势、结构有效性、统计

结论

本研究提出了一个系统框架,用于不确定性度量和特征选择,以解决FGCs中单一粒度、单一视角和浅层融合的局限性。我们构建了多粒度三视图基本度量和三级融合度量,使用了两因素和三因素融合。该框架系统地建立了总共2(3+(2+1)×3)=24个不确定性度量。一个关键创新是HF-REI技术,它深入整合了这些

作者声明

我们希望确认与本出版物无关的已知利益冲突,且没有重要的财务支持影响其结果。

CRediT作者贡献声明

谢新:概念化、调查、验证、可视化、软件、写作——原始草稿。刘芳:概念化、方法论、验证、调查、监督、写作——审阅与编辑。张先勇:概念化、方法论、形式分析、调查、监督。秦冠宇:数据管理。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号