GInGER:用于可解释规则提取与归纳的遗传域划分框架

《Knowledge-Based Systems》:GInGER: Genetic domain partitioning for interpretable rule extraction and induction

【字体: 大 中 小 】 时间:2026年09月28日 来源:Knowledge-Based Systems 8.0

编辑推荐:

  研究人员提取了紧凑且可解释的基于超立方体的表示,通过遗传优化实现输入空间的非重叠超立方体划分,并在无需离散化的情况下统一支持分类与回归任务,最终在降低模型复杂度的同时获得了具有竞争力的预测精度并增强了模型的可解释性。

  
研究人员提取了紧凑且可解释的基于超立方体的表示,通过遗传优化实现输入空间的非重叠超立方体划分,并在无需离散化的情况下统一支持分类与回归任务,最终在降低模型复杂度的同时获得了具有竞争力的预测精度并增强了模型的可解释性。
可解释人工智能(XAI)领域日益强调决策系统的透明性,符号规则模型因能够提供人类可读的决策描述而受到关注。基于输入域划分的方法可在局部解释与全局行为之间取得平衡,但现有方法存在划分策略僵化、对数据分布适应性差、主要面向分类任务或需离散化连续目标、以及产生层次化或重叠结构导致复杂性增加等问题。为此,研究人员提出了GInGER(Genetic INterval Generation for Explainable Rules)框架,将遗传优化直接作用于输入空间的非重叠超立方体划分,以统一支持分类与回归,用于规则提取和规则归纳。研究结果表明,GInGER能够在保持与黑箱模型竞争性精度的同时,生成更紧凑、更易解释的符号模型,在知识提取和直接规则归纳两种场景下均具有实用价值。

研究人员采用的主要关键技术方法包括:基于遗传算法(GA)的域划分优化,即通过染色体编码切割坐标,直接优化非重叠超立方体分区;适应度函数由用户定义,可同时编码预测性能与可读性约束;分类任务采用多数投票确定区域类别,回归任务允许常数输出或局部线性模型以避免离散化;后处理阶段通过敏感性阈值合并可合并的相邻区域以增强简洁性。实验使用了6个分类数据集(Iris、Breast Cancer Wisconsin、Wine、Balance Scale、Blood Transfusion、Adult)和6个回归数据集(Energy Efficiency、Airfoil Self-Noise、Concrete Compressive Strength、CCPP、House Prices、Yacht Hydrodynamics),并与CART、G-REX、GridEx/GridREx等基线方法以及多种不透明机器学习模型进行对比。

4.1 实验设置:研究人员采用75%:25%训练/测试划分,每个数据集运行10次独立随机种子实验,所有方法共享相同的数据划分。不透明预测器包括决策树集成(TE)、k近邻(k-NN)、支持向量机(SVM)、多层感知机(MLP)、朴素贝叶斯(NB)和线性回归器(LR)。知识提取设置中,以训练好的不透明模型输出替换原始目标值,再运行符号提取器。预测性能用F1分数(分类)和R2分数(回归)评估,可读性用规则数或叶子数衡量,并用FiRe指标综合评估准确性与可读性的权衡。

4.2 分类案例研究:在6个分类数据集上,GInGER作为固有可解释模型进行规则归纳时,预测性能与最先进分类器相当,并在Adult数据集上取得最佳F1分数且具有统计显著性。在知识提取设置中,GInGER在几乎所有数据集上均获得最高F1分数,且生成的知识库规模与其他树、网格和遗传提取器同样紧凑,在保真度/可解释性权衡上表现优异。

4.3 回归案例研究:在6个回归数据集上,GInGER作为规则归纳模型时,部分场景存在质量损失,但仍是竞争性选择。在知识提取设置中,GInGER通常最大化平均R2分数或最小化知识库规模,生成的符号模型兼具简洁性和有效性。FiRe评估表明,在不同权衡参数下,GInGER均能保持平均优势。

4.4 消融研究:第一项消融测试了局部线性输出的影响,在5个采用线性输出的回归数据集上,将线性输出替换为常数输出后,线性输出在每一次独立运行中都优于常数输出,差异具有统计显著性,验证了局部线性模型对避免离散化损失的关键作用。第二项消融测试了合并阶段的作用,在6个分类数据集的知识提取实验中停用合并后,知识库规模在部分数据集上可达合并版本的两倍,而预测性能不变,表明合并阶段能有效降低符号复杂度而不损失精度。

4.5 计算复杂性与可扩展性研究:基于形式化复杂度分析,GInGER的计算成本随群体规模和进化代数线性增长,随分区特征数量指数增长。经验实验显示,运行时间随特征数和训练实例数近似平方根增长,随群体规模和代数近似线性增长;对不同黑箱模型的提取时间变化幅度约在2倍以内。与基线方法相比,GInGER的训练时间通常比最慢的基线高一个数量级,但仍处于可接受范围;预测时间始终低于1秒,适合实际部署。

4.6 讨论:通过可视化案例(如Wine数据集的决策边界、Yacht Hydrodynamics数据集的回归曲面)展示了GInGER相比CART和MLP的优势。综合评估表明,GInGER在分类和回归、知识提取和规则归纳场景中均能稳定提供高质量结果,其符号模型通常更紧凑且性能稳健。消融研究进一步确认,局部线性输出和区域合并分别是预测效果和可读性的关键组成部分。

结论部分翻译:本文提出了GInGER,一种用于可解释机器学习决策系统的进化框架,统一支持从黑箱模型进行事后知识提取和从数据直接进行事前规则归纳。与先前方法不同,GInGER采用灵活的分区策略,避免目标离散化,并同时支持分类与回归。实验表明,GInGER能够在多种学习场景下提供预测性能、模型紧凑性与可解释性之间的有利权衡,表明进化域划分是符号知识提取和可解释规则归纳的可行途径,尤其适用于以透明性和紧凑符号表示为主要设计目标的应用。未来工作包括自适应选择回归输出表示、自动确定分区变量数量、自动确定切割数量,以及引入基于树的分区机制和支持分类特征等方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号