基于可解释提升机(Explainable Boosting Machine, EBM)的水安全预测可解释框架

《Array》:Interpretable Framework for Water Safety Prediction Using an Explainable Boosting Machine

【字体: 大 中 小 】 时间:2026年07月11日 来源:Array 5.3

编辑推荐:

  饮用水质量对公共卫生至关重要,因此需要高效可靠的监测系统。研究人员引入了一种利用可解释提升机(Explainable Boosting Machine, EBM)预测水安全的可解释机器学习方法。本工作的新颖之处在于结合了统计严谨的特征选择(采用ANOVA F检

  
饮用水质量对公共卫生至关重要,因此需要高效可靠的监测系统。研究人员引入了一种利用可解释提升机(Explainable Boosting Machine, EBM)预测水安全的可解释机器学习方法。本工作的新颖之处在于结合了统计严谨的特征选择(采用ANOVA F检验的SelectKBest)和固有的可解释提升模型,以确保良好的准确性和可解释性。与传统采用黑盒方法的模型不同,所提出的框架同时提供了全局和局部可解释性,从而能够透明地观察化学、生物和重金属对水安全的影响。本文考虑的水质数据集包括各种水污染物,如氨、砷、硝酸盐、细菌等。为了克服以往研究中高维和冗余特征的问题,研究人员选择了六个最优特征集,以提高模型效率、降低复杂性并改善模型的泛化能力。所提出模型的性能基于常见的分类指标进行评估,如准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数(F1-score)和受试者工作特征曲线下面积(ROC-AUC),其中训练集占80%,测试集占20%。数据集类别分布平衡,并且通过采用多种性能指标增强了模型性能。数据集表现出类别不平衡,为了确保可靠的评估,使用精确率、召回率、F1分数和ROC-AUC等指标对模型性能进行了评估。结果表明,EBM框架的准确率为92.4%,优于其他模型,同时具有良好的可解释性。研究结果证明了将可解释机器学习与统计特征选择相结合,对于构建稳健、可解释且可扩展的水质监测及环境和公共卫生决策支持系统的益处。
基于可解释提升机(EBM)的水安全预测可解释框架解读
一、研究背景与意义
安全清洁的饮用水是人类生存、公共卫生和可持续环境发展的关键因素。然而,由重金属、微生物污染、硝酸盐和其他危险化学品引起的水污染已成为全球严重的环境问题。水中的有毒重金属元素如砷、铅、镉和汞可能导致极端的健康影响,例如神经系统疾病、器官损伤和长期慢性疾病。此外,工业化进程、农业排水和城市废物排放极大地破坏了天然水资源,这些发展因素给持续可靠的水质监测系统带来了压力。
传统的水质评估技术主要基于实验室测试和理化检测,尽管能提供准确结果,但这些方法成本高昂、耗时且无法用于实时大规模监测。近年来,利用人工智能和机器学习方法进行自动化水质预测和分类引起了广泛关注。然而,许多复杂的机器学习和集成模型虽然预测性能高,但往往充当“黑盒”系统,缺乏可解释性。在环境监测和公共卫生背景下,利益相关者需要知道每种污染物和重金属参数对水安全分类的影响,因此可解释性至关重要。本研究旨在填补这一空白,提出了一种透明且可解释的机器学习架构,以实现高预测准确性和决策透明度。
二、关键技术方法
研究人员使用了来源于Kaggle公开存储库的8000个样本和21个特征的水质数据集,包含化学、生物和重金属参数,目标变量为二元分类的安全/不安全。在数据预处理阶段,研究人员处理了非数值、不一致值和缺失值,并进行了归一化和缩放以消除量纲差异。随后,研究人员采用了统计特征选择策略,比较了过滤法(如基于ANOVA F检验的SelectKBest)、包装法和嵌入法,最终确定基于ANOVA F检验的SelectKBest选取6个特征为最优方案。在模型构建方面,研究人员以可解释提升机(EBM)为核心模型,并将其与贝叶斯神经网络(BNN)、LightGBM+多层感知机(MLP)混合模型、混合专家模型(MoE)和自动特征交互模型(AutoInt)进行了全面的性能比较。模型评估采用了80%训练与20%测试的划分,并结合五折交叉验证,使用准确率、精确率、召回率、F1分数、混淆矩阵和ROC-AUC等指标进行严格评测。
三、研究结果
1. 数据集描述
研究数据集涵盖了化学参数(如氨、硝酸盐)、生物指标(如细菌)和重金属参数(如砷、铅)。研究人员指出,重金属污染是决定水质的关键因素,长期暴露于这些有毒元素会严重损害健康。数据相关性分析有助于识别各参数与目标变量之间的关系,为后续特征选择提供依据。
2. 数据预处理
研究人员对原始水质数据进行了严格的预处理,包括将非数值转换为合理的数值表示、处理缺失值以及消除异常值。针对重金属和化学参数的不同测量尺度,研究人员应用了归一化和缩放方法,以防止高范围属性主导学习过程,从而提高模型收敛速度和稳定性。
3. 特征选择
研究人员通过实验对比发现,基于ANOVA F检验的SelectKBest方法在简洁性、稳定性和预测能力上表现最佳。实验确定选择6个特征为最优解,因为少于6个特征会导致信息丢失和预测精度下降,而多于6个特征则会引入噪声和冗余,导致模型复杂度增加且泛化性能降低。这一步骤显著提高了计算效率和模型的可重复性。
4. 核心模型与对比模型
研究人员详细探讨了多种模型机制。可解释提升机(EBM)结合了广义加性模型(GAM)和提升方法,能够处理复杂的非线性关系并提供全局和局部解释。贝叶斯神经网络(BNN)引入了不确定性估计,提供置信度感知的预测。LightGBM+MLP混合模型结合了梯度提升和深度学习以捕捉复杂交互。混合专家模型(MoE)利用门控网络动态分配权重以处理异构数据。自动特征交互模型(AutoInt)则利用自注意力机制学习高阶特征交互。然而,除EBM外,多数深度模型均存在“黑盒”特性,缺乏透明度。
5. 模型训练
研究人员在相同的数据划分、预处理流程和选定特征集上训练所有模型以确保公平性。EBM在捕捉重金属浓度、化学污染物与目标变量之间的非线性关系方面表现出色。所有模型均经过超参数调整和五折交叉验证,以增强结果的鲁棒性。
四、讨论与结论
1. 实验分析
在性能评估中,研究人员不仅关注准确率,还重点分析了ROC-AUC曲线和混淆矩阵。ROC-AUC分析表明,模型在不同决策阈值下均能稳定区分安全与不安全水样。混淆矩阵分析特别强调,在水安全预测中,降低假阴性(即漏报污染水)至关重要,因为这直接关系到公众健康风险。
2. 结果对比
结果显示,所提出的EBM模型在各项指标上均取得了最优性能,准确率达到92.4%,精确率、召回率和F1分数均为0.92,优于BNN、LightGBM+MLP、MoE和AutoInt等先进模型。这证明了在水质预测任务中,可解释性与高精度是可以兼得的。
3. 结论
研究表明,结合统计特征选择与可解释提升机(EBM)的框架,在处理结构化表格环境数据时具有显著优势。该模型不仅能准确识别影响水安全的关键污染物,还能提供清晰的决策依据,非常适用于实际的环境监测和公共卫生决策。未来的研究可结合SHAP和LIME等更先进的可解释性方法,并与基于物联网(IoT)的实时水质数据相结合,进一步提升预测可靠性和智能化水平。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号