可解释的机器学习与滚动起点验证方法揭示了全尺寸曝气塘运行中的两种不同控制与可预测性模式
《Journal of Environmental Management》:Interpretable machine learning and rolling-origin validation identify two distinct control and predictability regimes in full-scale aerated lagoon performance
【字体:
大
中
小
】
时间:2026年06月28日
来源:Journal of Environmental Management 9.2
编辑推荐:
艾哈迈德·法尔加利|马哈茂德·奥瓦伊斯|艾哈迈德·M.A.萨塔尔|马哈茂德·埃尔哈迪迪
摘要:本研究构建了一种可解释的机器学习–全局敏感性分析框架,用于分析一个全规模曝气池系统(处理能力为90,000立方米/天)在2000年至2008年共9年的数据集中的主要影响过程因素。针对六
艾哈迈德·法尔加利|马哈茂德·奥瓦伊斯|艾哈迈德·M.A.萨塔尔|马哈茂德·埃尔哈迪迪
摘要:本研究构建了一种可解释的机器学习–全局敏感性分析框架,用于分析一个全规模曝气池系统(处理能力为90,000立方米/天)在2000年至2008年共9年的数据集中的主要影响过程因素。针对六项出水指标,研究者训练了XGBoost替代模型,并结合自举法处理的Sobol’分析法,得出具有不确定性范围的敏感性排序结果。通过滚动起点验证方法评估模型的预测性能,发现存在两种不同的预测模式:受水力条件影响的出水参数具有时间上的稳定性(TSS的R2值为0.848±0.05,BOD5的R2值为0.449±0.23),而成熟池中的出水参数(pH值、VSS、DO值以及粪便大肠菌群数量)则表现出明显的时间非稳定性,这与水力负荷每十年增加35%的情况相符。基于Sobol’法的归因分析也显示出两种不同的控制机制:有机物和悬浮物的去除主要受处理阶段的影响,其总效应较为显著(BOD5的S?值为0.67,TSS的S?值为0.94),这表明水力配置是决定处理效果的关键因素;而成熟池中的出水情况则主要受季节性和生态因素的影响。在VSS指标中,日期是导致变异最大的因素,同时也是影响pH值和DO值的重要因素;而在粪便大肠菌群数量的变异中,进水中的悬浮物通过颗粒物屏蔽作用起到了主导作用。通过将日期替换为年份及年度内的谐波项进行的日期分解实验表明,原本基于日期的归因结果实际上包含了长期的操作变化以及年度内的季节性变化。Sobol’ S?排序结果与SHAP值及Shapley效应估算结果高度一致(相关系数≥0.79),体现了该框架在处理输入变量依赖性问题时的稳健性。从环境角度而言,在所有监测记录中,有41%到87%的时段内,出水指标超过了BOD5、TSS以及粪便大肠菌群的相关标准限值;季节性的成熟池消毒措施则是制约处理效果的主要因素。
引言:全规模的曝气池和稳定池往往会出现出水质量的大幅波动,而这些波动无法仅通过进水负荷来解释。即便在看似相同的运行条件下,由于停留时间、固体物质行为、藻类与细菌活动以及气候因素之间的相互作用,不同季节甚至同一水力配置下的处理效果也可能存在显著差异。这就使得这类池式处理系统的运行诊断与管理变得十分困难,尤其是当处理效果逐渐恶化而非突然出现故障时。问题的关键在于,池式处理系统的处理效果并非由单一主导机制决定,而是由多个紧密关联的环境过程共同作用的结果。水力停留时间会影响沉淀和接触效率;温度会改变生物反应速率;藻类光合作用会影响溶解氧浓度和pH值;而悬浮固体则会影响光线穿透度、氧气分布以及病原体的去除效率。这些相互作用会产生非线性的、依赖于历史条件的响应,而简单的设计公式、经验性的负荷限制或稳态动力学假设难以准确描述这类现象(Ho等人,2017;Weerakoon等人,2020;Soares等人,2022)。在真实的大型系统中,诸如短路、扩散和死区等非理想的水力状况会进一步加大设计预期与实际处理效果之间的差距(Von Sperling等人,2022;Solimeno和García,2019;ávila等人,2016)。因此,传统的分析方法往往不足以识别真实运行条件下影响池式处理系统性能的主要因素。这对于环境管理而言尤为重要,因为操作人员和决策者需要区分是水力因素导致的处理效果不佳、季节性引起的生态变化,还是进水因素带来的干扰,从而有针对性地采取干预措施。然而,那些能够蕴含这些信息的长期大型监测数据却很少被用于处理系统的诊断。在处理后的污水被排放到敏感水域的情况下,识别导致违规排放的因素对于确定干预优先级至关重要。机器学习为从这类复杂数据中提取预测规律提供了强有力的工具,在废水处理领域已展现出良好的应用前景(Weerakoon等人,2020;Lowe等人,2022;Wang等人,2022;Liu等人,2024;Salles等人,2025;Wei等人,2025)。不过,大多数已发表的研究仅关注预测精度,未能深入解释模型表现良好的原因,或是哪些变量真正决定了系统的运行行为(Ho等人,2017;Soares等人,2022;Salles等人,2025)。对于池式处理系统而言,这无疑是一个重大局限——一个性能优异的“黑箱”模型虽然能够准确预测出水质量,却无法说明其性能是由水力因素、季节性影响、进水成分,还是这些因素之间的复杂相互作用所决定的。这一问题还因许多数据驱动的环境研究中缺乏严格的全局敏感性分析和不确定性量化而变得更加严重。通常情况下,变量重要性是通过单一指标来判定的,而没有考虑收敛性、变量间的交互作用以及统计稳定性等问题(Cheng等人,2023;Bi等人,2023;Al等人,2019)。对于那些处理效果取决于非线性且充满交互作用的动态过程的池式系统而言,这种简化处理方式尤其不可取。近年来,环境和废水处理领域的研究越来越重视将机器学习与正式的敏感性分析以及考虑不确定性的工作流程相结合,以此生成具有可解释性、有助于决策的知识,而不仅仅是单纯的预测结果(Al等人,2019;Hwangbo等人,2021;Psaros等人,2022;Dai等人,2024;Cosenza等人,2014;Jaxa-Rozen和Kwakkel,2018;Zadeh等人,2017)。不过,这类框架在长期大型池式处理系统中的应用仍然十分少见。鉴于此,本研究针对一个全规模曝气池系统(处理能力为90,000立方米/天)2000年至2008年的9年运行数据,开发并应用了一种可解释的机器学习–全局敏感性分析框架。该研究的贡献体现在三个层面:在方法论上,我们构建了一种考虑不确定性的诊断工作流程,整合了XGBoost替代模型、自举法处理的Sobol’分析法、互信息分析、SHAP值以及Shapley效应分析,并充分考虑了输入变量之间的依赖关系。该工作流程还包括对重复实验结果的校正、数值稳定性保障措施,以及用于检验时间相关特征可信度的日期分解方法。在实证研究方面,我们将该工作流程应用于该池式处理系统9年的长期监测数据,以此厘清水力因素、环境因素以及进水因素各自的相对作用。在应用层面,通过该框架得出的归因结果揭示了同一处理流程中存在的两种不同的物理控制机制,而滚动起点验证则发现了两种不同的预测模式,这为针对不同处理阶段制定管理策略提供了依据。本研究的具体目标包括:(一)构建XGBoost替代模型,用于预测六项关键的出水质量参数(BOD5、TSS、粪便大肠菌群、pH值、VSS和DO值);(二)通过基于方差的Sobol’敏感性分析结合自举法不确定性量化,确定水力因素、环境因素以及进水因素的相对重要性;(三)通过日期分解实验、与SHAP结果的对比,以及在输入变量存在相关性时的Shapley效应稳健性测试,检验所构建的时间结构在物理上的合理性;(四)通过滚动起点(即向未来推进的时间序列)验证方法,评估所训练的替代模型的时间泛化能力。该框架基于大型池式处理系统日常监测的各类参数,旨在作为一种辅助性的操作诊断工具,用于补充而非替代基于机理的工艺模型。其时间相关特征能够体现数据中的季节性变化以及更长期的趋势,但无法具备动态模型所具有的状态依赖型记忆功能。通过超越单纯的预测精度,致力于实现对处理过程因素的精准归因,本研究为诊断处理效果的差异性,以及为池式废水处理系统的运行管理和季节性调控提供了可借鉴的框架。
研究区域与污水处理厂概况:伊斯梅利亚污水处理厂运营着一个全规模的曝气池污水处理系统,该系统自1996年起持续运行,位于埃及伊斯梅利亚市西南方向约12公里处的塞拉比乌姆村附近(地理坐标为北纬30.486度,东经32.247度),详见图S0。污水首先从进水泵站被输送到预处理设施,在那里使用帕夏尔流量计进行流量测量,随后进入包括筛分、浮渣去除等在内的初步处理单元。
长期进水变化与工厂处理性能:长期监测数据表明,该污水处理厂的运行性能受到持续的水力压力、明显的季节性影响以及不同处理阶段的特性共同作用。最显著的运行趋势是水力负荷的逐步上升,2000年至2001年间平均进水流量约为77,000立方米/天,而2007年至2008年间这一数值上升至约104,000立方米/天,增幅约为35%。这一变化导致该污水处理厂的运行负荷始终高于其90,000立方米/天的设计处理能力。
讨论:本研究开发的集成型机器学习–全局敏感性分析框架,有效弥补了目前将数据驱动方法应用于池式废水处理系统时的若干不足。相较于单纯的预测功能,该框架能够以可解释的方式,并充分考虑不确定性因素,区分上游处理阶段受水力因素控制的处理行为,以及成熟池中受季节性因素影响的生态变化规律。以下内容将从三个方面阐述该研究的贡献。
结论:本研究构建并验证了一种集成型的机器学习–全局敏感性分析框架,可用于分析全规模曝气池废水处理系统的长期运行性能变化规律。通过将XGBoost替代模型与基于方差的Sobol’敏感性分析、自举法不确定性量化、SHAP值及Shapley效应分析等方法相结合,并采用滚动起点的外推验证方式,该框架不仅实现了超越传统“黑箱”预测的功能,还为理解处理过程提供了更为深入的见解。
知情同意声明:无需提供。
机构审查委员会声明:无需提供。
关于 manuscript 准备过程中生成式人工智能及人工智能辅助技术的声明:在撰写本文的过程中,作者们使用了ChatGPT、Manus AI和Consensus等工具,用于优化文本表述、完善图表内容以及查阅相关文献。在使用这些工具或服务之后,作者们对内容进行了必要的审核和修改,并对最终发表的文章内容承担全部责任。
资金支持:该研究由马杰马大学工程研究与应用科学中心提供资助,项目编号为ERAS-2026-272。
CRediT作者贡献说明:艾哈迈德·法尔加利:概念设计、数据整理、正式分析、资金获取、项目监督、结果可视化、初稿撰写;马哈茂德·奥瓦伊斯:概念设计、数据整理、方法设计、软件应用、结果验证、文章修订与编辑;艾哈迈德·M.A.萨塔尔:项目管理工作协调、资源调配;马哈茂德·埃尔哈迪迪:项目管理工作协调、资源调配。
利益冲突声明:作者们声明自己不存在任何可能影响本研究结果的已知财务利益或个人关系。
致谢:作者们要感谢埃及伊斯梅利亚市的饮用水与废水处理公司的工程师及工作人员,他们为这项研究提供了宝贵的支持以及必要的数据。同时,作者们也对马杰马大学工程研究与应用科学中心通过项目编号ERAS-2026-272为该研究提供的资金支持表示衷心的感激。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号