《Environmental Science: Water Research & Technology》:Enhancing source water quality predictions to improve treatment by integrating watershed data on water quality, river flow and rainfall into interpretable machine learning algorithms
编辑推荐:
市政水处理中使用的原水水质会在降雨事件期间及之后,以及由此引起的河流流量变化过程中受到影响。近年来,浊度等原水水质参数已基于环境、水文和气象信息作为输入变量,采用机器学习算法进行建模与预测。本研究旨在将上游水质、河流流量和流域降雨数据整合到可解释机器学习算法中
市政水处理中使用的原水水质会在降雨事件期间及之后,以及由此引起的河流流量变化过程中受到影响。近年来,浊度等原水水质参数已基于环境、水文和气象信息作为输入变量,采用机器学习算法进行建模与预测。本研究旨在将上游水质、河流流量和流域降雨数据整合到可解释机器学习算法中,以提升原水浊度预测能力。此类预测可使供水公用事业运营人员预判水处理过程中所需的调整。研究人员首先估算了流域降雨、河流流量和原水浊度等上游输入变量,与下游原水浊度这一目标输出变量之间的时滞(lag-times)。随后,采用XGBoost技术,结合上游水质、河流流量与流域降雨数据,对原水浊度进行预测。最后,利用SHAP(SHapley Additive exPlanations)策略估算每个输入变量的总体重要性。结果表明,上游原水浊度是最重要的输入变量,其次为河流流量。最优性能指标及建模变量的时间序列可视化检验显示,整合上游原水水质数据可增强原水预测能力。这些结果为开发和实施区域原水水质建模提供了可能,该建模可为天气事件-水处理预警系统(WEWT-EWS)提供输入。未来研究可进一步延长原水水质预测时域,并纳入年际数据。
本文发表于《Environmental Science: Water Research 》,聚焦饮用水处理过程中一个极具现实意义的问题:降雨事件及其引发的径流与河流流量变化,会在短时间内显著扰动地表源水水质,尤其导致原水浊度(Tu)迅速升高,从而增加饮用水处理厂(DWTP)的混凝、澄清与运行调控难度。既有研究已表明,流域降雨、河流流量、前期干旱状况及部分气象因子可用于机器学习建模,以预测原水浊度等关键指标;然而,针对饮用水生产场景,如何把上游取水口连续在线监测得到的原水水质信息直接纳入下游取水口预测框架,仍缺乏系统研究。与此同时,处理厂在原水浊度开始上升、药剂投加量需要调整以及处理效果最终得到验证之间,常存在明显时间滞后,这种滞后可能导致短时非最优运行,进而增加供水安全风险。因此,构建能够提前识别原水浊度波动、尤其是峰值过程的预测模型,对于提升处理响应及时性、支撑预警系统建设具有重要意义。
研究人员以加拿大魁北克省Chaudière河流域为案例,围绕3座共用同一河流的市政饮用水处理厂取水口展开研究,即Saint-Georges、Sainte-Marie与Charny。研究目标是验证:若在河流流量与流域降雨之外,进一步引入上游原水浊度信息,是否能够提升下游目标取水口原水浊度预测精度。研究结论明确表明,可以。基于XGBoost模型获得的结果显示,整合上游原水浊度后,模型对目标取水口浊度的拟合与预测性能显著提高;SHAP(SHapley Additive exPlanations)解释结果进一步证明,上游原水浊度与河流流量是影响预测结果的最关键输入变量,而降雨变量总体贡献相对较低。该研究的重要意义在于,它不仅提升了源水浊度预测能力,也提出了一个面向区域尺度、可嵌入天气事件-水处理预警系统(WEWT-EWS)的技术路径,为饮用水处理厂基于上游信息实施前瞻性运行管理提供了证据支持。
在技术方法上,研究人员主要采用了以下几类关键方法。首先,研究对象为Chaudière河流域2017年4月至10月的逐小时监测数据,样本来源包括3个饮用水处理厂取水口的在线原水浊度、3个河流流量站和4个雨量站。其次,采用异常值识别与缺失值填补方法对数据进行预处理,其中缺失值插补使用基于ARIMA模型的Kalman平滑。再次,通过Spearman秩相关系数(ρ)在1至240小时范围内估算输入变量与输出变量之间的时滞,并据此构建时滞输入。随后,采用XGBoost与多元线性回归(MLR)进行建模比较,结合10折交叉验证与网格搜索优化超参数,并以自助法(bootstrap)和LOESS平滑估计预测不确定性。最后,通过SHAP策略解释全局变量重要性及局部极端事件下的变量贡献。
在研究结果部分,论文首先给出了“Lag-times of input variables”。结果显示,不同输入变量到目标取水口浊度响应之间存在明确时滞,而且河流流量的时滞通常短于降雨时滞。这表明降雨对原水浊度的影响需经降雨-径流转化过程后才逐步显现,而河流流量对浊度变化具有更直接、更快速的指示作用。研究还发现,测站距离目标取水口越远,其对应时滞通常越长。例如在Charny模型中,中游雨量站的时滞短于高流域雨量站,靠近目标点的流量站时滞也短于上游流量站。该结果说明,在原水水质预测中,基于统计相关关系选取时滞输入变量是必要的前置步骤,也为后续模型构建提供了合理输入结构。
在“Turbidity models”部分,研究人员建立了3个XGBoost模型,分别预测3个取水口的原水浊度,并以MLR作为基线对照。结果表明,所有XGBoost模型均表现出很高的预测性能,在训练和测试阶段均取得极高的R
2与Nash–Sutcliffe效率系数(NSE),同时均优于MLR模型。特别是输入变量最丰富的模型3,即预测Charny取水口浊度的模型,表现最佳,说明整合更多上游信息,尤其是上游原水浊度信息,可有效增强预测能力。时间序列对比进一步显示,模型总体能够较好跟踪低值与高值浊度变化,并能识别全年不同阶段的浊度峰值。论文同时指出,Sainte-Marie模型个别峰值存在高估现象,时间序列图与误差指标对此均有反映。
在“Interpreting model prediction using SHAP strategy”部分,研究人员利用SHAP对模型进行可解释性分析。对于模型1,河流流量Q3是最重要输入变量,贡献高于降雨P4,说明在仅包含少量输入时,流量比降雨更能直接反映浊度变化。对于模型2,Q3仍为最重要变量,其次为上游浊度TuSG和Q2,表明上游原水浊度已经开始在中游取水口预测中发挥核心作用。对于模型3,最重要变量变为距离目标点最近的上游浊度TuSM,其次是最近流量站Q1,再之后为TuSG以及Q2、Q3,4个降雨变量的重要性最低。SHAP汇总图进一步显示,高值的上游浊度和高流量通常对应正的SHAP值,推动目标浊度预测高于均值;而低流量、低上游浊度以及低或零降雨,往往将预测结果拉向均值以下。研究人员还对4次极端浊度事件开展局部解释,发现上游浊度和河流流量在多数极端事件中对TuCH预测具有正向贡献,其中TuSM通常是影响最大的变量,而降雨对极端事件预测的直接贡献有限。
在“Sensitivity analysis”部分,研究人员通过逐一删除变量及成组删除变量,检验模型3对不同输入的依赖程度。结果显示,单独去除任一流量变量时,模型性能变化不大,但删除全部3个流量变量后,性能明显下降,说明流量信息整体上十分关键。与此不同,降雨变量无论单独删除还是整体删除,对模型性能影响都不显著,这与SHAP分析中降雨变量整体贡献较低的结论一致。上游浊度变量则表现出更高的重要性:若仅去除一个上游浊度序列,模型仍能维持较高性能;但若同时删除TuSM与TuSG,模型性能显著恶化,预测能力大幅下降。这一结果从敏感性分析角度进一步验证了论文核心论点,即将上游原水浊度纳入输入变量,是提升下游原水浊度建模与预测能力的关键。
在“Discussion”部分,论文综合指出,本研究的实质贡献在于揭示了流域尺度上游原水水质信息对下游饮用水处理预测的独特价值。研究结果说明,在原水浊度预测中,相比单独使用降雨与流量信息,同时引入上游浊度数据可显著提高对浊度峰值的识别能力,且SHAP解释策略能够突破传统机器学习“黑箱”局限,明确不同变量及其数值区间对预测结果的作用方向与强度。研究还强调,这类模型适合作为运行支持工具,帮助处理厂管理者提前识别原水恶化风险并准备药剂和操作调整,但在高浊度极值条件下,由于不确定性带略有增宽,不宜将模型作为自动化关键决策的唯一依据。此外,论文也指出了研究限制,包括仅覆盖夏半年、仅有单年数据、预测时域仍较短,以及尚未纳入前期土壤湿度、前期干旱条件和坝体调度等潜在影响因素。
研究结论部分可概括翻译如下:本研究证明,在流域尺度上,将取水口上游位置处同一目标参数即原水浊度(Tu)的监测信息作为机器学习模型输入变量,可提升目标取水口原水浊度的可预测性。其他上游水质相关变量,如河流流量和流域降雨数据,也能够增强原水浊度预测能力;这一点已通过XGBoost模型的性能指标和建模时间序列得到验证。借助SHAP策略对预测结果进行解释,不仅能够评估各输入变量的重要性,还能识别这些变量高值或低值区间对原水浊度预测的影响。总体而言,上游原水浊度与河流流量是建模目标原水浊度时最重要的输入变量。上述发现可为饮用水处理厂运营人员提供决策支持,因为在降雨期间及之后,准确且及时地预测原水浊度峰值,对于预判原水水质突变并及时调整混凝等处理操作至关重要。研究结果表明,模型可提供至少4小时至8小时的预测时域,这对于同一河流供给多个取水口且频繁受强降雨影响的流域尤具意义。研究同时强调,在构建原水参数模型时,应重视输入与输出变量之间时滞的识别,因为引入时滞后的水文、气象及上游原水参数时间序列,更能表征降雨、流量、上游水质与目标水质参数变化之间的延迟关系。整体上,这项研究为利用上游取水口水质信息构建区域预警系统提供了依据,但若要真正应用于预警系统,仍需开展多年际尺度分析并进一步延长预测时域。