综述:基于机器学习的水质指数分类:以越南后江上游为例

《Environmental Challenges》:Machine Learning-Based Water Quality Index Classification: A Case Study of the Upper Reaches of the Hau River, Vietnam

【字体: 大 中 小 】 时间:2026年07月15日 来源:Environmental Challenges CS8.0

编辑推荐:

  本研究旨在评估和比较机器学习(ML)算法在越南后江上游水质指数(WQI)分类中的性能。鉴于传统计算方法(VN-WQI)通常需要复杂且耗时的数据处理流程,研究人员实施了逻辑回归(LR)、随机森林(RF)和极端梯度提升(XGBoost)等自动化模型以优化环境监测。

  
本研究旨在评估和比较机器学习(ML)算法在越南后江上游水质指数(WQI)分类中的性能。鉴于传统计算方法(VN-WQI)通常需要复杂且耗时的数据处理流程,研究人员实施了逻辑回归(LR)、随机森林(RF)和极端梯度提升(XGBoost)等自动化模型以优化环境监测。输入数据包括重要的物理化学和生物参数,如pH、溶解氧(DO)、五日生化需氧量(BOD5)、化学需氧量(COD)、营养物质(硝酸盐氮(N-NO3)、磷酸盐磷(P-PO4))、总悬浮固体(TSS)和大肠菌群(Coliforms)。实验结果表明,所有三种模型均实现了高精度,范围从0.96到0.98。特别是,XGBoost算法表现出优越性能,具有近乎完美的准确率(0.98)、马修斯相关系数(MCC)为0.97以及曲线下面积(AUC)为0.998。XGBoost还展示了快速收敛,并且对“非常好”(Very Good)和“好”(Good)水质组实现了完美分类(f1-score = 1.0)。通过SHAP(SHapley Additive exPlanations)模型解释技术,研究确定大肠菌群(Coliforms)是最重要的变量,在研究区域的水质分类中起决定性作用。虽然LR主要关注大肠菌群的线性关系,但基于树的ML模型(RF和XGBoost)有效利用了有机和营养指标(如BOD5和P-PO4)之间的复杂非线性相互作用。研究结果不仅证实了用智能自动化分类系统替代手动计算方法的潜力,而且为环境管理者及时应对污染压力提供了重要的科学依据,有助于可持续保护越南湄公河三角洲(VMD)的水资源。
**1. 引言**
后江是湄公河的主要分流,为下游地区的社会经济活动提供淡水,特别是安江省作为上游洪水进入越南的战略门户。然而,经过二十多年的观察,传统水质评估方法的局限性日益凸显。主要驱动因素包括:集约农业和快速城市化的双重压力(如高堤系统改变了生物地球化学循环,导致NH4+和PO43-等营养物质积累并排入后江);以及边境地区非线性的水文复杂性(上游水电调节改变沉积物和溶解氧(DO)水平、不规则的半日潮汐导致咸潮入侵等)。传统的越南环境管理总局(VEA)提供的水质指数(WQI)公式过于静态,无法反映这些极端波动。因此,环境管理数字化转型迫在眉睫,机器学习(ML)成为优化成本、处理大数据集、识别隐藏模式并提供早期预警的关键解决方案。全球学术趋势支持这一转变:在大型流域,人工神经网络(ANN)比传统回归模型预测精度高22%;支持向量机(SVM)或随机森林(RF)可降低40%的监测成本;混合模型可提升分类准确率至98%。国内研究也从描述性报告转向预测建模,如利用长短期记忆(LSTM)网络提前24小时预测朱笃汇流点DO下降,以及整合Sentinel1-2卫星影像与ML估算总悬浮固体(TSS)。然而,多数研究将化学因素与水力动态分离,或未能将隆川四角(LXQ)防洪堤操作与城市有机负荷纳入统一框架。本研究通过微调随机森林(RF)、极端梯度提升(XGBoost)和逻辑回归(LR)等模型,旨在开发适用于安江省特定水文的动态WQI分类工具。主要目标是评估和比较逻辑回归(LR)、RF和XGBoost在上游河段(作为统一水文区域)的WQI分类能力,基于5个战略监测站的数据,建立自动化模型以识别5个水质等级,并利用SHAP技术确定关键影响因素,为流域环境管理提供科学依据。

**2. 方法论**
**2.1. 研究区域**
研究区域位于安江省内的后江上游,是湄公河主流(巴萨河段)进入越南的主要门户。该区域涵盖关键水文节点,包括朱笃市和万瑙河。万瑙河从前江分流约40%的流量到后江,造成复杂的水流动态。为评估地表水水质,研究合成了2010-2023年期间5个战略监测站的数据,涵盖从边界门户到内陆关键汇合点的过渡。监测网络包括:边界区域的MH2(N)-AP站(富和河上游)和MH3(N)-AP站(朱笃河与柬埔寨支流交汇处);下游的MH4(N)-C?站(朱笃河交汇处)、MH5(N)-CP站(朱笃与万瑙交汇处之间的中间段)以及MH6(N)-CP站(万瑙交汇处)。采样按季度进行,每年4个周期,为准确捕捉水文波动提供了坚实的数据基础。

**2.2. 水质指数分类**
水质指数(WQI)的历史从简单数学公式演变为复杂多元分析系统。越南采用越南资源与环境部(MONRE)提出的框架,其计算复杂且耗时(公式1)。监测参数分为5组:pH组、农药组、重金属组、有机和营养参数组(DO、BOD5、COD、N-NH4+、P-PO43-等)、微生物组(大肠菌群Coliform)。计算VN-WQI需至少包含3个参数组,且第IV组为必选项并包含至少3个参数。DO的计算通过DO%饱和度进行(公式2),pH的计算依据特定阈值(公式1、2及表3)。综合WQI采用加权平均公式(公式3、4),并根据表4的标准进行分级(91-100优秀、76-90良好、51-75中等、26-50差、10-25极差、<10极差)。

**2.3. 机器学习模型**
本研究采用三种不同的ML算法:LR、RF和XGBoost。LR提供线性关系的稳健基线,RF和XGBoost通过装袋(bagging)和提升(boosting)机制捕捉水质参数中复杂的非线性相互作用。
**2.3.1. 数据集与预处理**:数据集按80/20比例通过分层抽样划分为训练集和测试集,以保持类别分布一致。采用分层五折交叉验证结合随机搜索进行超参数调优,以平衡准确率为主要评估指标。独立测试集用于最终模型性能评估。应用Z-score标准化方法(公式5)以均一化多变量数据集,避免极端值的影响。
**2.3.2. 极端梯度提升(XGBoost)**:XGBoost是优化的梯度提升框架(公式6),通过顺序构建决策树最小化正则化目标函数。正则化项(公式7)包括叶子数和叶子权重。关键超参数包括树深度、学习率、节点最小样本数等,并采用早停(early stopping)防止过拟合。
**2.3.3. 随机森林分类(RF)**:RF是一种集成ML算法(2001年提出),通过自助采样和随机特征选择生成决策树森林。回归预测取所有树的平均值(公式8)。随机特征选择降低树间相关性,提升泛化能力。超参数包括树的数量、每分割点评估的预测变量数及最小节点样本数。RF对多重共线性稳健,能处理非线性关系并抵抗过拟合。
**2.3.4. 逻辑回归(LR)**:LR是一种用于二元分类的算法,利用逻辑函数(sigmoid)将线性输出映射到(0,1)概率范围(公式9、10)。训练过程最大化似然函数以确定最优权重。损失函数为交叉熵(公式11)。LR适用于线性可分数据,解释性直接。

**2.4. 评估结果**
模型性能通过多个指标评估:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-score、马修斯相关系数(MCC)(公式12-16)。此外,利用接收者操作特征(ROC)曲线和曲线下面积(AUC)评估模型的判别能力,MCC提供从-1到+1的平衡度量。SHAP(SHapley Additive exPlanations)提供稳健的模型解释框架,为每个输入分配特定重要性分数,量化每个特征对预测的个体贡献。

**3. 结果**
**3.1. 水质参数描述性统计**
表6显示水质参数的描述性统计。平均温度29.7°C,pH中性(7.1),DO平均5.2 mg/L但最低3.4 mg/L表明存在周期性氧气消耗。BOD最大值为30 mg/L,变异性大(变异系数0.54),显示有机负荷不稳定。TSS波动剧烈(5.0-115 mg/L)。营养物如N-NO3和P-PO4平均浓度低但变异性极高(N-NO3变异系数1.73),反映间歇性排放或肥料径流影响。最严重的问题是微生物污染:Coliforms(大肠菌群)数量从430到93000不等,标准差(16170)大于平均值,表明极不稳定的微生物污染。表7显示水质等级分布:差(Poor)类占42.06%,中等(Fair)23.41%,良好(Good)19.05%,优秀(Excellent)15.48%。训练集和测试集的比例分布几乎相同。

**3.2. 模型配置与超参数优化**
图2展示了XGBoost、RF和LR的学习曲线和性能指标。XGBoost表现出色,收敛速度快(约50次迭代),训练与测试路径距离极小,泛化能力强且无过拟合。RF的袋外(OOB)误差在225棵树时达到最低,之后增加树数量无显著改善。LR在训练集上准确率高但在验证集上显著降低,误差范围宽,表明稳定性不足。最优超参数配置(表8)显示:XGBoost学习率0.05、树200棵、最大深度6、gamma 0.1;RF树1000棵、最大深度30、最小叶子样本8、最大特征8;LR采用saga优化器、弹性网络惩罚、l1_ratio 0.7、类别权重平衡。表9显示所有ML模型WQI分类性能:XGBoost准确率0.98、MCC 0.97、ROC-AUC 0.998;RF准确率0.96、MCC 0.95、ROC-AUC 0.997;LR准确率0.96、MCC 0.95、ROC-AUC 0.991。XGBoost在“优秀”和“良好”类的f1-score为1.0,仅在“中等”和“差”类略有下降。RF在“中等”类精确率降至0.87,LR在“良好”类召回率仅0.80。混淆矩阵(图3)进一步证实:XGBoost在“优秀”(8/8)和“良好”(10/10)类完全正确;RF将2个“差”类样本误分类为“中等”;LR在“良好”类漏检较多。ROC曲线(图4)显示所有模型在“优秀”和“差”类AUC值达1.000,整体表现优异。

**3.3. 基于树模型与线性模型的特征重要性比较分析**
基于SHAP分析(图5),三种模型(XGBoost、RF、LR)对Coliforms(大肠菌群)作为最重要变量高度一致。XGBoost和RF同样关注有机和营养指标(P-PO4、BOD5),而XGBoost几乎完全忽略物理变量(如温度、pH),RF则更广泛地分配贡献(包括TSS)。LR模型中pH和TSS的SHAP重要性排名更高,反映其稳定的线性相关性。SHAP值的颜色分布(图6-8)表明,在“优秀”类中低Coliforms值贡献正SHAP,在“差”类中高Coliforms和BOD5值贡献正SHAP。XGBoost(图6)对P-PO4和BOD5的SHAP范围更广,显示能利用复杂非线性关系;RF(图7)倾向于以Coliforms阈值为主,对辅助变量影响较小;LR(图8)极度依赖Coliforms,SHAP范围远大于其他变量,对极端值敏感,但忽略了其他化学指标的复杂相互作用。

**4. 讨论**
**4.1. 微生物污染的核心指标作用**
三类模型一致识别Coliforms(大肠菌群)为影响水质的最重要变量,反映水受未经处理的生活污水或养殖活动显著压力。在“差”类中,高Coliforms值驱动正SHAP值,使其成为最特征和最可靠的污染指标。虽然LR几乎只关注Coliforms,但XGBoost和RF显示P-PO4和BOD5的重要贡献,表明水质是多种因素相互作用的结果。SHAP的价值不仅在于提高精度,还在于提供解释力和对影响因素的洞察。全球研究证实DO、BOD、电导率、pH、COD、总磷、氨氮等参数的重要性。越南研究(如Vam Co河、东奈河、An Kim Hai灌溉系统)一致显示Coliforms对WQI有深远影响,常与有机参数协同,受季节影响。采用贝叶斯模型平均和特征选择的ML研究确认Coliforms是实现WQI模型峰值预测精度的关键输入变量。

**4.2. 机器学习模型性能与水质特征重要性**
RF算法不仅达到极高精度(99.17%-99.99%),还是有效的变量重要性工具,如硝酸盐和pH、DO、总大肠菌群(TC)和BOD被识别为主导因素。然而,本研究仅使用物理化学和生物参数,缺少水文气象数据(如流量、降水、潮汐),这限制了模型捕捉流量变化对水质影响的能力。XGBoost因其处理缺失数据、集成正则化技术控制过拟合和优化并行计算的能力而成为复杂环境数据集的首选。LR尽管结构简单,但性能通常低于集成方法(约90.19%),但对线性关系清晰的问题仍有效。当前文献明确表明,集成或组合模型(如梯度提升、XGBoost结合网格搜索)可达到99.50%的近乎绝对精度。

**4.3. 机器学习模型在WQI预测中的性能比较**
所有三个ML模型性能优异(准确率0.96-0.98),MCC > 0.95,ROC-AUC > 0.99。XGBoost表现最优(准确率0.98,50次迭代收敛),对“优秀”和“良好”类100%正确分类,且无过拟合。XGBoost和RF优于LR的趋势与WQI预测文献一致,其梯度提升机制能有效处理噪声点。RF总体准确率96%,但在区分“差”和“中等”类时略有困难(中等类精确率0.87),指示边界阈值化学特征重叠。本研究LR准确率96%,高于文献平均90.19%,但“良好”类召回率0.80暴露了线性模型处理动态环境中DO、BOD5或氨氮等参数非线性相互作用的固有弱点。最终性能基于单次80/20分层分割评估,未执行嵌套交叉验证;随机分层抽样未保留时间顺序,可能导致略微乐观的性能估计,未来应基于时间分割。

**5. 结论**
本研究评估并比较了RF、XGBoost和LR在后江上游WQI分类中的性能。实验表明,现代ML模型能够以极高精度预测WQI,为数据驱动的环境管理提供有力支持。集成学习算法(RF、XGBoost)表现优于LR。准确率超过95%的实验结果证实了用智能自动化分类系统替代手动计算方法的潜力。研究仍存在季节数据多样性和缺乏水文气象因素完整整合的局限。未来应将深度学习模型与自动监测站实时数据结合,构建全面预警系统。未来拓展将整合CCMEWQI和NSFWQI等国际框架,以进行综合比较分析。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号