基于梯度提升算法的洪水风险预测——利用有限的日降雨观测数据
《Expert Systems with Applications》:Gradient boosting–based flood risk forecasting using limited daily rainfall observations
【字体:
大
中
小
】
时间:2026年08月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
摘要
马来西亚洪水风险预测的困难在于缺乏高质量数据以及不同地区降雨变化率较高。本研究旨在确定机器学习模型是否能够利用历史降雨数据有效预测东北季风季节高峰期的洪水风险。研究团队分析了包含肯尼尔河流域十年日降雨数据的单变量数据集,以识别"高风险"日和"低风险"日。每个模型都与持
摘要
马来西亚洪水风险预测的困难在于缺乏高质量数据以及不同地区降雨变化率较高。本研究旨在确定机器学习模型是否能够利用历史降雨数据有效预测东北季风季节高峰期的洪水风险。研究团队分析了包含肯尼尔河流域十年日降雨数据的单变量数据集,以识别"高风险"日和"低风险"日。每个模型都与持续性模型进行了比较,并针对召回率或精确率进行了优化。结果表明,LightGBM模型取得了最稳健的整体性能,在所有测试模型中产生了最高的类别1 F1得分。特别是,经过召回率调优的LightGBM显著优于持续性基准模型,在测试集上实现了0.7895的类别1召回率和最高的类别1 F1得分(0.3797),并准确识别了366毫米的最极端降雨事件。相比之下,经过精确率调优的LightGBM模型保持了与持续性模型相同的高准确率(0.8652),同时提供保守的低误报预警模式。关键在于,经过精确率调优的模型能够提供更高水平的可解释性,并学习降雨与洪水事件之间的关系,而持续性模型则完全依赖时间连续性。研究结果支持了利用数据高效且低成本的方法在数据稀缺地区开发洪水应对策略的潜力,具体来说,以召回率为导向的模型更适合提供即将发生的洪水早期预警,而以精确率为导向的模型则更适合用于作业规划目的。
引言
降雨是一种重要的气象要素,为生态系统、农业活动、水资源管理和维持生态平衡提供了支撑(Praveen等,2020;Raval等,2021a)。然而,当降雨量极大或持续时间过长时,可能会引发洪水、干旱和供水短缺等灾难,对环境和经济造成严重影响(Ridwan等,2020)。因此,有效的降雨预测是减轻极端天气条件负面影响的关键组成部分,尤其是改善水资源分配、预防洪水和制定实施农业计划方面(Aderyani, Jamshid Mousavi, & Jafari, 2022)。
马来西亚靠近赤道,享有热带气候,全年温暖潮湿。马来西亚的降雨由两个不同的季风系统产生:西南季风和东北季风(Ridwan等,2020)。由于这些季风系统的季节性特征,马来西亚在空间和时间上都经历着巨大的降雨差异,某些地区经历极端降水,而其他地区则遭受长期干旱。马来半岛东海岸,特别是吉兰丹州、彭亨州和登嘉楼州,特别容易受到极端季风暴雨的影响,这些暴雨经常造成毁灭性洪水,2014年12月的极端事件即为明证(Ridwan等,2020)。已确定高降水量(通常>每天50毫米)会导致地表径流和山洪暴发,因此将其作为识别马来西亚高风险降雨日的逻辑阈值值是合理的。气候变化通过加强全球水文循环、增加蒸发率和改变降水模式进一步加剧了这些挑战(Chen等,2022;Ridwan等,2020)。因此,气候变化加剧了当地经济、基础设施和交通系统面临的挑战严重程度,并对农业产生了影响,为当地社区创造了新的经济和社会挑战(Barrera-Animas等,2021)。
由于参与这些过程的相互关联的环境和气象变量众多,降雨-径流过程的复杂性和非线性在开发水文模型时造成了重大挑战(Li等,2024)。历史上,降雨预测一直使用统计和数值天气预报(NWP)模型进行建模,主要重点是预测未来以毫米为单位的降雨量(Bojang等,2020b;Pattukandan Ganapathy等,2022)。然而,统计和NWP模型往往无法模拟降雨的混沌和非线性行为,尤其是在局部或区域尺度上(Jamei等,2023;Piran等,2024)。随着气候变化持续加剧以及准确及时的预报对灾害准备变得更为重要,这种失败越来越令人担忧(Orozco López, Kaplan, & Linhoss, 2024)。
机器学习(ML)最近作为一种提高降雨预测准确性的有前景的方法而出现。ML算法可以在不模拟降雨发生过程中涉及的物理过程的情况下识别降雨数据之间的复杂非线性关系,从而比传统的统计或NWP方法具有更大的灵活性和计算效率(Aderyani等,2022;Wang等,2021a)。多种ML算法,包括ANN、RF和SVM,在降雨预测任务中展现了巨大潜力(Bojang等,2020a;Reddy等,2022)。尽管许多ML算法旨在执行基于回归的任务,但这些算法的底层原理,特别是其寻找基于阈值的关联关系的能力,也允许进行面向分类的洪水风险预测,其目标是预测降雨是否会超过与洪水相关的某一特定阈值。尽管全球范围内已有大量将ML应用于降雨预测的工作,但与马来西亚相关的具体研究却很少。由于马来西亚独特的气候条件,主要是由于其靠近赤道的位置和季风系统,有必要开发能够考虑区域可变降雨特征的本地化模型(Chen等,2022;Ridwan等,2020)。鉴于极端天气事件的频率不断增加及其广泛的社会经济影响,迫切需要为马来西亚开发可靠高效的基于降雨的洪水风险预报系统(Praveen等,2020)。因此,本研究的目标是通过确定仅使用历史降雨数据是否能够利用先进的ML技术可靠地分类高、低风险降雨日,从而为开发此类系统做出贡献,并为开发实用的数据驱动早期预警系统提供基础,以增强该国对极端水文事件的韧性。
水气象学对降雨预报的关注对于支持洪水预防、水资源规划管理和农业管理至关重要。在传统水气象学研究中,研究人员利用统计和数值天气预报(NWP)技术来预报降雨强度;然而,这些传统的NWP和统计模型依赖于确定性、线性关系,在模拟热带降雨的混沌、非线性本质方面能力有限。数据驱动方法的最新发展催生了机器学习(ML)模型的出现,这些模型可以直接从数据中对复杂的、非平稳的降雨动力学进行建模。
大多数以往的研究将降雨预报定义为回归或时间序列建模问题,主要专注于预报以毫米为单位的总降雨量。然而,在洪水管理背景下,主要的作业问题是预报的降雨是否会超过与局部洪水相关的关键洪水阈值。因此,将降雨预报定义为分类问题,例如降雨是否会超过指定的关键洪水阈值如每天50毫米,为开发早期预警系统提供了一种更简单、更具作业相关性的方法。每天50毫米的关键洪水阈值在热带地区得到了实证证据的强烈支持;例如,50毫米的降雨在马来西亚沙亚南低地斯里慕达园造成了齐膝深的洪水(Hamid等,2024);因此清楚地表明严重局部洪水风险的开始。此外,这一数值在气象背景下通常被认为是表征强降雨的最小降雨量(Kolios and Papavasileiou, 2024;Shi等,2023)。尽管马来西亚气象局(MET Malaysia)将中雨定义为每天10毫米至60毫米,并且仅在预期连续降雨超过24小时150毫米时发布恶劣天气警报,但有理由将每天50毫米指定为关键洪水阈值,原因是文献中有记载的破坏性局部影响(Hamid等,2024;Ng等,2026)。在作业上,50毫米/天落在干旱监测研究中使用的"相当大雨"日降雨分类(33.5毫米至64.4毫米)范围内(Alahacoon, Edirisinghe, & Ranagalage, 2021)。此外,50毫米/天的分类阈值意义重大,因为卫星产品(如GPM)倾向于在降雨超过每天50毫米时低估强降雨(Ng等,2026);地面微波辐射计的类似局限性也得到了确认,这些设备在强降雨事件期间通常少报降雨率(Wang, Hocke, & M?tzler, 2021)。因此,基于局部观察到的强降雨破坏性后果和国际强降雨表征,每天50毫米是开发具有作业相关性的早期预警系统中分类低风险与高风险洪水风险的合适阈值。
多种机器学习算法(决策树、随机森林、支持向量机等)在模拟非线性降雨行为方面表现出强大的性能。例如,Reddy等(2022)证明,将奇异谱分析(SSA)与SVR集成使预测性能比单独的SVR提高了14%(Reddy等,2022)。Yin等(2022)将基于分位数的偏差校正与SVM应用于日本39小时逐时降雨预报,将夏冬月之间的相关系数从0.29提高到0.49(Yin, Yoshikane, Yamamoto, Kubota, & Yoshimura, 2022)。Amir等(2025)**提出的高效线性支持向量机(ELSVM)的结果喜忧参半;ELSVM在日预报中显示出R2(R2)为0.3868的性能(Farhan, Zurina, Adarsh, Sherif, & Ahmed, 2025)。一致地,基于树的集成模型在降雨预测方面表现良好。Ridwan等(2020)报告称,增强决策树回归的月度预报R2为0.9998,日度和周度预报为0.55至0.98(Ridwan等,2020)。Bojang等(2020a, 2020b)证明决策森林回归可以有效表征多个时间尺度的降雨变异性(Bojang等,2020)。决策树也展现出了强大的分类性能,Balamurugan和Manojkumar(2019)证明了短期降雨分类77%的准确率和0.91的精确率(Balamurugan & Manojkumar, 2019)。Ganapathy等(2024)证明了XGBoost在分析大规模降雨数据集方面的计算效率(Ganapathy等,2024),而Anwar等(2021)使用XGBoost在印度尼西亚气象数据上实现了8.8毫米的测试平均绝对误差(MAE),并确定相对湿度和温度是关键预测因子(Anwar, Winarno, Hadikurniawati, & Novita, 2021)。Kumar等(2024)证明了XGBoost在德里周度预报中的R2为0.99,从而确认了XGBoost在时空降雨预测中的稳健性(Kumar等,2024)。
虽然这些文献主要关注回归,但由于这些集成算法可以被训练以学习决策边界,它们同样能够执行基于阈值的分类任务,例如确定某次降雨事件是否会导致洪水。这里提到的四种GBM方法(XGBoost、LightGBM、CatBoost)各有独特优势:它们都能高效处理小型、噪声数据集;它们都包含某种形式的内置正则化;每种方法都能产生可通过SHAP特征重要性解释的输出。正如Ajin等(2025)近期进行的一项研究所描述的,CatBoost被用于开发罗马尼亚(布扎乌河流域)的洪水易发性图(FSMs),并产生了优于其他方法的总体结果(CatBoost AUC = 0.972)(Ajin, Costache, B?rbulescu, Fanti, & Segoni, 2025)。此外,Phong等(2023)证明了CatBoost在越南同样取得成功(CatBoost AUC = 0.94,测试集)(Phong, Nguyen, & Pham, 2023)。CatBoost允许用户在不需要显式预处理这些变量的情况下处理类别变量,这得益于"有序提升",并使用"对称树"来限制过拟合(Ajin等,2025)。在伊朗进行的另一项研究表明,使用斑马优化算法优化CatBoost算法显著提高了FSM精度(87.2%),比基线提高了3%(Razavi-Termeh, Sadeghi-Niaraki, Abba, Hussain, & Choi, 2025)。
Kurugama等人(2024)证明,在斯里兰卡开发洪水易发性模型(FSM)时,LightGBM可以产生更优越的预测性能(LightGBM AUC = 0.970)(Kurugama, Kazama, Hiraga, & Samarasuriya, 2024),而Saber等人(2023)在越南潮湿的武桂-周荣盆地实现了最高AUC(99.5%),并证明在极少量训练数据下依然有效(Saber et al., 2023)。LightGBM采用"叶优先生长策略",并结合梯度单边采样(GOSS)和独享特征捆绑(EFB)等技术,以提升训练速度和内存效率(Kurugama et al., 2024, Liu et al., 2024)。LightGBM是Liu等人(2024)开发的用于住宅财产损失快速临近预报的FloodDamageCast机器学习框架的核心组件(Liu et al., 2024)。XGBoost在Rondinone等人(2025)的研究中在分类任务上表现强劲,包括在意大利统一多灾种制图中的近乎完美的表现,洪水易发性分类准确率达100%(Rondinone et al., 2025)。低海拔和高排水密度被确定为该地区两个关键的洪水因素(Rondinone et al., 2025)。在Yasper等人(2023)于印度尼西亚坤甸市的研究中,XGBoost将学习率优化至0.204后,在二元降雨分类中取得了95%的准确率、精确率、召回率和F1分数(Yasper, Handoko, Putra, Aliwarga, & Rosid, 2023)。该模型目前也被应用于印度尼西亚比通市,将BMKG历史日数据与OpenWeather API实时小时数据相结合(Syah, Nardi, & Rachmawardani, 2025),利用了XGBoost的正则化和并行计算特性(Rondinone et al., 2025, Syah et al., 2025)。
深度学习(DL)模型已极大地推动了降雨预报的发展,特别是针对大规模、多变量数据集。前馈神经网络(FNN)和多层次感知器(MLP)有效地捕捉了降雨之间的非线性关系。例如,Praveen等人(2020)发现,MLP模型在长期降雨趋势预测方面提供了显著改善,R值超过0.9(Praveen et al., 2020);而Raval等人(2021a, 2021b)表明,超参数优化后RMSE降低了15%(Raval et al., 2021)。Wang等人(2021a, 2021b)利用小波包分解改进了反向传播神经网络(BPNN),产生了3.7 mm的RMSE和0.998的R值,在应对非平稳降雨数据方面优于ARIMA(Wang et al., 2021)。长短期记忆网络(LSTM)也展示了卓越的性能。Chen等人(2022)报告在土耳其月度降雨预测中,RMSE比随机森林模型改善了12-15%(Chen et al., 2022),而El-Kenawy等人(2023)使用优化的LSTM实现埃塞俄比亚降雨预测时,RMSE为19.12 mm,R2 = 0.61(El-kenawy et al., 2023)。最近,基于Transformer的模型已被开发以提升时空精度。Amanambu等人(2022)报告干旱预报的R2值为0.92-0.93(Amanambu, Mossa, & Chen, 2022),Civitarese等人(2021)通过长程依赖学习展示了降水预报精度的提升(Civitarese, Szwarcman, Zadrozny, & Watson, 2021)。虽然DL模型在许多领域取得了成功,但这些模型也存在局限性,包括需要大规模多变量数据集和大量计算资源才能达到最优性能(Grinsztajn et al., 2022, Pinheiro and Ouarda, 2025, Rather et al., 2024)。此外,DL模型通常具有"黑箱"特性,限制了它们对决策过程进行解释的能力,这对于操作预报来说很重要(Pinheiro and Ouarda, 2025, Rather et al., 2024)。另一方面,梯度提升算法提供了数据高效、稳定且可解释的替代方案,能够在极少或无多变量降雨数据的情况下产生高质量的预测性能(Ejike et al., 2025, Grinsztajn et al., 2022, Pinheiro and Ouarda, 2025, Shavitt and Segal, 2018)。
随着预测建模的不断演进,可解释人工智能(XAI)也在同步发展。XAI的重要性在于使机器学习模型既值得信赖又可理解。诸如SHapley加性解释(SHAP)和局部可解释模型无关解释(LIME)等技术使用户能够看到哪些特定输入特征对预测结果贡献最大。例如,Patel和Shah(2024)表明SHAP和LIME在识别与极端降雨事件相关的气象特征方面是有效的(Islam et al., 2025),类似地,Dikshit和Pradhan(2021)将XAI应用于干旱建模时识别最具影响力的环境因素(Dikshit & Pradhan, 2021)。Kim等人(2023)结合使用特征归因和概率校准,展示了它们如何同时提升预报的可靠性和透明度(Kim et al., 2023)。相关领域的其他作者也展示了XAI的实用性;例如,Collini等人(2022)指出降雨是滑坡模型中的主要变量(Collini et al., 2022);Abdollahi和Pradhan(2023)证明降雨是决定野火易发性的重要因素(Abdollahi & Pradhan, 2023);Mardian等人(2023)、Retsch等人(2022)和Wei等人(2024)都展示了XAI如何提高用户理解各类水文极端事件和洪水过程的能力(Mardian et al., 2023, Retsch et al., 2022, Wei et al., 2024)。因此,将SHAP整合到基于树的梯度提升中,将为为何某些降雨模式被归类为高风险提供透明解释,并为早期预警系统同时提供准确性和可解释性。
总之,目前有大量研究正在使用机器学习(ML)和深度学习(DL)来开发新的降雨预测方法。表1总结了展示过去几年降雨预报方法演进的key文献。虽然大规模降雨预测主要由深度学习方法主导,但深度学习需要大量数据才能正常运行,且相对不透明。因此,在马来西亚等热带地区,由于降雨数据集通常较小且为单变量,深度学习方法可能不如基于集成学习的梯度提升技术有用。梯度提升技术数据高效、可解释,并且可以将降雨分类为离散类别(高/低风险),而非预测连续的降雨值。因此,基于先前已成功开发和测试这些技术的工作,本研究使用CatBoost、LightGBM和XGBoost,并将其应用于二元分类框架中,预测给定日期是否会经历高或低风险降雨,并使用SHAP为每个模型增加透明度和可解释性。
洪水风险管理、水资源规划和灾害准备都严重依赖于降雨预报(Bojang et al., 2020a, Farhan et al., 2025, Kumar et al., 2024)。由于其季风气候模式产生了非常不规则且往往难以预测的降雨模式(Ejike et al., 2025, Farhan et al., 2025),马来西亚在降雨预报方面面临特殊挑战。尽管统计技术和数值天气预报模型已被用于预报降雨数十年,但它们已被证明无法充分描述降雨复杂且非线性的行为,特别是在处理极端天气事件时(Balamurugan and Manojkumar, 2019, Barrera-Animas et al., 2021, Bojang et al., 2020a)。最近采用ML的研究表明,在世界各地许多地点提高降雨预报精度方面具有巨大潜力(Ejike et al., 2025, Kumar et al., 2024)。然而,由于数据质量和可用性的缺乏,其在马来西亚的应用目前仍然有限(Amanambu et al., 2022, Ejike et al., 2025, Liyew and Melese, 2021)。在存在长期完整降雨记录的地方,可以开发各种可靠的回归、分类和时间序列模型来描述季节性和时间趋势(Amanambu et al., 2022, Hu et al., 2023, Yin et al., 2022)。相反,马来西亚的许多地区和其他热带地区降雨数据有限,这在开发相关模型时造成了重大挑战(Ejike et al., 2025, Orozco López et al., 2024, Salaeh et al., 2022)。此外,降雨固有的噪声特性进一步加剧了这一挑战,经常导致回归性能不稳定,并使DL方法不适用,因为DL方法需要大得多的训练数据集(Barrera-Animas et al., 2021, Bojang et al., 2020a, Farhan et al., 2025, Hu et al., 2023, Liyew and Melese, 2021, Rather et al., 2024)。为了应对这些挑战,本研究使用了一个10年的日降雨数据集(包含3489个观测值),仅关注2月、3月和4月,对应研究区域东北季风的降雨高峰期。由于数据集规模小且变异性大,回归方法被确定为不可靠的,而DL方法被认为不切实际。因此,预报问题被重新构建为二元分类任务,旨在预测第二天是低风险洪水日(Class 0:低于50 mm)还是高风险洪水日(Class 1:高于50 mm)。本研究使用了三种梯度提升算法:CatBoost、LightGBM和XGBoost。这些模型特别适合处理小规模噪声数据集,因为它们能够有效捕捉复杂的非线性关系,同时利用内置的正则化技术来最小化过拟合(Ajin et al., 2025, Farhan et al., 2025, Kurugama et al., 2024, Li et al., 2024, Phong et al., 2023, Razavi-Termeh et al., 2025, Rondinone et al., 2025, Saber et al., 2023)。将它们与持续模型(即假设第二天的洪水风险与今天的洪水风险相同)的表现进行比较,作为评估ML方法能否产生有意义的改进的有用基准。
即使数据有限,能够可靠地预测高风险降雨日也能在实践中提供有价值的益处。可靠的预报可以为地方当局提供早期预警,使他们能够及时采取预防措施,以减少洪水对社区和基础设施的影响(Chen et al., 2022, Collini et al., 2022, Farhan et al., 2025, Islam et al., 2025, Pirone et al., 2022, Syah et al., 2025)。此外,本研究还探讨了在数据稀疏地区能否做出准确且具有操作性的洪水风险预测,这一问题对于许多具有类似气候条件和数据限制的地区仍然具有重要意义(Ajin et al., 2025, Ejike et al., 2025, Farhan et al., 2025)。
本文旨在研究是否能仅使用小规模、噪声且单变量的数据集,构建一个可靠的二元分类系统用于洪水风险预报。在许多发展中地区,缺乏全面的径流或水位测量等水文数据,使得传统洪水建模无法实现(Razavi-Termeh et al., 2025, Saber et al., 2023, Salaeh et al., 2022)。因此,本研究评估基于肯尼河盆地10年日降雨数据训练的机器学习模型,能否准确分类高风险洪水日(定义为降雨≥50 mm/天,这是一个有实证支持的关键洪水风险阈值)。
通过证明即使在数据严重缺乏的情况下也能开发出稳健的早期预警框架,本研究做出了三项具体贡献:
1. 确立了在数据匮乏环境中仅使用极少量单变量降雨数据即可实现具有操作实用价值的洪水风险预报。
2. 提出了一种双目标调优框架,产生两个在操作上不同的模型变体:召回率调优模型用于最大事件检测,精确率调优模型用于最少误报。
3. 利用SHAP分析不仅进行特征排序,还验证模型学习到的决策边界是否与已建立的区域水文过程一致。
案例研究
本研究重点关注马来西亚半岛东部,该地区具有热带雨林气候,受赤道辐合带(ITCZ)影响显著(Ejike et al., 2025),年降雨量较高(2000 mm-3000 mm)(Ejike et al., 2025, Ridwan et al., 2020, Wahab et al., 2023)。以东北季风(11月至次年3月)为主的高强度、长持续期降雨导致该地区发生洪涝事件(Phong et al., 2023, Ridwan et al., 2020)。为减轻洪涝事件并管理自
探索性数据分析
在特征工程和数据划分之前,进行了探索性数据分析以研究和了解数据集。探索性数据分析结果在本节中展示。
分类性能评估
训练集、验证集和测试集的统一分类结果汇总在表10中。
该评估全面考察了梯度提升模型学习降雨—洪水关系的效果,与持续性基准模型进行了对比,同时评估了模型在未见数据上的泛化能力及其实际应用可靠性。这些结果的可视化呈现见统一的混淆矩阵(图11)。在训练阶段,持续性模型的表现如下——结论:本研究成功表明,仅使用每日降雨数据,无需辅助的气象或水文变量,即可产生对马来西亚洪水风险管理具有实际价值的预测。梯度提升算法(特别是LightGBM)在未见测试集上表现优于基线模型——持续性模型。持续性模型在第一类(高洪水风险日)的精确率和召回率仅为0.3684,作为第一类的基准——CRediT作者贡献声明:Yusuf Esam:概念化、方法论、数据整理、调研、软件、形式分析、撰写初稿、可视化。Sharareh Pourebrahim:监督、撰写—审阅与编辑。Mehrdad Hadipour:监督、撰写—审阅与编辑。Ahmed El-Shafie:概念化、监督、形式分析、验证、撰写—审阅与编辑。Marlinda Abdul Malek:概念化、监督、形式分析、验证、撰写—审阅与编辑。Farhan Ammar——未引用参考文献:Islam等人,2025年;Poola,2021年。利益冲突声明:作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。致谢:本研究由GRTIN-RAG(02)-JSC-01-2024资助。Yusuf Esam | Sharareh Pourebrahim | Mehrdad Hadipour | Ahmed El-Shafie | Marlinda Abdul Malek | Farhan Ammar Fardush Sham | Ali Najah Ahmed