UQEF-Dynamic:一种可扩展的开源工具,用于时变模型输出的前向不确定性量化与全局敏感性分析

《Environmental Modelling & Software》:UQEF-Dynamic: A scalable open-source tool for forward uncertainty quantification and global sensitivity analysis of time-varying model outputs

【字体: 大 中 小 】 时间:2026年06月27日 来源:Environmental Modelling & Software 5.2

编辑推荐:

  伊万娜·约万诺维奇·布哈|托比亚斯·内克尔|弗洛里安·昆茨纳|汉斯-约阿希姆·邦加茨慕尼黑工业大学计算、信息与技术学院科学计算系,地址:德国巴伐利亚州加兴市博尔兹曼街3号,邮编85748摘要本文介绍了UQEF-Dynamic,这是一种开源的Python工具,用于对具有时变输出的系

  伊万娜·约万诺维奇·布哈|托比亚斯·内克尔|弗洛里安·昆茨纳|汉斯-约阿希姆·邦加茨慕尼黑工业大学计算、信息与技术学院科学计算系,地址:德国巴伐利亚州加兴市博尔兹曼街3号,邮编85748摘要本文介绍了UQEF-Dynamic,这是一种开源的Python工具,用于对具有时变输出的系统模型进行正向不确定性量化与敏感性分析,这类系统包括水文和环境系统。现有的工具很少能够处理具有向量或函数型输出的高维、计算成本高的模型,也无法充分利用现代高性能计算技术。UQEF-Dynamic通过一个可扩展、便携的框架解决了这些问题,该框架支持基于采样的方法以及非侵入式的多项式混沌展开方法,并通过卡胡宁-洛夫近似方法降低输出维度,同时还能生成时变和广义的索伯尔敏感性指数。除了这款软件,本文还对这些方法背后的数学原理进行了统一阐述。我们通过两个案例展示了该框架的应用:一是对HBV-SASK水文模型进行分析,据我们所知这是对该模型最全面的分析;二是为24维电化学电池模型构建卡胡宁-洛夫近似模型。实验结果表明,UQEF-Dynamic能够高效地分析模型在不同条件下的行为,并提供更深入的洞察力。引言正向不确定性量化是一种通过模型传递输入参数的不确定性,以评估其对目标输出的影响(参见Smith, 2013)。全局敏感性分析则进一步补充了正向不确定性量化,它能够在考虑所有可能的不确定参数空间范围内,量化每个不确定输入对总输出不确定性的贡献。全局敏感性分析有助于深入了解模型行为,识别出有影响力或无影响力的参数(Saltelli等人,2008),从而可能降低后续分析的成本,比如更详细的正向不确定性量化或模型校准。如今,这两者都被视为科学界良好建模实践的必备要素(Saltelli, 2002; Pianosi等人,2016),但由于输入参数空间的高维性以及巨大的计算成本,它们的应用往往面临挑战。蒙特卡罗采样是最常用的正向不确定性量化技术,它简单易行、高度并行化,且能够处理高维问题(Metropolis和Ulam, 1949; Robert和Casella, 2013; Kim等人,2022),但对于计算资源密集型的模型来说,其计算成本很高。多项式混沌展开则提供了一种强大的替代建模方法,它将不确定的输出表示为正交多项式序列(Wiener, 1938; Xiu和Karniadakis, 2002; Xiu, 2010),从而能够高效地进行正向不确定性量化,同时还可以通过多项式系数分析得出敏感性指数(Sudret, 2008)。在全局敏感性分析的各种指标中,基于方差的索伯尔指数应用最为广泛,因为它不需要假设模型的线性或单调性(Sudret, 2008; Constantine和Diaz, 2017; Sun等人,2022),并且能够量化单个参数及其相互作用对总输出方差的影响;这里将方差视为一种成熟且应用广泛的不确定性度量标准(不过当输出分布严重不对称或多模态时,需谨慎解读这一指标,Zadeh等人,2017; Baroni和Francke, 2020)。我们将这些指标纳入UQEF-Dynamic,是因为它们无需依赖模型、易于理解,且在环境建模中得到了广泛应用(Pianosi等人,2016)。虽然还有其他方法如PAWN(Pianosi和Wagener, 2015; Pianosi和Wagener, 2018)以及VARS(Razavi和Gupta, 2016; Razavi和Gupta, 2019)出现,但它们并非本文的重点。许多用于模拟现实世界现象的模型,比如环境系统和动态系统,都会产生随时间变化的输出。相比之下,现有的关于正向不确定性量化与全局敏感性分析的多数研究都是针对标量输出作为目标量进行的。要将这些方法扩展到向量值输出,则面临着更多挑战:若要逐时间点应用这些方法,就需要对Nt个时间步骤分别进行分析,这不仅会导致内存需求大幅增加和计算成本上升,还会忽略模型输出中的重要时间相关性。为了解决这些问题,就需要确定合适的目标量,并构建一个能够高效处理多个目标量的计算框架(Alexanderian等人,2020)。最近的研究越来越多地建议引入中间代理模型,这类模型能够在紧凑的低秩表示中保留不确定输出的动态信息和时间相关性,从而实现更高效的正向不确定性量化与敏感性分析(Nagel等人,2020; Mai等人,2016; Alexanderian等人,2020)。数据驱动的深度学习为构建时间序列输出的代理模型提供了另一种强大手段(Blundell等人,2015; Gal和Ghahramani, 2016; Fortunato等人,2019; Kratzert等人,2019; Chu等人,2020; Klotz等人,2022)。一旦模型训练完成,推理过程就十分快速,而且能够处理高维输入,而许多传统正向不确定性量化方法则难以做到这一点;不过,这类代理模型得出的不确定性估计与结构化正向不确定性量化中所追求的参数不确定性有所不同,而且它们也无法自然地提供参数敏感性信息。因此,我们在这里重点介绍那些能够明确显示哪些输入因素影响模型行为的分析方法。目前有许多软件工具可用于正向不确定性量化与敏感性分析,这些工具在复杂性、功能、支持的编程语言以及应用领域方面差异很大。其中较为著名的通用工具包括:Dakota(Adams等人,2024)——这是一个功能完备的C++库,支持多种正向不确定性量化、敏感性分析及优化算法,尤其注重高性能计算支持;OpenTURNS(Baudin等人,2017)——这是一个科学领域的C++/Python库,提供了多种数据分析、不确定性分析及可视化工具;UQLab(Marelli和Sudret, 2014)——这是一个基于MATLAB的框架,支持多种算法,其中包括基于稀疏回归的多项式混沌展开方法;MUQ(Parno等人,2021)——这是一套C++/Python工具集,用于贝叶斯推断、代理建模以及高性能随机模拟;PyApprox(Jakeman, 2023)——这是一个Python工具,用于多保真度方法、代理建模、贝叶斯推断以及高效敏感性分析;SALib(Herman和Usher, 2017)——这是一个Python库,提供了多种敏感性分析方法,但其并行能力有限,且不支持高性能计算;还有UQpy(Olivier等人,2020)——这是一个通用的Python框架,用于正向不确定性量化与可靠性分析。与我们的工作尤为相关的是Chaospy(Jonathan, 2019),这是一个Python工具箱,为概率建模以及众多正向不确定性量化与敏感性分析算法提供了全面的支持。针对环境和水文建模领域的专用工具还包括SAFE工具箱(Pianosi等人,2015)——该工具箱采用了PAWN方法;VARS-TOOL(Razavi等人,2019)——该工具箱用于VARS分析;此外还有诸如DREAM(Vrugt, 2016)和PyEMU(White等人,2016)之类的以模型校准为目标的工具。鉴于正向不确定性量化与敏感性分析相关软件的多样性,上述列表显然不能涵盖所有工具。总体而言,这些工具为科研和工业领域中的正向不确定性量化与敏感性分析工作构成了一个强大的生态系统。然而,许多工具都存在一些显著的问题,比如学习曲线较陡、安装体积庞大、对Python的支持有限,或者并行能力及高性能计算功能不足。在那些同时支持正向不确定性量化与敏感性分析的通用框架中,虽然具备处理时变输出的功能,但这些功能并未整合到可直接使用的流程中。用户必须手动组合各种相关组件,比如卡胡宁-洛夫分解、逐时间步的代理建模以及敏感性指数计算,同时还要依靠各个库所提供的丰富算法功能来构建自己的分析流程。与之相反,像SALib、VARS-TOOL和SAFE这样的工具则仅专注于敏感性分析,不支持正向不确定性传播。因此,那些希望同时获得时变不确定性区间和敏感性指数的用户,不得不结合使用多种工具。此外,在环境和水文建模领域——也就是我们的主要应用领域——大多数敏感性分析应用仍然局限于时间聚合后的索伯尔指数(Laloy等人,2013; Baroni和Tarantola, 2014; Gupta和Razavi, 2018; Wang等人,2020; Koo等人,2020; Basijokaite和Kelleher, 2021; Tran和Kim, 2021),而时变分析的应用则相对较少;基于多项式混沌展开的时变输出代理模型也只是近才受到关注,而且大多仅适用于低维场景和低阶展开(Fan等人,2015; Miller等人,2018; Hu等人,2019)。UQEF-Dynamic正是为了解决上述部分问题而开发的,其研发动力源自一个环境建模项目的要求。在开发过程中,我们并未发现现有工具能够同时满足所有关键要求:首先,需要一个集成化的流程,用于对具有时变或向量值目标量的模型进行正向不确定性量化与敏感性分析;其次,需要支持一些新近提出的方法,比如基于秩的索伯尔估计器、广义索伯尔指数以及用于降低输出维度的代理学习方法;第三,需要具备完善的后期处理与可视化功能;第四,需要支持基于MPI的高性能计算环境下的并行执行。在本文中,我们介绍了UQEF-Dynamic,这是一款通用的开源Python工具,可用于对具有时变或向量值输出的系统模型进行正向不确定性量化与全局敏感性分析,它具备从开发系统到高性能计算集群的跨平台扩展能力。UQEF-Dynamic建立在不确定性量化执行框架UQEF(Künzner, 2021)的基础上,继承了它的核心架构以及具有动态调度功能的并行模型执行引擎,同时还扩展了针对时变正向不确定性量化与敏感性分析的更多方法、针对时间序列模型的基础类、并行化的统计计算功能,以及专门的后期处理与可视化流程。UQEF-Dynamic依赖于Chaospy工具箱(Feinberg和Langtangen, 2015)来实现概率建模以及核心的不确定性量化/敏感性分析算法,依赖Pandas来高效处理和时间序列模拟数据的后期处理,还依赖Plotly来进行可视化。该工具支持两种主要的不确定性量化/敏感性分析方法:基于采样的方法,包括蒙特卡罗采样、准蒙特卡罗采样、所谓的无抽样Saltelli等人,2010年的方法以及基于秩的Gamboa等人,2022年的索伯尔估计器;还有基于多项式混沌展开的方法,包括回归法Berveiller等人,2006年以及伪谱投影法Xiu, 2010,此外还支持基于稀疏基和稀疏网格的选项Blatman和Sudret, 2011。该工具还支持基于卡胡宁-洛夫展开与多项式混沌展开相结合的方法来构建针对时变输出的紧凑型代理模型(Alexanderian等人,2020),同时还能计算近期提出的广义索伯尔指数(Gamboa等人,2014; Alexanderian等人,2020),这类指数是针对具有向量或函数型目标量的模型而设计的,可作为时变索伯尔指数的替代方案。本研究的主要贡献包括:首先,是一款开源的、原生Python版本的软件工具,可用于对具有时变或向量值输出的系统模型进行正向不确定性量化与全局敏感性分析,该工具还提供了基础类、示例流程与脚本、Jupyter笔记本以及配置文件,以便实现结果的可重复性并便于用户使用;其次,拥有一个统一的代码库,整合了多种不确定性量化与敏感性分析方法,使得用户能够在同一框架内系统地比较不同方法的效果,还能基于同一组模型运行结果,全面评估各参数的重要性;再次,提供了所实现算法背后数学原理的完整概述,将关键信息集中呈现,方便用户无需查阅多个原始资料就能充分理解相关内容;第四,实现了模型评估与逐时间步统计计算的二级并行化,从而使该工具能够在高性能计算系统上处理高维参数空间和长时间序列输出;最后,通过两个相互补充的案例研究展示了该工具的全部功能。我们通过两个精心挑选的案例研究来展示UQEF-Dynamic的功能,这两个案例涵盖了该工具的所有核心功能。该工具最初是出于水文领域的应用需求而开发的,我们选择了HBV-SASK水文模型(Gupta和Razavi, 2018; Razavi和Gupta, 2019)作为案例,这是一个成熟的基准模型,我们利用它逐步展示了UQEF-Dynamic所能支持的所有分析流程:正向不确定性传播、聚合与时变索伯尔敏感性分析、广义索伯尔指数分析、行为过滤分析,以及多目标量分析,所有这些分析都可以在同一个统一的高性能计算框架下,通过多种估算方法来完成,包括蒙特卡罗采样、准蒙特卡罗采样、基于秩的估计器以及基于多项式混沌展开的方法。据我们所知,此前还没有研究从如此综合的方法论和计算角度来分析这个模型;完整的分析内容详见第4.1节。由于该模型的计算成本相对较低,因此非常适合用于这种系统的比较分析。第二个案例研究则选择了一个真正能够体现代理模型优势的场景:Doyle–Fuller–Newman锂离子电池模型,该模型有24个不确定参数和600个离散时间步骤(Zonta等人,2026)。在这个案例中,我们展示了如何构建一个精确的卡胡宁-洛夫近似模型,该模型在评估电池的电压响应速度上远远快于原始模型,同时还能准确再现模型的动态特性,因此非常适合用于后续的任务,比如概率模型校准(具体定量结果见第4.2节)。通过这两个案例研究可以看出,UQEF-Dynamic既可作为中等复杂度模型的全面分析工具,也可作为高维、计算成本高昂的模型的代理模型构建平台。本文的其余部分结构如下:第2节将对正向不确定性量化与敏感性分析的数学基础及相关算法进行简要介绍,一些理论细节则放在附录中。第3节将描述UQEF-Dynamic的功能。第4节将介绍这两个案例研究,第5节则讨论研究结论及未来的工作方向。章节片段正向不确定性量化与敏感性分析的数学基础及相关算法在本节中,我们将明确相关符号,简要总结UQEF-Dynamic中所实现的不确定性量化与敏感性分析方法,并通过一个标准的分析基准案例来演示这些方法的应用。PCE系数计算和Sobol’指数估计的详细推导分别见附录A和附录B。UQEF-Dynamic是一个用于高效进行时变全局灵敏度与不确定性分析的工具箱,它是不确定性量化执行框架(UQEF)工具箱(Künzner, 2021)的扩展版本,具有针对那些以时变信号作为输出量的模型而设计的特性。这两种工具的关键方面和功能在图2中有所展示。从UQEF继承来的元素以蓝色显示,而UQEF-Dynamic新增的元素则以黄色显示;第3.2节将对所继承的内容以及新添加的内容进行详细说明。这两种工具都依赖于一些核心库。

案例研究
为展示UQEF-Dynamic工具的功能,我们现在介绍两个具有代表性的应用案例,以体现其多功能性和高效性。

结论与展望
本文介绍了UQEF-Dynamic,这是一个开源的Python工具,可用于对具有时变输出的模型进行正向不确定性量化及全局灵敏度分析。为便于读者全面了解各种支持的方法,我们首先对数学基础进行了全面概述,将基于采样的方法和基于PCE的方法统一到同一个框架中,用于处理时变正向传播和灵敏度分析问题。这样的整合具有重要的意义。

CRediT作者贡献声明
Ivana Jovanovi? Buha:撰写——初稿,可视化,验证,软件,方法论,研究,形式分析,数据整理,概念构建。Tobias Neckel:撰写——审阅与编辑,方法论,概念构建。Florian Künzner:撰写——审阅与编辑,可视化,软件,方法论。Hans-Joachim Bungartz:撰写——审阅与编辑,指导。

资金支持
本研究未获得公共、商业或非营利领域任何资助机构的特定资助。

未引用的参考文献
Puy等人(2020年),Puy等人(2021年)

利益冲突声明
作者声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。

致谢
我们使用的HBV-SASK降雨-径流模型及相关数据来自VARS-Tool软件包(http://vars-tool.com/)。电池模型及其数据的设置是在Elia Zonta的帮助下完成的。此外,作者们还要感谢莱布尼茨超级计算中心(LRZ)(www.lrz.de)提供的计算和数据资源。最后需要指出的是,这项工作的最初动机源于“Wasser-Zukunft-Bayern”计划中的HydroBITS项目的要求。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号