多保真延迟接受:基于深度神经网络融合多求解器的贝叶斯逆问题层次马尔可夫链蒙特卡罗采样

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》:Multi-fidelity delayed acceptance: Hierarchical MCMC sampling for Bayesian inverse problems combining multiple solvers through deep neural networks

【字体: 大 中 小 】 时间:2026年03月26日 来源:COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING 7.6

编辑推荐:

  逆不确定性量化(UQ)任务(如参数估计)在处理基于物理的模型时计算需求巨大,通常需要重复评估复杂的数值求解器。当涉及偏微分方程(PDE)时,基于有限元法(Finite Element Method, FEM)等全阶模型可能使传统的采样方法(如马尔可夫链蒙特卡罗

  
逆不确定性量化(UQ)任务(如参数估计)在处理基于物理的模型时计算需求巨大,通常需要重复评估复杂的数值求解器。当涉及偏微分方程(PDE)时,基于有限元法(Finite Element Method, FEM)等全阶模型可能使传统的采样方法(如马尔可夫链蒙特卡罗,Markov Chain Monte Carlo, MCMC)在计算上不可行。尽管数据驱动的代理模型有助于降低评估成本,但其实用性常因生成高保真数据的昂贵成本而受限。相比之下,低保真数据可以更高效地生成,但仅依赖它们可能会降低逆UQ解的精度。为应对这些挑战,研究人员提出了一种面向大规模基于物理模型的贝叶斯逆问题的多保真延迟接受方案。该方法扩展了多层次延迟接受(Multi-Level Delayed Acceptance, MLDA)框架,引入了多保真神经网络,该网络结合了不同保真度求解器的预测,高保真评估仅限制在离线训练阶段。在线阶段,似然评估通过计算粗求解器并将其输出传递给训练好的神经网络获得,从而避免额外的高保真模拟。这种构造允许异构粗求解器在层次结构中一致地整合,比标准MLDA提供更大的灵活性。所提出的方法提高了低保真求解器的逼近精度,从而实现了更长的子链长度、更好的混合性和加速的后验推断。该策略的有效性在两个基准逆问题上得到验证,涉及(i)稳态各向同性地下水流,(ii)非稳态反应-扩散系统,在这两个问题中均获得了显著的计算节省。
**论文解读:多保真延迟接受MCMC——基于深度神经网络融合多求解器的贝叶斯逆问题高效采样**

**研究背景与动机**

在许多工程应用中,参数估计是设计、优化和控制复杂系统的关键环节。从流体动力学到微机电系统,数学模型的精度直接影响系统性能甚至安全性。这些模型常涉及偏微分方程(PDE)的求解,而贝叶斯方法因其能提供包括后验分布在内的丰富概率信息,成为参数估计(逆不确定性量化,UQ)的有力工具。然而,贝叶斯推断通常依赖马尔可夫链蒙特卡罗(MCMC)方法,其在每次迭代中都需要求解高保真PDE模型,当模型规模庞大时,计算成本变得极其高昂。

现有的加速策略包括使用代理模型替代高保真求解器,但数据驱动代理模型需要大量高保真训练数据,其生成成本同样昂贵。另一类方法是多层次延迟接受(MLDA)框架,它通过构建保真度递增的求解器层次结构,利用低成本粗模型提前拒绝不良候选解,从而减少高保真评估次数。然而,MLDA的效率严重依赖于不同保真度层级之间后验近似的一致性。当粗模型存在不可忽略的偏差时,在粗层级被接受的候选解可能在细层级被拒绝,导致混合效率低下,甚至需要回流到高保真模型,削弱了多保真策略的计算优势。

为克服这一限制,研究人员提出了多保真延迟接受(Multi-Fidelity Delayed Acceptance, MFDA)方案,该工作发表在《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》上。其核心思想是将MLDA的过滤结构与基于神经网络(NN)的多保真融合技术相结合,利用多个粗求解器的输出训练NN,以学习一个能有效校正粗模型与高保真模型之间差异的映射,从而在保持后验精度的同时大幅提升采样效率。

**关键技术与方法**

1. **多保真神经网络(Multi-fidelity NN)融合**:构建前馈神经网络,以参数向量θ以及所有粗求解器(fLF)的输出作为输入,以高保真模型(fHF)的输出作为目标进行离线训练。该网络学习一个非线性映射FMF,将多源低保真信息融合为高保真预测,有效校正粗求解器的偏差。对于高维输出问题(如反应-扩散系统),先对高保真解进行本征正交分解(Proper Orthogonal Decomposition, POD)降维,在POD系数空间中进行NN训练和预测,再将结果投影回全空间。
2. **多层次延迟接受(MLDA)采样框架**:保留MLDA的层次过滤结构。在离线训练完成后,在线采样阶段仅需运行粗求解器和NN。在每个保真度层级l,对应的多保真NN fMF(l)(其输入包含从第1到第l层级所有粗求解器的输出)被用于计算近似似然。该结构使得粗层级的评估结果可以复用于更细层级,避免重复计算。通过改善不同层级间后验的一致性,该方法允许在粗层级使用更长的子链,从而加速马尔可夫链的混合并增加有效样本量(ESS)。
3. **训练数据生成**:离线阶段,从先验分布中采样(例如通过拉丁超立方采样)生成Ntrain个参数样本,并对所有求解器(高保真和所有低保真)进行评估,构建配对训练数据集。这是整个过程中唯一需要调用高保真求解器的环节。

**研究结果**

**数值实验I:各向同性地下水流问题——透射率场重建**
- **问题设置**:重建一个空间变化的透射率场,问题由线性、稳态椭圆方程控制。参数化采用截断Karhunen-Loève(KL)展开(m=64个模式)。观测数据来自d=25个传感器的水头测量值。设计了4层MFDA方案(1个高保真模型+4个低保真模型)。
- **前向准确性**:通过比较均方根误差(RMSE)发现,所有层级的多保真NN融合模型的预测精度均显著优于对应的单个粗求解器,且输入包含更多粗求解器信息时,精度通常进一步提升。融合模型在Ntrain=16000时即可将误差降至观测噪声水平。
- **采样效率**:后验均值重建的RMSE显示,MFDA与标准MH及MLDA方案精度相当(MFDA中位RMSE仅高约1%)。在计算效率方面,MFDA每个有效样本(ESS)的计算时间相对于MH降低了约5倍,相对于MLDA降低了约3倍。在线计算时间相比MH减少约75%,相比MLDA减少约70%。即使将离线训练成本均摊,总成本仍低于MH约50%和MLDA约30%。

**数值实验II:非线性非稳态反应-扩散系统**
- **问题设置**:推断非线性反应-扩散方程的两个参数(反应系数μ1和扩散系数μ2)。观测数据来自13×13的空间传感器网格,覆盖250个时间步,输出维度极高(d=13×13×2×250)。采用POD在25个模态下进行降维。设计了3层MFDA方案。
- **前向准确性**:在测试集上,多保真NN(fMF)的RMSE比任何单个粗求解器(fLF)低一个数量级以上。例如,最粗层级fLF(1)的RMSE为1.74×10-1,而其对应的fMF(1)降至4.0×10-2。
- **采样效率**:后验分布比较表明,MFDA的采样混合特性最佳,后验分布与MH参考分布基本一致(仅有轻微偏移,源于在线省略高保真模型引入的残差近似误差)。MLDA因层级间偏差导致后验分布出现虚假尖峰和混合不良。在计算效率上,MFDA相比MH获得了约4倍的加速。MLDA在此案例中不提供任何计算增益,效率甚至低于MH。MFDA在线计算时间远低于MH和MLDA,总成本(含离线)也保持最低。

**讨论与结论**

论文指出,MFDA框架通过将多保真神经网络融合与MLDA过滤策略结合,成功解决了传统多层次方法中因粗模型精度不足导致的混合效率下降问题。该方法的主要优势包括:(1)能同时整合多个低保真求解器的信息;(2)将昂贵的高保真模型使用限制在离线阶段;(3)显著提升了最粗层级的预测精度,允许在其上使用更长子链,从而加速马尔可夫链的全局混合。

**研究结论部分翻译如下:**

"在这项工作中,研究人员提出了一个新颖的MFDA框架,用于求解由偏微分方程支配的贝叶斯逆问题。所提出的方法将MLDA的层次采样策略与基于神经网络的多保真融合相结合,能够组合来自多个低保真求解器的信息,以构建高精度、低成本的增强型代理模型来逼近高保真模型评估。通过这样做,MFDA框架保留了高保真模型的采样精度,同时降低了在大规模PDE设置下传统基于马尔可夫链蒙特卡罗(MCMC)推断的相关计算成本。

从方法论角度看,MFDA框架提供了三个关键进步。首先,它引入了能够同时整合多个低保真模型输出的多保真神经网络,从而克服了传统自回归或成对多保真回归方案的限制。其次,它将计算昂贵的高保真求解器的使用限制在离线训练阶段,使得在线采样阶段完全依赖于低保真求解器和神经网络校正。第三,它极大地提高了最粗层级的精度,允许依赖最便宜的模型进行长子链采样,而不过度偏离细层级的后验分布。MFDA的性能已在两个基准问题上得到证明:地下水流模型中的透射率场重建,以及非线性、非稳态反应-扩散系统的参数推断。在这两个案例研究中,MFDA获得的后验估计在统计上与使用高保真MH和MLDA采样器获得的结果相当,同时显著提高了采样效率。所提出的方法论是通用的,可以应用于涉及昂贵前向模型的一大类贝叶斯逆问题,前提是存在低保真近似。MFDA框架为加速PDE约束逆问题中的贝叶斯推断提供了一种有效且可扩展的工具,在计算效率和后验精度之间实现了良好的平衡。"
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号