物理引导的Mamba神经算子:长时程PDE模拟的统一框架

《Neural Networks》:PGMNO: A Physics-Guided Mamba Neural Operator Framework for Partial Differential Equations

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neural Networks 6.3

编辑推荐:

  本文提出PGMNO框架,首次将线性多步数值积分方法与结构化状态空间模型(SSMs)相结合,以解决物理场长期演化的稳定预测难题。模型在推理中采用多步前向传播,在训练中融入隐式后向微分公式(BDF)格式,确保了高精度与长时稳定性,为复杂物理系统提供了高效可靠的代理求解器。

  
亮点
  • •
    物理引导的Mamba神经算子框架将结构化状态空间模型 (SSMs) 与线性多步数值积分方法相结合,显著增强了长期预测的稳定性。
  • •
    我们的模型在推理中融入了多步前向时间建模,并在训练过程中采用了基于隐式后向微分公式 (BDF) 的方案,确保了高精度与计算效率。
  • •
    实验证明,PGMNO在多种偏微分方程基准测试中,在预测精度、计算效率和长期稳定性方面均优于最先进的模型。
  • •
    该框架展现出强大的分辨率不变的外推和泛化能力,能够适应不同的空间离散化设置。
引言
偏微分方程是建模复杂物理和工程系统的数学基础,涵盖了流体动力学、电磁学、反应-扩散现象和生物力学等领域。在实践中,这些方程通常通过有限差分、有限元或谱方法在空间和时间上进行离散来求解。虽然这些经典的数值求解器提供了严格的误差控制和高精度,但随着问题维数或网格分辨率的增加,其计算成本会急剧上升,形成所谓的“维度诅咒”。这通常使得在实时控制或大规模参数扫描等需要多次求解的场景中,高保真度仿真变得难以实现。此外,许多关键系统表现出强烈的非线性或刚性。例如,求解纳维尔-斯托克斯方程通常需要极小的时间步长 (time step) 或复杂的稳定化技术,这进一步放大了总计算成本。
为了应对这些挑战,近年来出现了三大策略来加速偏微分方程模拟。第一种是纯粹数据驱动的代理建模。在这种范式下,神经网络被训练来直接将问题输入(如初始条件或材料参数)映射到解场。卷积神经网络被证明在结构化网格上非常有效,而循环神经网络则用于捕获时间动态。此外,基于Transformer的架构利用自注意力机制来模拟长程依赖。然而,纯数据驱动的代理模型通常需要海量的训练数据集,并且可能泛化能力较差。在超出训练分布的区间进行外推时,它们还可能违反物理守恒定律或物理不变量。此外,标准Transformer架构的计算成本随序列长度呈二次方增长,限制了其在长时间模拟中的应用。
第二种策略是物理信息学习,它将已知的偏微分方程结构直接嵌入到模型或其损失函数中。例如,物理信息神经网络将偏微分方程残差 (residual) 作为惩罚项纳入训练目标。这种策略增强了模型与支配方程的一致性,并减少了对标注数据的依赖。在实践中,PINN通常通过自动微分或有限差分离散来施加方程残差。尽管在数据稀缺场景和逆问题 (inverse problems) 中取得了成功,但PINN通常涉及高度非凸的优化解空间 (solution space)。对于刚性或湍流系统,这可能导致收敛缓慢,现有模型可能会陷入非物理的局部极小值。此外,这些架构通常只学习单个解的实例,对于每个新的初始条件或参数设置都需要重新训练。相比之下,通用的神经算子模型旨在无需逐案重新训练,即可在不同输入条件下泛化。
第三种策略是神经算子学习,它对无限维函数空间之间的映射进行建模。神经算子近似真实的解算子 (solution operator),该算子将输入函数转换为相应的解场。通过直接以解算子为目标,这些模型可以在不同输入条件和空间分辨率下泛化。代表性架构包括DeepONet、傅里叶神经算子以及各种基于图 (graph-based) 的模型。DeepONet采用了一种双网络设计:一个分支网络编码输入函数,而一个干线网络编码查询坐标。它们的内积产生所需点的解值。在适当条件下,DeepONet可作为连续非线性算子的通用逼近器。诸如MIONet等扩展进一步利用多个分支网络来处理耦合的多物理场系统。
傅里叶神经算子则采用了一种对比性的方法,在谱域中学习卷积核。具体来说,FNO对输入场应用快速傅里叶变换,并对低频模式进行线性变换,然后通过逆傅里叶变换将表示返回到物理空间。这种全局的谱公式提供了广阔的感受野,并实现了高效的并行计算。在基准测试中,FNO已能精确建模湍流,并具备零样本超分辨率能力。然而,它对快速傅里叶变换的依赖将其使用限制在均匀的笛卡尔网格,并限制了其在不规则计算域中的应用。近期工作通过域变形或公式化在任意点云上的算子来解决这些问题。此外,基于图的模型和基于注意力的变换器也被开发用于处理复杂的几何形状。例如,图核网络在非结构化网格上使用消息传递来学习偏微分方程映射。类似地,分层变换器架构,如HT-Net,通过结合自注意力与交叉注意力来捕获多尺度特征。
专用的变换器变体进一步提高了效率。例如,Transolver架构使用物理感知的注意力机制将高维网格划分为潜在切片,这种分区确保了推理成本仅随网格点数线性增长。尽管此类方法在不同分辨率下保持稳定,但当前的神经算子方法仍然存在显著的局限性。纯谱方法通常难以处理非笛卡尔计算域,而引入物理信息约束可能会增加训练复杂度。此外,长时间积分仍然是一个核心挑战,因为微小的预测误差会随着时间的推移累积并导致解的质量退化。由于序列建模架构的选择直接决定了时间相关系统的稳定性和预测范围,研究人员越来越多地探索更具表现力的结构来捕捉复杂的非线性趋势。例如,在宏观经济预测中,结合了注意力机制的序列模型已被证明能显著增强对复杂时间依赖关系的建模。除了传统的基于注意力的架构,结构化状态空间模型的出现为连续时间建模提供了一种强大的替代方案,因为它们具有线性时间复杂度和卓越的记忆容量。一个值得注意的进展是DyG-Mamba,它实现了具有输入相关门控的连续时间选择性SSMs,以解决动态图中的长程依赖问题。通过选择性状态更新机制成功捕捉复杂的演化模式,DyG-Mamba证实了SSMs在建模非平稳动态方面的内在鲁棒性。该框架启发了相关研究,将这些自适应机制整合到物理引导的算子学习中,从而促进复杂物理体系中偏微分方程的稳定长时程预测。
尽管这些算子发展迅速,但数值模拟的离散时间特性与神经架构的连续空间表示之间仍然存在根本性的脱节。当前的范式通常将时间演化视为简单的递归映射,或通过损失函数中的软约束残差来处理。这种缺乏显式时间结构的情况经常导致长期预测中误差累积和物理不一致性。正如最近的流体动力学研究所证明的,明确阐明物理控制定律与计算框架之间的耦合机制对于确立科学新颖性和确保模型可靠性至关重要。在此背景下,突出显示特定物理参数如何与流场相互作用,可以增强对模型科学贡献的认知。
基于这一视角,我们认为物理的整合应超越简单的损失正则化。虽然物理信息神经算子利用偏微分方程残差来惩罚非物理解,但它们并不能内在保证模型内部状态演化保持在稳定的数值流形上。我们的工作引入了物理引导的Mamba神经算子,通过将线性多步积分方案直接嵌入到算子架构中,实现了更深层次的整合。从理论角度来看,这种结构耦合起到了物理一致的归纳偏差作用。通过将Mamba块的潜态演化重新表述以满足隐式数值方案的代数结构,模型被约束在遵循与经典稳定性准则相符的轨迹上。这种方法确保了所得算子不仅仅是一个黑盒回归工具,而是底层物理传播子的结构化近似。因此,与纯数据驱动或损失正则化的替代方案相比,PGMNO为捕获非稳态动态和长期演化提供了更坚实的基础。
总而言之,虽然神经算子为数据驱动的偏微分方程建模提供了强大的工具,但在处理多输入场和确保长期鲁棒性方面仍然存在关键挑战。弥合这些差距需要一个严谨的方法论阐述,以在经典计算流体动力学与现代机器学习之间架起桥梁。我们的工作引入了物理引导的Mamba神经算子来解决这些局限性。为了确保时间稳定性,我们在训练过程中融入了基于隐式后向微分公式的积分方案。同时,我们利用结构化状态空间模型高效的核积分特性来实现可扩展且稳定的算子学习。这个统一的框架为偏微分方程控制的动力系统构建稳健的代理求解器提供了一个连贯的方法。
片段节选
神经算子
神经算子旨在学习无限维函数空间之间的映射,从而能够直接近似偏微分方程解算子,该算子将输入函数映射到输出解场。与将固定大小的输入向量映射到固定大小输出的传统神经网络不同,神经算子可以自然地泛化到不同的输入函数和空间分辨率。该领域的早期工作包括DeepONet架构,它使用一个分支网络编码输入函数,一个干线网络编码查询点坐标。通过内积产生解。FNO采取了一种不同的方法,在傅里叶域中学习全局卷积核。这通过在傅里叶空间中的线性变换来实现,并通过逆傅里叶变换返回到物理空间。最近,注意力机制和图神经网络已被用于处理复杂的几何形状,扩展了神经算子的适用范围。
问题定义
为了确保数学严谨性并提高所提出的迭代偏微分方程求解器的可解释性,我们在整个手稿中采用一致的符号约定。粗体小写字母表示向量值的场变量和空间坐标。斜体小写字母表示标量变量和物理参数。花体大写字母保留给算子和函数映射。
考虑一个时间相关的偏微分方程:
时间积分器
我们将通用线性多步时间积分器整合到神经算子框架中。给定一个时间步长 Δt 和一个时间索引 i,一个k阶线性多步方法的形式为:j=k∑j=0αjui+j= Δt j=k∑j=0βjN[x, ti+j; ui+j],其中αj和βj是固定系数。如果βk≠ 0,该格式是隐式格式;如果βk= 0,该格式是显式格式。
前向过程
对于显式格式,我们可以用之前的k个状态求解多步方程得到下一个状态ui+k。
实验
为了严谨评估所提出模型的有效性和效率,我们在多种偏微分方程上进行了一系列实验,将其性能与已建立的算子学习框架(包括DeepONet和傅里叶神经算子)进行基准测试。在所有实验中,偏微分方程求解器的输入函数一致地表示为从高斯或非高斯随机场中采样的初始条件。这个设置确保了评估的一致性和挑战性。
边界泛化与数值稳定性
将神经算子应用于长期物理模拟,需要严格施加边界条件并将其与时间稳定性紧密耦合。为此,PGMNO采用了一个协调架构灵活性与数值严谨性的一致性框架。
尽管第5节中的基准测试主要集中在狄利克雷边界条件和周期性边界条件,但PGMNO架构可以轻松扩展到诺依曼边界条件和混合的罗宾边界条件。这种扩展是通过在损失函数中引入专门的惩罚项或在网络架构中进行硬编码来实现的,从而确保在训练和推理过程中满足边界约束。
结论
本文提出了物理引导的Mamba神经算子,这是一种新颖的算子学习框架,它将线性多步数值积分与结构化状态空间模型相结合,以解决复杂物理系统中长期预测的长期挑战。通过在前向传播中纳入多步时间依赖,并在训练中采用隐式后向微分公式方案,PGMNO显著提高了在多种基准偏微分方程上的预测精度、计算效率和长期稳定性。该框架在不同空间离散化下表现出强大的分辨率不变的外推和泛化能力。通过将数值积分的原则性结构嵌入到神经算子的架构设计中,PGMNO弥合了计算流体动力学和机器学习之间的差距,为在计算密集型场景中实现可靠、可扩展的代理求解器铺平了道路。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号