用于含时非线性偏微分方程高保真代理模型的时序神经算子Transformer(Sequential Neural Operator Transformer for High-Fidelity Surrogates of Time-Dependent Non-Linear Partial Differential Equations)

《Engineering Applications of Artificial Intelligence》:Sequential neural operator transformer for high-fidelity surrogates of time-dependent non-linear partial differential equations

【字体: 大 中 小 】 时间:2026年03月08日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  偏微分方程(Partial Differential Equations, PDEs)是建模复杂非线性物理现象的基础,但其数值求解通常需要大量计算资源,尤其在需要进行大量正向全解评估的设计、优化、灵敏度分析及不确定性量化(Uncertainty Quantif

  
偏微分方程(Partial Differential Equations, PDEs)是建模复杂非线性物理现象的基础,但其数值求解通常需要大量计算资源,尤其在需要进行大量正向全解评估的设计、优化、灵敏度分析及不确定性量化(Uncertainty Quantification, UQ)中尤为突出。近年来人工智能尤其是算子学习(Operator Learning)的发展使预测全场PDE解的代理模型成为可能,但现有模型在面对由时序输入函数驱动的强非线性响应时往往精度和鲁棒性不足。为解决此问题,研究人员提出时序神经算子Transformer(Sequential Neural Operator Transformer, S-NOT),该架构将门控循环单元(Gated Recurrent Units, GRUs)与Transformer的自注意力机制(Self-Attention Mechanism)相结合以处理含时、非线性PDE。与使用时序全连接网络编码分支和截断网络输出再做点积(Dot Product)融合的时序深度算子网络(Sequential Deep Operator Network, S-DON)不同,S-NOT利用交叉注意力(Cross-Attention)更好地捕捉时序输入与空间查询点之间的复杂依赖关系。研究人员在三个来自实际工程应用且具有塑性及热—粘塑性高度非线性材料响应的基准数据集上验证S-NOT:多物理场钢液凝固、三维(3D)吊耳(Lug)试样及受时序与路径相关载荷的狗骨(Dog-Bone)试样。结果表明,即便对数据离群点,S-NOT的预测误差较S-DON最高降低4.5倍。此外,与传统有限元法(Finite Element Method, FEM)仿真相比,S-NOT可加速四个数量级,证明其在科学与工程计算框架中可大幅加速计算并保持精度与鲁棒性。
论文解读:《用于含时非线性偏微分方程高保真代理模型的时序神经算子Transformer(S-NOT)》
一、研究背景与开展的研究及意义
偏微分方程(Partial Differential Equations, PDEs)是描述物理定律、建模固体力学、流体力学、传热及多物理场耦合问题的核心工具。传统数值方法如有限差分法(Finite Difference Method, FDM)、有限元法(Finite Element Method, FEM)和有限体积法(Finite Volume Method, FVM)虽可获得高精度解,但对大规模或高维时变问题计算成本极高,难以满足需反复调用正向求解的任务(如不确定性量化 Uncertainty Quantification, UQ、拓扑优化、灵敏度分析)。数据驱动的深度学习代理模型(Surrogate Model)为此提供了替代方案。深度算子网络(Deep Operator Network, DeepONet)通过学习从输入函数空间到输出函数空间的映射(算子学习 Operator Learning),已在稳态/静态载荷问题中取得成功。然而标准DeepONet的分支网(Branch Network)采用全连接前馈神经网络(Fully Connected Neural Network, FNN),无法保持时序输入的因果性与历史依赖性,不适用于含时/路径相关载荷(如风载、振动、热—机械耦合过程)。时序深度算子网络(Sequential DeepONet, S-DON)以门控循环单元(Gated Recurrent Unit, GRU)替换分支网FNN以编码时序载荷,但仍采用固定点积(Dot Product)融合分支与截断网(Trunk Network)输出,限制了模型捕捉输入—空间复杂非线性依赖的能力。另一方面,基于Transformer的神经算子(Neural Operator Transformer, NOT)利用自注意力(Self-Attention)与交叉注意力(Cross-Attention)具备更强表达能力,但既有NOT多针对静态输入,缺乏时序处理能力。因此,研究人员提出时序神经算子Transformer(Sequential Neural Operator Transformer, S-NOT),将GRU时序编码与Transformer注意力机制结合,用于处理含时、路径相关的非线性PDE代理建模。本文发表于《Engineering Applications of Artificial Intelligence》。
二、主要关键技术方法
研究人员构建S-NOT模型,其编码器以多层GRU处理时序载荷序列并叠加正弦位置编码(Sinusoidal Positional Encoding),经线性投影生成自注意力块所需的Query(Q)、Key(K)、Value(V),通过多头自注意力进一步提炼时序特征,输出作为解码器交叉注意力块的K与V。解码器对空间查询点做NeRF风格位置编码后经MLP生成Q,通过交叉注意力动态聚合时序信息替代S-DON的点积融合,再经MLP输出预测全场物理量(应力、温度、等效塑性应变PEEQ等)。以Abaqus/UMAT实现的热—粘塑性多物理场钢凝固二维切片模型(5000样本)、随机高斯随机场压力载荷下的3D Lug试样弹塑性模型(10000样本)、及经典狗骨试样时序位移加载弹塑性模型(15000样本,训练3200测试800)构成三个基准数据集。S-NOT与S-DON均采用Adam优化器及ReduceLROnPlateau调度,以相对L2误差评价应力/温度、以平均绝对误差(Mean Absolute Error, MAE)评价PEEQ,并做超参数消融实验(Ablation Study)对比GRU层数、注意力头数、自注意力与交叉注意力层数及不同编码器(FNO/LSTM/MLP/无位置编码)效果。
三、研究结果
5.1 Overview(概述与总体性能)
研究人员在三个数据集上对比S-NOT与S-DON,S-NOT应力相对L2误差:钢凝固4.01%(S-DON 18.1%)、3D Lug 3.61%(S-DON 11.6%)、狗骨1.08%(S-DON 2.01%);温度L2误差:钢凝固0.040%(S-DON 0.091%);PEEQ MAE:3D Lug 0.58×10?4(S-DON 1.40×10?4),狗骨0.25×10?4(S-DON 0.79×10?4)。S-NOT误差均值与置信区间均优于S-DON,且误差分布更集中、长尾更短,表明对困难样本与离群点更鲁棒。推理时间毫秒级,较FEM加速约四个数量级,参数量略增(约0.87M~1.14M),推理显存<0.3 GB。
5.2 Multiphysics steel solidification(多物理场钢凝固)
温度场光滑以热扩散主导,两模型均低误(S-NOT 0.040% vs S-DON 0.091%)。应力场受三相本构(奥氏体、δ-铁素体、糊状区)、热梯度及含时位移边界耦合影响,具尖锐空间梯度和局部应力集中。S-NOT应力L2误差4.01%显著低于S-DON 18.1%,能更好捕捉冷却面和固—液界面附近横向应力峰值,对缺陷(热裂、表面裂纹)预判更具价值。误差直方图显示S-NOT峰值更锐、尾部更短。
5.3 3D-LUG(三维吊耳试样)
S-NOT应力L2误差3.61%(S-DON 11.6%),PEEQ MAE 0.58×10?4(S-DON 1.40×10?4)。S-DON在高百分位(75th、99th)孔边及约束边界应力集中区明显偏离参考解,S-NOT较好复现锐梯度与局部峰值;PEEQ累积不可逆塑性变形,S-NOT更低MAE说明其对塑性局部化的追踪能力更强,利于损伤前兆分析。
5.4 Dog-bone(狗骨拉伸试样)
S-NOT应力L2误差1.08%(S-DON 2.01%),PEEQ MAE 0.25×10?4(S-DON 0.79×10?4)。S-DON在颈缩区(Gauge Region)高应力集中处欠预测明显,S-NOT在全域匹配参考解。PEEQ结果同样表明S-NOT能更准确解析路径相关塑性流动。
5.5 Ablation study(消融实验)
模型精度对GRU层数(2层最优,过深无益或退化)、自注意力层数(3~4层稳定)不敏感;交叉注意力层数最关键,钢凝固最优6层、3D Lug与狗骨最优8层。编码器对比:GRU编码器综合表现最佳(钢凝固应力4.01%、3D Lug应力3.61%及PEEQ最低、狗骨PEEQ最低),LSTM次之,FNO中等,MLP明显差;去除正弦位置编码致全面性能下降,证实时序位置信息必要性。传统Kriging与本征正交分解(Proper Orthogonal Decomposition, POD)基线的误差均显著高于S-NOT。
四、讨论与结论翻译
研究人员在结论中指出,S-NOT融合了GRU时序编码与Transformer交叉注意力机制,可有效捕捉含时、路径相关非线性PDE中的复杂时空依赖,克服S-DON点积融合的表达力局限。在三个非线性基准(多物理场钢凝固、3D Lug、狗骨试样)上S-NOT精度一致优于S-DON,对大误差测试样本(离群点)稳定性显著提升(S-DON误差可达S-NOT的4.5倍)。推理较传统FEM加速四个数量级,适合实时集成于需高保真非线性分析的工程工作流。训练后模型轻量可部署于边缘设备或CAD/CAE软件,适用于数字孪生(Digital Twin)、在线监测、UQ及反设计。当前局限为注意力机制增加训练开销及显存占用(可用稀疏/FlashAttention缓解),且暂不支持变几何(需引入几何感知编码如GINOT扩展)。综上,S-NOT推进了时序算子学习,是可扩展、精确、适于UQ、优化、逆设计及数字孪生的非线性PDE代理模型。
(原文Conclusion段翻译:In this work, we presented the Sequential Neural Operator Transformer (S-NOT)…demonstrating its accuracy and robustness for drastically accelerating computational frameworks in scientific and engineering applications. / S-NOT represents a significant advancement in sequential operator learning, offering a scalable and accurate surrogate model that can accelerate workflows in uncertainty quantification, optimization, inverse design, and digital twin applications.)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号