Neural Green提出的用于参数化偏微分方程的算子方法

《Computer Methods in Applied Mechanics and Engineering》:Neural Green’s operators for parametric partial differential equations

【字体: 大 中 小 】 时间:2026年03月11日 来源:Computer Methods in Applied Mechanics and Engineering 7.3

编辑推荐:

  H.A. Melchers | J.H.M. Prins | M.R.A. Abdelmalik 荷兰埃因霍温理工大学数学与计算机科学系 **摘要** 本研究提出了一种构建参数化神经算子的范式,这些算子是从线性偏微分方程(PDEs)的Green算子的有限维表示中派生

  H.A. Melchers | J.H.M. Prins | M.R.A. Abdelmalik
荷兰埃因霍温理工大学数学与计算机科学系

**摘要**
本研究提出了一种构建参数化神经算子的范式,这些算子是从线性偏微分方程(PDEs)的Green算子的有限维表示中派生出来的。我们将这类神经算子称为“神经Green算子”(NGOs)。我们的NGOs构建方法保留了Green算子对非均匀场的作用,同时利用神经网络对PDE系数进行加权平均处理,以近似Green函数的非线性依赖性。这种构建方式将问题复杂性从学习整个解算子及其对所有参数的依赖性降低为仅学习Green函数及其对PDE系数的依赖性。此外,通过使用加权平均值而非点样本作为输入,可以将网络规模与采样点数量解耦,从而高效地处理输入场的多尺度问题。我们还展示了我们的Green函数显式表示方法能够将期望的数学属性(如对称性、谱性质和守恒律)嵌入到NGO架构中。通过对典型PDE的数值测试,我们证明了NGOs在参数数量相似的情况下,其精度可与深度算子网络(Deep Operator Networks)、变分拟态算子网络(Variational Mimetic Operator Networks)和傅里叶神经算子(Fourier Neural Operators)相媲美;而在测试离分布数据时,NGOs的泛化能力显著更强。对于参数化时变PDEs,我们发现,在单个时间步骤上训练的NGOs能够在任意多的时间步骤上以自回归方式产生精确的动态结果。对于参数化非线性PDEs,我们证明仅基于相应线性问题的解训练的NGOs可以在迭代求解器中得到准确解,前提是有一个合适的初始猜测。最后,我们展示了如何利用NGOs返回的Green函数显式表示来构建有效的矩阵预处理器,以加速PDE的迭代求解。

## 1. 引言
在本文中,我们考虑从数据中推断与参数化偏微分方程(PDEs)族相关的解算子的问题。通常,这种解算子的近似在开发用于求解科学和工程领域中各种PDEs的计算方法中起着基础性作用[1]、[2]。典型应用包括计算流体动力学[3]、流固耦合[4]和固体力学[5]。然而,找到这类解算子的解析表达式通常是不可行的,且由于其高维和非线性特性,数值近似在计算上可能非常耗时[1]。最近在算子学习技术[6]、[7]方面的进展通过使用数据来近似PDE的解算子来应对这一挑战。通常,数据包括PDE的解实例及其相应的输入函数(如边界条件、PDE系数和外部强迫)。推断问题在于找到将PDE参数映射到解的算子。如果能够推断出这种映射,我们就可以对其进行评估,并为不同的输入参数恢复PDE的解。

神经算子(NOs)[6]通过将标准神经网络[8]泛化为函数空间之间的映射(而不是离散向量空间之间的映射),为PDE解映射提供了合适的表示方法。NOs对算子的表示大致可以分为两类:第一种方法根据来自两个子网络(分别为分支网络和主干网络)的两个向量的点积来扩展输出函数,这两个网络分别接受输入函数样本和空间坐标作为参数;第二种方法在标准神经网络中的离散仿射变换中添加一个积分算子,从而允许应用NO来处理输入和输出函数的不同分辨率。第一种构建方法源于[9]的工作,并在[10]中扩展为深度算子网络(DeepONets);第二种构建方法为不同的非局部核函数(如傅里叶[11]、多极[12]和图[13]神经算子[FNOs、MNOs和GNOs]进行了发展。这两种方法都受到了广泛的研究关注,也有很多工作致力于它们的扩展和改进[6]。此外,这两种方法已成功应用于多个领域的PDE解的近似,例如流体力学[14]、流固耦合[15]、电磁学[16]、固体力学[17]和量子力学[18]。虽然这些NOs能够很好地泛化训练分布内的未知PDE参数,但超出该分布的外推可能不可靠[19]。当训练数据有限时(例如,在PDE参数随长度和时间尺度变化而变化的应用中),这种不可靠性可能阻止NOs的应用。此外,当NOs以自回归方式使用时(例如在短轨迹上训练来预测长时间行为时[20] [21] [22]),这种泛化误差可能会加剧。另外,标准应用[10] [11] [23]需要PDE参数的点样本作为输入,这与可训练参数的数量不成比例,这可能导致多尺度系统的模型效率低下。这种缺点可以通过构建独立于离散化的函数操作的神经算子来克服,以提高模型的可解释性和准确性[24] [25] [26]。

在这项工作中,我们关注线性PDEs,其中相应的解算子简化为Green算子,Green函数作为相应的核[27]。我们提出了一种从参数化Green算子的有限维近似派生出NGOs的范式。我们的NGOs构建方法通过保留解对PDE非均匀场(如强迫和边界条件)的正确线性依赖性,降低了算子学习问题的复杂性。此外,使用加权平均值而非点样本作为输入函数,可以将网络规模(以可训练参数的数量计)与采样点数量解耦,从而高效地处理输入场的多尺度问题。此外,我们的NGOs构建方法有利于包含额外的数学结构或归纳偏置[28],以保留PDE解的显著属性,如对称性、谱性质和守恒律。我们证明了:
1. NGOs能够在大致相同数量的可训练网络参数下,实现与DeepONets、VarMiONs和FNOs相当或更精确的PDE解近似,并且在处理离分布问题时具有更好的泛化能力。
2. 在单个时间步骤上训练的NGOs能够在任意多的时间步骤上以自回归方式产生时变PDEs的精确动态结果。
3. 仅基于相应线性问题的解训练的NGOs可以嵌入到迭代非线性求解器中,在有合适初始猜测的情况下得到准确解。
4. 从NGOs推断出的Green函数可以用来构建有效的矩阵预处理器,用于数值PDE求解。

## 1.1. 相关工作
到目前为止,我们的讨论主要集中在基于系数的PDE族神经算子,以及神经Green算子在这类网络中的定位。由于NGOs通过模仿神经架构中Green算子的数学构造来学习参数化PDE的解算子,它们也学习了相关的参数化Green函数。这种对参数化设置的泛化使我们的工作区别于之前致力于推断Green函数的研究[29] [30] [31] [32] [33] [34] [35]。通过学习Green函数相对于PDE系数的参数化,我们学到的Green算子可以作为一个通用的数值构建块;如第5.1节和第5.3节所示,训练好的神经Green算子可以嵌入到时变和非线性问题的迭代算法中。对于本文考虑的问题,使用非参数化Green函数,这样的任务是不可行的。此外,我们在第4.3.6节中展示了推断出的参数化Green函数可以用来构建参数化线性系统的经典矩阵预处理器。与混合神经预处理方法[36] [37] [38] [39] [40] [41]不同,我们学到的矩阵预处理器可以代数地应用于任何Krylov子空间方法。在本节的其余部分,我们回顾了这些相关工作,以便将我们的贡献置于更广泛的文献背景中,并强调我们公式化的独特能力。

大量研究工作致力于为PDEs推断Green函数的显式表示,例如[29] [33] [34] [35]中,使用神经网络表示线性PDE的Green函数;在[31]中,自动编码器用于推断PDE算子线性化的矩阵表示,其中该矩阵的逆表示Green函数;在[32]中,目标PDE的Green函数由DeepONet的主干网络表示,而DeepONet的分支网络用于近似Green函数的辅助梯度。尽管有这些进展,上述方法并未考虑Green函数对PDE系数的(通常是非线性的)依赖性,因此仅限于固定的PDE算子。在[42]中提出了一个例外,其中从数据中推断出固定PDE系数的低秩Green函数近似值,然后在这些表示值之间进行插值。然而,这种框架仅限于自伴算子,其准确性严重依赖于Green函数及其相对于PDE系数的谱分解的规则性。因此,仍缺乏一个通用且灵活的框架来学习随PDE参数参数化的Green函数。解决这一差距是本工作的核心焦点。

除了预测PDE的近似解之外,神经算子还可以用于加速PDE的迭代方法。例如,Ruelmann等人[43]提出了一种神经网络,将系统矩阵映射到近似逆矩阵,从而加速线性系统的求解;然而,这种方法仅限于固定大小的问题。相关努力旨在学习输出不完全因式分解的映射,同时保持输入矩阵的稀疏模式[44] [45] [46] [47],尽管这些方法仅适用于对称且正定的矩阵。另一类混合预处理方法以HINTS框架[39] [48] [49]为代表,它将求解逼近神经算子直接集成到不动点迭代中。类似地,神经算子也被作为预处理器嵌入到Krylov子空间求解器中[36] [38] [41] [50]。这些现有工作的一个显著特点是它们依赖于非线性模型来近似本质上是线性算子的作用,这意味着通常只有Flexible GMRES(F-GMRES [51])适用于这种方法。相比之下,本研究提出了构建保持经典预处理器线性结构的矩阵预处理器的算法,从而确保与所有标准Krylov子空间方法的代数兼容性。

本文的其余部分组织如下:第2节建立了参数化PDE的Green算子的数学基础,并介绍了它们相应的有限维表示。第3节介绍了神经Green算子(NGO)及其针对不同建模场景的架构变体。第4节详细介绍了我们主要使用的典型椭圆PDE及其相关的数据生成和训练协议。我们的核心发现第4.3节中提出,我们评估了模型准确性、计算效率以及关键超参数(如积分方案、基函数基数和总参数数量)的影响。该节还展示了学到的Green函数在构建鲁棒矩阵预处理器方面的实用性。为了评估该框架的通用性,第5节探讨了NGOs在非椭圆、瞬态和非线性问题中的应用。最后,第6节总结了我们的贡献并讨论了未来的研究方向。**参数化的格林算子和函数**
在本文中,我们考虑了一个在有界域Ω?Rd中的线性边值问题,该域具有分段光滑的边界Γ=?iΓi:(2.1)
L[θ]u(x)=f(x),?x∈Ω,
Bi[θ]u(x)=gi(x),?x∈Γi,
其中u(x)表示未知数,L[θ]是一个由空间变化系数θ(x)参数化的线性微分算子,f(x)是一个源项,Bi[θ]是一个边界算子,gi是边界Γi上的数据。为了找到未知数u(x)的表达式,我们通过将(2.1)的第一方程作用于某个合适的函数v来将其写成弱形式:(2.2)
∫ΩvL[θ]udx=∫Ωvfdx。
使用分部积分并代入边界条件,我们可以得到如下公式:
(2.3)
B[v,u]=L[v],
其中
(2.4)
B[v,u]=∫ΩuL*[θ]vdx?∑i∫Γ?Γi(Bi[θ]u)(B?iv)dx,
以及
(2.5)
L[v]=∫Ωvfdx+∑i∫ΓigiB?ivdx。
这里,L*是L的伴随算子,B?i是分部积分中出现的边界算子。有关此类推导的更多细节,请参见附录A。
我们可以通过将v设为满足以下条件的格林函数G[θ](x, x′)来得到未知数u(x)的表达式:
(2.6)
L*[θ]G[θ](x,x′)=δ(x?x′),?x∈Ω,
B?iG[θ](x,x′)=0,?x∈Γ?Γi。
然后,(2.3)简化为:
(2.7)
u(x)=G[θ,f,gi](x):=∫ΩG[θ]fdx′+∑i∫ΓigiB?iG[θ]dx′,
其中G是将PDE系数θ(x′)、驱动力f(x′)和边界数据gi(x′)映射到解u(x)上的格林算子[27]。
为了得到解的有限维近似,我们考虑用测试基ψn(x′)和试验基?m(x)来展开格林函数:
(2.8)
G[θ](x,x′)≈?m(x)Amn[θ]ψn(x′),
其中Amn非线性地依赖于θ。将(2.8)代入(2.7)得到格林算子的相应近似:
(2.9)
G[θ,f,gi](x)≈?m(x)Amn[θ]dn[f,gi],
其中
(2.10)
dn[f,gi]=∫Ωψnfdx′+∑i∫ΓigiB?iψndx′。

**备注1**
在Galerkin近似设置中,(2.8)中的矩阵Amn代表系统矩阵的逆。

**备注2**
虽然我们在(2.8)中对格林函数的近似遵循Petrov-Galerkin方法,其中测试函数ψ和试验函数?不同,但我们可以选择(Bubnov-)Galerkin设置,其中?和ψ是相同的。

**3. 神经格林算子(NGOs)**
我们现在定义一个基于(2.8)中的近似的神经格林算子,该算子使用一个可学习的矩阵以及固定的测试函数ψ(x′)和试验函数?(x):
(3.1)
u^(x)=G^[θ,f,gi](x)≡?m(x)A^mn(F[θ])dn[f,gi],
其中“帽子”符号表示由神经网络近似的量,dn由(2.10)给出。NGO属于Chen&Chen [9]神经算子架构(DeepONets, VarMiONs)系列,因为它利用了基于基函数?m(x)和系数u^m≡A^mndn的解的近似。我们在图1中总结了NGO的架构。

**图1. 神经格林算子(NGO)的架构**,该算子将材料参数θ(x)、驱动力f(x)和边界条件gi(x)映射到解u(x)上。对于模型NGO,F由(3.2)给出;对于数据NGO,F由(3.5)给出。系统网络(蓝色部分)是NGO中唯一可训练的组件。(关于此图例中颜色的解释,请参阅本文的网页版本。)
F[θ]是系统网络的输入,它是θ的某种函数。根据F[θ]的具体形式和训练方式,我们可以区分三种类型的NGO:

**3.1. 不同类型的NGO**
**3.1.1. 模型NGO**
第一种是模型NGO,我们设置:
(3.2)
Fnm[θ]=∫Ω?mL*[θ]ψndx′?∫Γ?Γi(Bi[θ]?m)(B?iψn)dx′,
这代表了(2.3)的离散化系统矩阵。模型NGO在损失函数
(3.3)
L[u^,u]=∥u^?u∥
上进行训练,其中‖.‖是用户希望模型优化的范数(在本工作中,我们使用L2范数)。当目标PDE(2.1)已知且有训练数据时,可以使用模型NGO。NGO可能达到的误差理论下界由∥up?u∥给出,其中up是u在范数‖.‖下的?m(x)投影。

**3.1.2. 无数据NGO**
当目标PDE已知但PDE的解数据不可用时(例如,因为模拟成本过高),可以使用无数据NGO。无数据NGO利用了NGO与有限元方法(FEM)的相似性,即A^可近似为A^≈F?1。无数据NGO的系统网络输入仍然是系统矩阵(由(3.2)给出)。然而,无数据NGO在损失函数
(3.4)
L[A^]=∥FA^F?F∥
上进行训练,其中‖.‖是所选的矩阵范数(我们使用Frobenius范数)。这个损失函数不包括解数据u,而是引导系统网络学习矩阵F的伪逆F+(如果F可逆,则F+=F?1)。L[A^]的下界由L[A^=F?1]=0给出,这意味着NGO预测的解为uh,其中uh是由FEM提供的解。注意,在解范数(3.3)中,∥uh?u∥≥∥up?u∥。换句话说,无数据NGO的误差界限比模型NGO高。

**3.1.3. 数据NGO**
最后,我们考虑第三种类型的NGO,称为数据NGO,当用于训练的数据对应的PDE未知但有解训练数据时可以使用。数据NGO的系统网络输入由
(3.5)
Fn[θ]=∫Ωψnθdx′
给出,并在解损失
(3.3)
上进行训练。与模型NGO类似,数据NGO在范数(3.3)中的误差下界也是∥up?u∥。
模型NGO、无数据NGO和数据NGO的用例和特性在图2中总结。这三种类型NGO的一个重要特性是它们都学习了形式为方程(2.8)的格林函数的近似,这意味着可以从训练好的模型中直接提取出格林函数的近似值。图3显示了NGO学习的格林函数近似示例。该图展示了1D PDE的精确格林函数及其NGO近似值,表明NGO通常学习到的是“平滑”版本的格林函数,在低频时准确但在高频时不够精确。NGO也不能保证保持原始格林函数的属性,如正性。图3右图显示,通过将格林函数投影到固定基上的最优近似具有相同限制。

**表1**比较了不同模型的一些关键属性。NGO是唯一测试过的模型,它们满足以下条件:
(1) 输入数据可以在任意点集上给出(前提是存在准确的求积规则),
(2) 输出可以在任何地方评估,
(3) 保持PDE的线性结构。其他与格林函数相关的机器学习方法[29]、[30]、[31]、[32]、[33]、[34]虽然在概念上与NGO相似,但不包括在比较范围内,因为这些方法学习的是单个线性或非线性PDE的解,而不依赖于如变化的扩散系数或对流场之类的PDE参数。因此,这些方法无法被训练来近似NGO和其他包含的神经算子学习的映射。

**备注3**
虽然我们在(3.1)中的NGO使用了固定基,但可以选择学习测试函数ψ或试验函数?,或者两者都学习。

**备注4**
与NGO类似的神经算子架构是卷积神经算子(CNO)。NGO和CNO之间的相似性和差异在附录G中有说明。

**4. 测试问题:稳态扩散**
在本节中,我们将NGO的性能与其他文献中的模型进行比较,包括DeepONets、VarMiONs、FNOs、CNOs和U-Nets。测试问题是在单位正方形内定义的稳态扩散方程,该方程由空间变化的扩散系数θ(x)、上下边界上的Neumann边界条件η(x)以及左右边界上的Dirichlet边界条件g(x)参数化;方程如下:
(4.1)
{??·(θ?u)=fonΩ=(0,1)2,
θ?u·n=ηonΓN=(0,1)×{0,1},
θu=gonΓD={0,1}×(0,1),
几何图示见图4。方程(4.1)的解可以用格林函数表示为:
(4.2)
u(x)=∫ΩG[θ](x,x′)f(x′)dx′+∫ΓNG[θ](x,x′)η(x′)dx′?∫ΓDgn^·?x′G[θ](x,x′)。
方程(4.2)的推导见附录A.1。

**图4. 正方形域Ω,顶部和底部为Neumann边界ΓN,左侧和右侧为Dirichlet边界ΓD。我们使用L=1。**

**4.1. NGO架构**
使用(2.8)中的假设来近似(4.2)中的格林函数,其中?m=ψm,我们可以将解近似为:
(4.3)
u(x)=G[θ,f,η,g](x)≈?m(x)Amn[θ]dn[f,η,g],
其中dn由
(4.4)
dn[f,η,g]=∫Ωψnfdx′+∫ΓNψnηdx′?∫ΓDgn^·?ψndx′
给出。
我们将对应于(4.3)的NGO定义为:
(4.5)
u^(x)=G^[θ,f,η,g](x)=?m(x)A^mn(F[θ])dn[f,η,g]。
对于模型NGO和无数据NGO,F[θ]由系统矩阵
(4.6)
Fnm[θ]=?∫Ω?m?·θ?ψndx′?∫Γ?ΓNθψnn^·??mdx′+∫Γ?ΓDθ?mn^·?ψndx′
给出。这等同于方程(A.4)。对于数据NGO,F[θ]由
(4.7)
Fn[θ]=∫Ωψnθdx′
给出。
所有神经算子都经过训练以学习解算子(θ, f, η, g)?u。

**备注5**
由(4.6)给出的矩阵F可能不是强制性的。可以使用Nitsche方法[54]来稳定这种公式,该方法分别向矩阵Fnm和右侧向量dn添加项
(4.8)
Fnm(s)=Cs∫ΓDψnθ?mdx′
和
(4.9)
dn(s)=Cs∫ΓDψngdx′
其中Cs?>?0是Nitsche稳定参数。然而,在本节的FEM测试中我们观察到这种稳定是不必要的:省略它对NGO和FEM的结果没有影响。因此,我们选择不在稳态扩散问题的NGO公式中包含这种稳定。然而,这种情况既适用于诺伊曼模型非政府组织(NGOs),也适用于普通模型NGOs。下载:下载高分辨率图像(306KB)下载:下载全尺寸图像

图5. (a) 相对L2测试误差与使用诺伊曼级数进行近似矩阵求逆的有限元方法(FEM)的截断诺伊曼级数阶数K的关系,以及根据(4.16)定义的诺伊曼模型NGO的关系。(b) 相对L2测试误差与普通模型NGO和诺伊曼模型NGO的谱半径ρ(?δFF0?1)的关系。这些模型已在数据集C(附录B)上进行训练。点和误差条分别表示1000个人工生成的稳态扩散解的平均值和95%置信区间,这些解的生成方式与数据集C相同。

我们在NGO公式中嵌入的另一个归纳偏差示例是稳态扩散方程(4.1)对其材料参数θ的尺度等变性,可以表示为(4.17)L[cθ]=cL[θ],?c∈R+,其中c是一个正常数。在附录E中,我们展示了如何将这种对称性嵌入NGO公式中,并证明了它对NGO在不同材料参数尺度上的泛化误差的影响。

4.3. 结果
在下一节中,我们将比较(4.5)中的NGO与其他几种模型的性能:VarMiONs、DeepONets、FNOs、CNOs和U-Nets。

4.3.1. 不同NGOs的泛化误差
表2显示了训练模型在分布内和分布外测试数据上取得的误差百分比。数据集A用于训练数据和分布内测试数据,而数据集B用于分布外数据(不同数据集的描述见附录B.1)。这些模型的具体架构在附录C.1中给出。训练程序的详细信息在附录D.1中给出。图6a和b展示了来自两个数据集的样本。

表2. 测试模型在不同数据集上的准确性。“Galerkin”项显示了使用Galerkin有限元方法和B样条基求解偏微分方程(PDEs)的误差,“Projection”项显示了将真实解投影到B样条基上时的误差,这是使用该基的任何模型都能实现的最低误差。

模型参数 测试误差
分布内 分布外
DeepONet 31,224 0.86% ± 0.73% 80 38 0.83% ± 265 49.77%
RINO 31,224 0.96% ± 2.23% 38 48 3.79% ± 224 9.15%
VarMiON 31,283 0.27% ± 0.20% 20.53% ± 19.37%
FNO 28,975 0.31% ± 0.16% 37 3.59% ± 149.42%
CNO 28,109 1.41% ± 0.74% 77 4.59% ± 193.58%
U-Net 30,221 0.82% ± 0.38% 34 0.80% ± 253.54%
Model NGO 28,387 0.24% ± 0.24% 12.94% ± 3.51%
Preconditioned model NGO 28,387 0.21% ± 0.17% 6.68% ± 23.17%
Preconditioned data-free NGO 28,387 2.82% ± 2.83% 6.73% ± 3.86%
Data NGO 27,981 0.26% ± 0.37% 12.07% ± 3.73%
Galerkin 0.10% ± 0.06% 2.76% ± 0.74%
Projection 0.08% ± 0.05% 2.63% ± 0.70%
POD-Galerkin 0.03% ± 0.02% 4.38%

下载:下载高分辨率图像(803KB)下载:下载全尺寸图像

图6. 有限元数据集(左)和人工生成数据集(右)中的五个随机解样本。误差以相对L2误差的均值和标准差表示。我们定义相对L2误差为ei=∥u^(i)?u(i)∥L2(Ω)/∥u(i)∥L2(Ω),其中u(i),i=1,?,N是真实解,u^(i)是模型预测。

作为参考,表2还包括了使用相同12×12立方B样条基函数的Galerkin有限元方法(FEM)所取得的准确性,以及将真实解投影到基函数跨度上所得到的误差。“Projection”项是使用这些基函数的任何模型都能实现的最低误差。“POD-Galerkin”项是指使用训练数据的前144个POD模式作为函数基的Galerkin方法。

备注6
我们注意到,在这里比较的模型中,只有NGO和VarMiON架构表示的是在PDE的源数据和边界数据上线性映射的。相比之下,DeepONet/RINO、FNO、CNO和U-Net架构可以表示θ、f、η和g的任意(非线性)函数。虽然这种缺乏结构限制通常会导致这些模型的分布外误差较高,但这也赋予了它们表示更广泛映射类的灵活性。另一方面,现有的考虑源项中解映射线性的方法(如[29]、[34])关注的是PDE系数的单个实例而不是参数族,因此不能直接与NGOs进行比较。最后,尽管我们使用参数线性PDE作为基准,但这类问题是评估完全非线性神经算子[10]、[11]、[12]、[53]时的标准问题。在第5.3节中,我们展示了NGOs也可以通过固定点迭代有效地处理非线性PDE。

图7显示了四个NGO模型和五个参考模型在分布内数据(图7a)和分布外数据(图7b)上的预测结果。注意到所有模型在分布内数据上的表现都很好,产生的近似解在视觉上与真实解无法区分。然而,除了VarMiON之外,参考模型无法泛化到分布外数据,而是产生了相对误差超过100%的预测。值得注意的是,U-Net是唯一一个不使用基而是仅对逐点值操作的模型,它未能产生平滑的输出函数。

下载:下载高分辨率图像(824KB)下载:下载全尺寸图像

图7. 来自分布内数据集(图7a)和一个分布外数据集(图7b)的一个问题的真实解和模型预测。

4.3.2. 不同长度尺度上的泛化误差
在本节中,我们比较了NGOs与其他文献中的模型在跨测试数据长度尺度泛化能力方面的表现。为了阐明模仿图1中Green算子行为的NGO构造的有效性,我们比较了使用相同基础、神经网络架构(NN架构)、可训练参数数量和积分密度的NGOs与DeepONets和VarMiONs的性能。更具体地说,我们比较了使用相同10×10立方B样条基的DeepONet、VarMiON、data NGO、data-free NGO和model NGO,所有模型都使用U-Net,具有大约3×10^4个可训练模型参数,并且都使用大约100×100点的积分网格。为了完整性,我们还报告了一个独立的NN(U-Net)和一个具有10×10傅里叶模式的FNO的性能,它们的可训练参数数量和积分点数量大致相同。模型架构的详细信息在附录C.1.2中给出。模型已在附录B.1中描述的数据集C上使用附录D.1.2中描述的训练程序进行训练。

结果在图8中展示,不同NOs在具有不同GRF长度尺度λ的测试数据集上的准确性进行了比较。模型在分布内长度尺度0.5<λ><λ/l<0.5(与数据集c的生成方式相同)。图8中的黑色数据是l2-投影误差,它们是由于将真实解投影到b样条基上而产生的。l2-投影误差是使用该b样条基的nos(deeponet、varmion、data ngo、data-free ngo和model ngo)的解决方案误差的下限。我们观察到,虽然在b样条基上可以准确表示平滑解,但较小长度尺度的解无法得到充分表示,这在图8左侧的示例解及其投影中也可见。u-net作为基线神经网络(nn)的性能在独立使用时得到了评估;然而,其误差在该分布范围之外显著增加。fno和deeponet也表现出类似的趋势,fno在分布内误差上低于u-net。相比之下,varmions保持了解对f、η和g的线性依赖性,以及对θ的非线性依赖性,如(4.2)中所表达的。这种结构的保留解释了它们相对于deeponets和u-nets的一致更高准确性。与varmions不同,ngos明确计算了右手边向量dn而不是学习它,显著减少了可训练参数的数量。对于varmions,可学习的矩阵f^nq、h^nq和g^nq随积分密度q变化,导致参数数量为o(q)。在参数预算固定为3×10^4的情况下,varmions被限制在输入积分q=10×10,这可能不足以捕捉数据中的细微特征。然而,ngos将材料参数θ与基函数的加权平均值作为输入。因此,它们的参数数量仅取决于基函数的数量n,与积分密度q无关。这种独立性使ngos能够在输入阶段使用任意精细的积分,从而在分布外数据上实现更高的准确性。图9总结了deeponets、varmions和ngos的积分密度与模型输入之间的关系。

下载:下载高分辨率图像(553kb)下载:下载全尺寸图像

图8. 相对l2测试误差与测试数据长度尺度λ/l(我们使用l=1)的关系,对于一个独立的nn(这里是u-net),以及当它在deeponet、varmion、data ngo、data-free ngo和model ngo中使用时。所有模型都有大约3×10^4个可训练参数,并且所有模型(除了nn和fno,也作为参考)使用相同的10×10立方b样条基,因此受到相同的l2投影误差下限的限制,以黑色表示。点和误差条分别表示1000个人工生成的稳态扩散解的数据集的平均值和95%置信区间,这些解的生成方式与数据集c相同。

下载:下载高分辨率图像(286kb)下载:下载全尺寸图像

图9. ngo的输入结构与文献中的神经运算符(如deeponet、fno和varmion)的输入结构相比。通常,典型神经运算符的可学习组件将输入函数θ采样在积分网格xq上作为输入,因此输入向量的大小由积分点q的数量决定。另一方面,ngo系统网将输入函数与基的内积作为输入,这些内积是使用带有权重wq和点xq的积分规则计算得出的。因此,ngo输入的大小由基的大小n决定,与使用的积分点q无关。因此,对于相同的nn输入大小(在示例中为5个数字),ngo可以使用(任意精细的)积分,从而在涉及精细尺度数据的问题上实现更高的准确性。

4.3.3. 不同基和系统网络架构的比较
在本节中,我们比较了使用不同系统网架构和基的组合的ngos的逼近特性。模型架构的详细信息在附录c.1.2中给出,系统网架构的详细信息可以在附录c.1.3中找到。模型已在附录b.1中描述的数据集c上使用附录d.1.2中描述的训练程序进行训练。图10(a)和(b)显示了使用不同系统网和基来逼近(4.1)解的效果,以及它们与单独架构和l2-投影误差到基上的误差。图10(a)的结果表明,将nn作为ngo内的系统网络使用时,其性能始终优于单独使用它们作为解逼近器。例如,在预处理模型ngo中使用时,mlp的误差减少了两个数量级以上。虽然fno是独立网络架构中最准确的,但在我们的模型ngo中作为系统网络使用时,u-net的性能最好。图10(b)的结果表明,虽然更高效的逼近空间通常会产生更准确的ngos,但我们观察到pod和chebyshev基相对于l2-投影误差的差距扩大了。这种扩大的差距可能是由于系统网络的表达能力有限或我们的训练过程的限制。

下载:下载高分辨率图像(306kb)下载:下载全尺寸图像

图10. (a) 一些典型nn架构作为独立解逼近器时的误差与在具有10×10立方b样条基的预处理模型ngo中作为系统网络使用时的相同nn的误差比较。(b) 在具有100个自由度的几个典型基上投影的解的l2投影误差与使用相同基的预处理模型ngo的误差比较。 l<0.5(与数据集c的生成方式相同)。图8中的黑色数据是l2-投影误差,它们是由于将真实解投影到b样条基上而产生的。l2-投影误差是使用该b样条基的nos(deeponet、varmion、data ngo、data-free ngo和model ngo)的解决方案误差的下限。我们观察到,虽然在b样条基上可以准确表示平滑解,但较小长度尺度的解无法得到充分表示,这在图8左侧的示例解及其投影中也可见。u-net作为基线神经网络(nn)的性能在独立使用时得到了评估;然而,其误差在该分布范围之外显著增加。fno和deeponet也表现出类似的趋势,fno在分布内误差上低于u-net。相比之下,varmions保持了解对f、η和g的线性依赖性,以及对θ的非线性依赖性,如(4.2)中所表达的。这种结构的保留解释了它们相对于deeponets和u-nets的一致更高准确性。与varmions不同,ngos明确计算了右手边向量dn而不是学习它,显著减少了可训练参数的数量。对于varmions,可学习的矩阵f^nq、h^nq和g^nq随积分密度q变化,导致参数数量为o(q)。在参数预算固定为3×10^4的情况下,varmions被限制在输入积分q=10×10,这可能不足以捕捉数据中的细微特征。然而,NGOs将材料参数θ与基函数的加权平均值作为输入。因此,它们的参数数量仅取决于基函数的数量N,与积分密度Q无关。这种独立性使NGOs能够在输入阶段使用任意精细的积分,从而在分布外数据上实现更高的准确性。图9总结了DeepONets、VarMiONs和NGOs的积分密度与模型输入之间的关系。 下载:下载高分辨率图像(553kb)下载:下载全尺寸图像 图8. 相对l2测试误差与测试数据长度尺度λ l(我们使用l=1)的关系,对于一个独立的NN(这里是U-Net),以及当它在DeepONet、VarMiON、data ngo、data-free ngo和model ngo中使用时。所有模型都有大约3×10^4个可训练参数,并且所有模型(除了nn和fno,也作为参考)使用相同的10×10立方b样条基,因此受到相同的l2投影误差下限的限制,以黑色表示。点和误差条分别表示1000个人工生成的稳态扩散解的数据集的平均值和95%置信区间,这些解的生成方式与数据集c相同。 下载:下载高分辨率图像(286kb)下载:下载全尺寸图像 图9. ngo的输入结构与文献中的神经运算符(如deeponet、fno和varmion)的输入结构相比。通常,典型神经运算符的可学习组件将输入函数θ采样在积分网格xq上作为输入,因此输入向量的大小由积分点q的数量决定。另一方面,ngo系统网将输入函数与基的内积作为输入,这些内积是使用带有权重wq和点xq的积分规则计算得出的。因此,ngo输入的大小由基的大小n决定,与使用的积分点q无关。因此,对于相同的nn输入大小(在示例中为5个数字),ngo可以使用(任意精细的)积分,从而在涉及精细尺度数据的问题上实现更高的准确性。 4.3.3. 不同基和系统网络架构的比较 在本节中,我们比较了使用不同系统网架构和基的组合的ngos的逼近特性。模型架构的详细信息在附录c.1.2中给出,系统网架构的详细信息可以在附录c.1.3中找到。模型已在附录b.1中描述的数据集c上使用附录d.1.2中描述的训练程序进行训练。图10(a)和(b)显示了使用不同系统网和基来逼近(4.1)解的效果,以及它们与单独架构和l2-投影误差到基上的误差。图10(a)的结果表明,将nn作为ngo内的系统网络使用时,其性能始终优于单独使用它们作为解逼近器。例如,在预处理模型ngo中使用时,mlp的误差减少了两个数量级以上。虽然fno是独立网络架构中最准确的,但在我们的模型ngo中作为系统网络使用时,u-net的性能最好。图10(b)的结果表明,虽然更高效的逼近空间通常会产生更准确的ngos,但我们观察到pod和chebyshev基相对于l2-投影误差的差距扩大了。这种扩大的差距可能是由于系统网络的表达能力有限或我们的训练过程的限制。 下载:下载高分辨率图像(306kb)下载:下载全尺寸图像 图10. (a) 一些典型nn架构作为独立解逼近器时的误差与在具有10×10立方b样条基的预处理模型ngo中作为系统网络使用时的相同nn的误差比较。(b)>
下载:下载高分辨率图像(553kb)下载:下载全尺寸图像

图8. 相对l2测试误差与测试数据长度尺度λ/l(我们使用l=1)的关系,对于一个独立的nn(这里是u-net),以及当它在deeponet、varmion、data ngo、data-free ngo和model ngo中使用时。所有模型都有大约3×10^4个可训练参数,并且所有模型(除了nn和fno,也作为参考)使用相同的10×10立方b样条基,因此受到相同的l2投影误差下限的限制,以黑色表示。点和误差条分别表示1000个人工生成的稳态扩散解的数据集的平均值和95%置信区间,这些解的生成方式与数据集c相同。

下载:下载高分辨率图像(286kb)下载:下载全尺寸图像

图9. ngo的输入结构与文献中的神经运算符(如deeponet、fno和varmion)的输入结构相比。通常,典型神经运算符的可学习组件将输入函数θ采样在积分网格xq上作为输入,因此输入向量的大小由积分点q的数量决定。另一方面,ngo系统网将输入函数与基的内积作为输入,这些内积是使用带有权重wq和点xq的积分规则计算得出的。因此,ngo输入的大小由基的大小n决定,与使用的积分点q无关。因此,对于相同的nn输入大小(在示例中为5个数字),ngo可以使用(任意精细的)积分,从而在涉及精细尺度数据的问题上实现更高的准确性。

4.3.3. 不同基和系统网络架构的比较
在本节中,我们比较了使用不同系统网架构和基的组合的ngos的逼近特性。模型架构的详细信息在附录c.1.2中给出,系统网架构的详细信息可以在附录c.1.3中找到。模型已在附录b.1中描述的数据集c上使用附录d.1.2中描述的训练程序进行训练。图10(a)和(b)显示了使用不同系统网和基来逼近(4.1)解的效果,以及它们与单独架构和l2-投影误差到基上的误差。图10(a)的结果表明,将nn作为ngo内的系统网络使用时,其性能始终优于单独使用它们作为解逼近器。例如,在预处理模型ngo中使用时,mlp的误差减少了两个数量级以上。虽然fno是独立网络架构中最准确的,但在我们的模型ngo中作为系统网络使用时,u-net的性能最好。图10(b)的结果表明,虽然更高效的逼近空间通常会产生更准确的ngos,但我们观察到pod和chebyshev基相对于l2-投影误差的差距扩大了。这种扩大的差距可能是由于系统网络的表达能力有限或我们的训练过程的限制。

下载:下载高分辨率图像(306kb)下载:下载全尺寸图像

图10. (a) 一些典型nn架构作为独立解逼近器时的误差与在具有10×10立方b样条基的预处理模型ngo中作为系统网络使用时的相同nn的误差比较。(b) 在具有100个自由度的几个典型基上投影的解的l2投影误差与使用相同基的预处理模型ngo的误差比较。>点状图和误差条分别表示1000个制造出的稳态扩散解的平均值和95%置信区间,这些解的生成方式与数据集C.4.3.4相同。在本节中,我们通过数值分析非线性微分方程(NGO)的准确性对重要模型和训练参数的敏感性,这些参数包括积分密度、基函数的大小、可训练参数的数量、训练数据集的大小以及训练周期的数量。模型架构的详细信息在附录C.1.2中有说明。这些模型是在数据集C上训练的,数据集C在附录B.1中描述,使用的是附录D.1.2中描述的训练程序。图11展示了带有数据NGO、无数据NGO、模型NGO与有限元方法(FEM)和L2投影的结果误差曲线。主要观察到的是,在所有测试中,模型NGO的误差大约稳定在10^-4,因此水平轴上的任何参数都无法主导误差。这种误差与投影误差之间的差异可能与所使用系统网络(这里是U-Net)的有限逼近能力或我们的训练过程的局限性有关。设计更好的系统网络和/或优化策略留待未来的研究。图11(a)中的另一个有趣观察是,如第3.1节所讨论的,无数据NGO的下限由FEM误差决定,而带有数据和模型的NGO则不是这样,并且它们对组装积分误差的敏感性低于FEM,甚至低于投影误差。最后的有趣观察是,对于经过Neumann预处理的模型NGO,只需要大约10^4^-10^5个可训练参数、10^4个训练样本和5×10^3个训练周期就足够了。带有数据的NGO需要大约2×10^4个周期才能收敛。

下载:下载高分辨率图像(908KB)
下载:下载全尺寸图像

图11. 带有数据的NGO、经过Neumann预处理的无数据NGO以及经过Neumann预处理的模型NGO的相对L2测试误差,与FEM和投影误差进行了比较,比较因素包括:(a)每个维度的组装积分点数Q1/d,(b)每个维度的损失积分点数QL1/d,(c)基函数数量N,(d)可训练参数数量Nw,(e)训练样本数量Ns,以及(f)训练周期Ne。点状图和误差条分别表示1000个制造出的稳态扩散解的平均值和95%置信区间,这些解的生成方式与数据集C.4.3.5相同。

除了不同模型的准确性外,我们还通过它们的计算效率来比较模型架构。为此,VarMiON、FNO和NGO变体在一个配备了28核2.6GHz Intel Xeon Gold 6132 CPU和四个NVIDIA Tesla V100 GPU的服务器上进行了基准测试。训练性能是通过在一组100个样本上评估模型,并执行基于梯度的优化所需的反向传播来测量的。请注意,NGO首先计算偏微分方程(PDE)参数与基函数或其导数之间的内积。这一步骤有一定的计算成本,但不依赖于模型的任何可训练参数。因此,可以为给定的数据集预先计算这些向量和矩阵,并在训练过程中将预计算数组传递给NGO。表3显示了FNOs、VarMiONs以及模型NGOs和数据NGOs的训练和推理性能。从表中可以清楚地看到,DeepONet是训练最快的模型,其次是VarMiON,然后是NGOs。NGOs的内存使用量高于DeepONet和VarMiON,但低于FNOs,并且与CNO相当。

表3. NGO与FNOs和VarMiONs在时间和内存使用方面的性能比较。对于NGOs来说,基准测试利用了它们预组装系统网络输入的能力。

3.6. 基于NGO的预处理器
最近,神经算子作为加速偏微分方程(PDE)数值解的方法引起了兴趣,这些方法使用了诸如有限差分或有限元素之类的离散化技术。实现这种加速有多种方法。Zhang等人[39]、Hu等人[48]和Ackmann等人[55]等人使用了一种方法,为线性系统(来源于PDE)构建了一个固定点迭代方案,该方案在“标准”平滑步骤(如Jacobi或Gauss-Seidel)和应用相应的神经算子之间交替进行。其他方法,包括Kopani?áková等人[40]和Xiang等人[41],直接使用学习到的算子作为预处理器,结合线性求解器(如Flexible GMRES [51]),允许非线性算子作为线性系统的预处理器。然而,这两种方法都需要对使用的求解器或迭代方案进行特定选择,这限制了它们在现有PDE求解器软件中的适用性。
NGO的一个优势是,它们学习到Green函数的近似值,这使得为同一PDE的数值离散化构建预处理器变得更加容易。构建预处理器可以通过Loghin [56]的方法定性地完成,或者使用Ichimura等人[35]的方法通过学习到的Green函数数值完成。在本节中,我们给出了一个使用训练有素的NGO为扩散方程的有限差分离散化构建预处理器的例子。具体来说,给定的PDE离散化产生了一个线性系统,其矩阵为C[θ],我们可以从NGO构建一个预处理器M[θ],使得P=CM^-1的条件数远小于C的条件数。
在这个例子中,我们采用测试数据集中的稳态扩散问题,制定了PDE的有限差分离散化,并使用第4节中训练的数据NGO来构建预处理器。对于有限差分离散化,我们假设一个均匀网格(即Δx=Δy≡h),并使用五点差分方案来近似微分算子:
??·(θ?u)=??x(θ?xu)??y(θ?yu),[?x(θ?xu)]i,j≈1 Δx(θi,j+θi+1,j) 2ui+1,j?ui,j Δx?θi?1,j+θi,j 2ui,j?ui?1,j Δx,
[?y(θ?yu)]i,j≈1 Δy(θi,j+θi,j+1) 2ui,j+1?ui,j Δy?θi,j?1+θi,j 2ui,j?ui,j?1 Δy,
其中θi,j=θ(xi,yj),ui,j是u(xi, xj)的有限差分近似值。我们取h=199,这样在y方向上产生100个点,在x方向上产生98个点(狄利克雷边界条件意味着不需要包括边界点)。这产生了一个9800×9800的线性系统Cu=b。
为了对这个线性系统进行预处理,我们使用了Kopani?áková [40]描述的直接预处理(DP)方法:线性系统使用平滑器和粗略级预处理器的乘法组合进行预处理,后者由神经网络表示。在这项工作中,使用块Jacobi作为平滑器,而粗略级预处理器由DeepONet或NGO给出。为了将DeepONet或NGO作为这种9800×9800线性系统Cu=b的预处理器,模型必须能够接受任何向量v∈R^9800作为输入,并返回C^-1v∈R^9800的近似值。由于C^-1v对应于扩散方程的解,其中右侧项对应于向量v,这可以通过将向量v转换为神经算子表示的形式,然后应用该算子在所需的网格点上获得扩散方程的解的近似值来完成。

**使用NGO进行预处理**
为了使用NGO作为粗略级预处理器,我们注意到可以在离散化使用的点上近似Green算子的作用:
(4.19) u^(xi)≈∫ΩG^[θ](xi,x′)f(x′)dx′≈∑j=1nG^[θ](xi,xj)f(xj)wj,
其中xj是有限差分离散化使用的点,wj是相关的积分权重。NGO按照(2.8)近似Green函数:
(4.20) G^[θ](xi,xj)≈∑m,n?m(xi)Amn[θ]?n(xj)。
由于右侧向量v包含了源项的逐点评估,即vj=f(xj),我们可以将NGO的离散化作用写为:
(4.21) C^-1v≈PNGO(v):
= PA[θ]Rv,
其中Pij=?j(xi),Rij=?i(xj)wj。
因此,NGO作为预处理器的作用可以如下方式概念化:
1. 计算v与NGO基函数的内积,由操作符Rij表示,代表一个限制算子。
2. 由NGO计算的矩阵A[θ]代表一个粗略级解算子。
3. 将结果系数展开为基函数?m的形式,由操作符Pij表示,代表一个延长算子。
通过这种方式,从NGO推断出的预处理器可以代数地应用于任何Krylov子空间方法。此外,与块Jacobi预处理器的乘法组合工作方式如下:在应用基于NGO的预处理器之后,再应用块Jacobi预处理器作为校正:
(4.22a) x?=PNGO(v)
(4.22b) r?=v?Cx?
(4.22c) C^-1v≈PNGO+blk.Jac.(v):
= x?+Pblk.Jac.(r?)。

**使用DeepONet进行预处理**
为了使用DeepONet作为预处理器,我们遵循Kopani?áková [40]中描述的相同程序,尽管我们的设置略有不同,因为我们将其应用于有限差分离散化,而不是有限元素离散化。这意味着为了计算DeepONet的右侧向量,该向量由在DeepONet的传感器节点上评估的源项组成,f需要从有限差分离散化点通过最近邻插值插值到传感器节点(即DeepONet的输入被认为是离散化点xi上最接近的点)。虽然这一步在技术上引入了插值误差,但我们认为这种误差总体上是可以忽略的,因为网格大小h=199意味着DeepONet的传感器节点与实际采样位置之间的差异相对于输入的长度尺度来说很小。
在应用DeepONet作为预处理器时,还有两个重要的细节:
- 首先,虽然DeepONets是分别传递各个源项的,但在离散化中这些项都合并为一个右侧向量。由于右侧向量中的大多数项来自体积源项f而不是边界源项η(注意,在这里使用的数据集中边界数据g始终为零),因此选择始终将η≡0并认为右侧向量v完全是由体积源项f产生的。虽然这也可能引入误差,但没有明确的方法可以将右侧向量“分离”为体积源项和边界源项的贡献,而且原始工作中没有解决这个问题。
- 其次,由于DeepONets是非线性函数,当右侧向量v的量级与训练数据中的不同 ?,它们可能会产生意外的输出。为了避免这种情况,需要缩放输入向量,使其范数等于训练数据中向量f的平均L2范数,这里写作r0。这确保了基于DeepONet的预处理器虽然不是线性的,但却是正齐次的。
从算法上讲,将基于DeepONet的预处理器应用于向量v∈R^9800可以用伪代码表示为:
(4.23a) f=Interpolate(v)nearest-neighbor
(4.23b) r=∥f∥r0normalization
(4.23c) c=BranchNet(θ,1rf,η≡0)applybranchnet
(4.23d) u^i=∑mcm?m(xi)evaluatesolutionongridpoints
(4.23e) C?1v≈PDeepONet(v):
= ru^。
与NGO的乘法组合在DeepONet中的预处理方式相同,即如(4.22)中所述。

**结果**
为了测试NGO和DeepONet作为预处理器的有效性,我们考虑了1000个扩散问题的实现。我们使用F-GMRES [51]解决离散化方程,每50次内部迭代重启一次,以及未重启的F-GMRES(分别写作F-GMRES(50)和F-GMRES(∞))。然而,发现当使用DeepONet预处理器时F-GMRES(50)会发散,因此DeepONet预处理的结果仅适用于未重启的F-GMRES。由于NGO预处理器也可以应用于其他线性求解器,因此还使用常规的GMRES算法 [57](包括重启和未重启的情况)以及Bi-CGSTAB [58]解决了方程。表4显示了收敛所需的平均迭代次数。线性系统的求解相对容忍度为10^-8。所有情况下都使用了右侧预处理。

表4. 各种迭代线性求解器解决离散化扩散方程所需的平均迭代次数。这些平均值是基于1000个扩散问题的实现计算的。
求解器 预处理器
None Blk. Jac.
Blk. Jac. + NGO Blk. Jac. + DeepONet
F-GMRES(∞) 48 2.9 93.7 0.0 27
F-GMRES(50) 16 16.2 7 19.4 5.0 0.0
Fail 48 2.9 93.7 0.0 27
GMRES(∞) 48 2.9 93.7 0.0 27
Bi-CGSTAB 36 0.1 13.2 9.4 –F-GMRES(∞)和Bi-CGSTAB在不同预处理器下的收敛行为。注意,在表4中,某些求解器和预处理器的组合平均需要的迭代次数完全相同。这有两个原因:首先,当使用线性预处理器或根本不使用预处理器时,F-GMRES等同于常规的GMRES。因此,F-GMRES(∞)和F-GMRES(50)的收敛行为分别等同于GMRES(∞)和GMRES(50)的收敛行为(基于DeepONet的预处理器除外)。其次,使用块雅可比+NGO预处理器时,F-GMRES和GMRES几乎总是在大约50次迭代后收敛,这意味着重启后的变体在不重启的情况下也能收敛,因此它们的行为与未重启的对应版本完全相同。特别是,表4中的“50.0”条目并不是错误的数据,这一点通过图12得到了验证,该图显示使用基于NGO的预处理器时,F-GMRES在50次迭代后确实收敛。一个重要的观察是,使用块雅可比+DeepONet预处理器的F-GMRES(∞)平均需要的迭代次数几乎与仅使用块雅可比预处理器的F-GMRES(∞)相同。换句话说,加入DeepONet并没有带来显著的性能提升。我们怀疑这是由于DeepONets相比于NGOs较差的泛化能力:随着F-GMRES算法的迭代进行,它可能会对训练数据中没有直接对应的右侧项的向量应用预处理器。正如表2所示,DeepONets在训练数据集之外的泛化能力较弱,这可能解释了它们在该测试案例中作为预处理器的表现不佳。另一方面,NGOs被证明具有相对较好的泛化能力,并且实际上是高效的预处理器。

必须指出的是,如果泛化确实是造成这一现象的原因,那么通过在一个更丰富的数据集上进行训练,可以避免DeepONets作为预处理器的较差性能。这样可以减少预处理器性能对模型泛化能力的依赖。因此,这里得到的结果并不与Kopani?áková等人[40]的研究结果相矛盾,他们发现DeepONets可以成为有效的预处理器。尽管如此,我们的结果还表明,NGOs可以从相同的训练数据中学习到有效的预处理器。此外,它们的线性特性使得NGOs可以预处理除F-GMRES之外的其他线性求解器。这一点很重要,因为表4显示Bi-CGSTAB是解决这里考虑的扩散问题时更高效的算法,而Bi-CGSTAB不能与像基于DeepONet的预处理器这样的非线性预处理器一起使用。

**备注7**:在他们的工作中,Kopani?áková等人[40]还考虑了另一种基于机器学习的预处理器,称为干线基(Trunk-basis,TB)方法。在这种方法中,使用DeepONet学习到的基来构建限制和 prolongation 运算符R和P,之后在不使用DeepONet的分支网络的情况下构建预处理器。在这项工作中,DeepONet和NGO模型都使用了相同的基,因此干线基方法在这两种模型之间是等价的。因此,我们在比较中省略了干线基方法。

**备注8**:我们对基于NGO的预处理器的构建可以被视为在经典的两层框架内的一个粗粒度预处理器,这与Nikolopoulos等人[59]的方法一致,并且在模型降阶的背景下,也与Pasetto等人[60]的工作相一致。

**5. 扩展到其他问题**
**5.1. 时间依赖的扩散问题**
在本节中,我们考虑时间依赖的扩散问题:
\[
(5.1) \quad (\partial\partial_t - \nabla\cdot\theta\nabla)u = f, \quad \forall(x,t) \in \Omega\times T,
n^\cdot\theta\nabla u = \eta, \quad \forall(x,t) \in \Gamma_N\times T,
\theta u = g, \quad \forall(x,t) \in \Gamma_D\times T,
u = u_0, \quad \forall(x,t) \in \Omega\times\{0\},
\]
其中 $\Omega = [0,1]^2$ 且 $T = [0,T]$,这是第4节中处理的稳态扩散问题的直接时间依赖推广。与静态问题的区别在于:(5.1)中的算子包含时间导数 $\partial/\partial t$,输入函数 $\theta, f, \eta$ 和 $g$ 是空间和时间 $(x,t)$ 的函数,并且有一个初始条件 $u = u_0$。我们不是在整个时间域 $T$ 上求解对应于(5.1)的格林算子,而是将其限制在长度为 $\Delta t$ 的时间片上,如图13所示。问题(5.1)的解可以用格林算子表示为:
\[
(5.2) \quad u(i)(x,t) = \int_\Omega G(i)[\theta](i\Delta t)u(i-1)(i\Delta t)dx' + \int_\Omega\times\Delta t i G(i)[\theta]fdx'dt' + \int_\Gamma_N\times\Delta t i G(i)[\theta]\eta dx'dt' - \int_\Gamma_D\times\Delta t ig^n^\cdot\nabla G(i)[\theta]dx'dt',
\]
其中 $G(i)$ 是对应于时间片 $i$ 的格林函数,且 $u(0)(0) = u_0$。(5.2)的推导过程在附录A中提供。

**5.2. 时间推进**
从 $t=0$ 到 $t=T$,逐步将 $u(i)$ 进展到 $u(i+1)$,我们解决了在整个时间域 $T$ 上真实解 $u$ 的分段连续近似。

**图13.** 空间-时间域 $\Omega\times T$,顶部和底部为诺伊曼边界 $\Gamma_N$,两侧为狄利克雷边界 $\Gamma_D$,左侧为初始条件边界 $t=0$。我们使用 $L=T=1.5$。

**5.1.1. NGO架构**
将(2.8)中的基函数 $\psi_n(i)$ 和 $\phi_m(i)$(对应于时间片 $i$)替换为空间和时间 $(x,t)$ 的函数后,得到NGO的表示为:
\[
u^(i)(x,t) = G^(i)[u(i-1),\theta,f,\eta,g](x,t) = A^n(m)(F[θ])dn(i)[u(i-1),f,\eta,g]\phi_m(i)(x,t),
\]
其中
\[
dn(i)[u(i-1),f,\eta,g] = \int_\Omega \psi_n(i)(i\Delta t)u(i-1)(i\Delta t)dx' + \int_\Omega\times\Delta t i\psi_n(i)fdx'dt' + \int_\Gamma_N\times\Delta t i\psi_n(i)\eta dx'dt' - \int_\Gamma_D\times\Delta t ig^n^\cdot\nabla\psi_n(i)dx'dt',
\]
对于模型NGOs和无数据NGOs,输入 $F[θ]$ 如第3.1节所述,是(未稳定的)系统矩阵:
\[
F_nm[θ] = \int_\Omega\times\Delta t i\phi_m(i)L*[θ]\psi_ndx'dt' - \int_\Gamma\setminus\Gamma_N\times\Delta t i\theta\psi_n^n^\cdot\nabla\phi_m(i)dx'dt' + \int_\Gamma\setminus\Gamma_D\times\Delta t i\theta\phi_m(i)n^\cdot\nabla\psi_ndx'dt' + \int_\Omega\psi_n((i+1)\Delta t)\phi_m(i)((i+1)\Delta t)dx',
\]
这相当于方程(A.11)。对于有数据的NGOs,$F[θ]$ 是针对测试基整合的材料参数 $\theta$:
\[
F_n[θ] = \int_\Omega\times\Delta t i\psi_n\theta dx'dt'.
\]
对于有数据的NGOs,我们还提供了一个额外的输入 $F_t,n \equiv \int_\Omega\psi_n((i+1)\Delta t)dx'$,原因在第C.2节中解释。我们使用基函数 $\psi(x,t) \equiv \{\psi_n(x,t)\}_{n=1}^N$ 和 $\phi(x,t) \equiv \{\phi_m(x,t)\}_{m=1}^N$,它们是一维基函数的克罗内克外积:
\[
\phi(x,t) = \phi(t)(t) \otimes K\phi(x)(x) \otimes K\phi(y)(y),
\]
其中 $\phi_{xi}(xi) \equiv \{\phi_lxi(xi)\}_{l=1}^n$,$n_i$ 是第 $i$ 维中的基函数数量,$\otimes K$ 是克罗内克积。在附录F中,我们展示了如何利用基函数的克罗内克积结构来更高效地组装模型NGOs和无数据NGOs的系统矩阵。如果将(5.8)中的
\[
u^{(i-1)}(i\Delta t) = u^{(i-1)}\phi_m(i\Delta t)
\]
代入(5.4),我们得到时间步进方案:
\[
u^(i) = A^{(i)}d(i) = A^{(i)}M_l ru^{(i-1)} + A^{(i)}dx(i),
\]
我们定义:
\[
M_l,r,nm \equiv \int_\Omega\psi_n(i)(i\Delta t)\phi_m(i-1)(i\Delta t)dx' = \int_\Omega\psi_n(i)(i\Delta t)\phi_m(i)((i+1)\Delta t)dx',
\]
作为对应于时间步长两端基函数的质量矩阵,以及
\[
dx,n(i)[f,\eta,g] \equiv dn(i)[u(i-1),f,\eta,g] - \int_\Omega\psi_n(i)(\Delta t)i u^{(i-1)}(\Delta t)dx',
\]
作为对应于强迫项和边界条件项的右侧向量。总结来说,用于稳态扩散问题(第3节中处理)的NGO架构可以用来预测时间依赖扩散问题的单个时间步长,只要考虑到基函数对时间 $t$ 的额外依赖性以及额外的输入 $u^{(i-1}$(以及其他一些细节,这些在第C.2节中讨论)。然后可以使用方程(5.9)来随着时间推进模型。实际上,我们只在时间中的一个元素上定义基函数 $\phi(t)(t)$,并在进行时间步进时将其向前移动,这相当于在时间上的不连续基函数。在本节的其余部分,我们研究了保持方程(5.1)解的关键属性的方法,以便在单个时间步长上训练的NGO能够自回归地预测任意数量时间步长后的解。

**5.1.2. 诱导偏置:时间步进的稳定性**
为了研究时间依赖扩散问题解的稳定性,我们假设采用Galerkin离散化,其中 $\psi(x,t) = \phi(x,t)$ 并将解 $u$ 作为测试函数 $v$ 代入弱形式(方程(A.10)),得到能量方程:
\[
\Delta E(i) \equiv \frac{1}{2}\int_\Omega(u^{(i)})^2((i+1)\Delta tdx' - \frac{1}{2}\int_\Omega(u^{(i-1})^2(i\Delta t)dx' = -D(i)[\theta][u^{(i)},u^{(i)} + \int_\Omega\times\Delta tiu^{(i)}fdx'dt' + \int_\Gamma_N\times\Delta tiu^{(i)}\eta dx'dt' + \int_\Gamma_D\times\Delta ti ig(Cs-n^\cdot\nabla)u^{(i)}dx'dt',
\]
其中
\[
D(i)[\theta][u^{(i)},u^{(i)} = \int_\Omega\times\Delta ti\theta\|\nabla u^{(i)}\|^22dx'dt' + \int_\Gamma_D\times\Delta ti\theta u^{(i)}(Cs-2n^\cdot\nabla)u^{(i)}dx'dt' \geq \alpha(i)[\theta]\|u^{(i)}^2
\]
是扩散能量/熵耗散项,第二项是能量产生项,第三和第四项分别是诺伊曼边界和狄利克雷边界上的能量流出项。$Cs$ 是Nitsche稳定常数[54],用于确保 $D$ 的非负性。将 $u^{(i)} = u^{(i)}\phi_m(i)$ 代入(5.13)得到相应的离散能量耗散关系:
\[
\frac{1}{2}\|u^{(i)}^2M_r^2 - \frac{1}{2}\|u^{(i-1)}^2M_r^2 \leq (u^{(i)})Thx(i),
\]
其中 $u^{(i)} = \{u^{(i)}_{m=1}^N$,(5.15) $h_x(i) = \int_\Omega\times\Delta ti\phi(i)fdx'dt' + \int_\Gamma_N\times\Delta ti\phi(i)\eta dx'dt' + \int_\Gamma_D\times\Delta ti ig(Cs-n^\cdot\nabla)\phi(i)dx'dt'$,$\| \cdot M_r$ 是由质量矩阵诱导的向量范数。
(5.16) $M_r,nm \equiv \int_\Omega\psi_n(i)((i+1)\Delta t)\phi_m(i)((i+1)\Delta t)dx'$
描述了时间步长结束时基函数的评估。离散能量方程(5.14)描述了离散解 $u^{(i)} = u^{(i)}\phi_m(i)$ 随时间的L2范数的演变。

**5.2. 算子稳定性**
为了推导系统网络输出的系统稳定性标准,不失一般性地,我们考虑了$f=η=g=0$的均匀情况。在均匀设置中,离散能量不等式(5.14)简化为:
\[
\frac{1}{2}\|u^{(i)}^2M_r^2 - \frac{1}{2}\|u^{(i-1)}^2M_r^2 \leq 0.
\]
将时间步进方案(5.9)(其中 $dx(i)=0$)代入方程(5.17)(其中 $h_x(i)=0$)并重新排序后得到:
\[
\|A^{(i)}[\theta]M_l ru^{(i-1)}\|M_r\|u^{(i-1)}\|M_r \leq 1.
\]
由于(5.18)对所有 $u^{(i-1)}$ 都成立,因此它意味着稳定性标准:
\[
sup_{u^{(i-1)}\|A^{(i)}[\theta]M_l ru^{(i-1)}\|M_r\|u^{(i-1)}\|M_r \leq \|A^{(i)}[\theta]M_l\r\|M_r \leq 1.
\]
为了保证NGOs的稳定性,我们需要确保NGOs产生的矩阵 $A^{(i)}[\theta]$ 满足标准(5.19)。注意,(5.19)是矩阵 $A^{(i)}[\theta]$ 的一个性质,与 $f, \eta$ 和 $g$ 无关,因此 également 适用于非均匀问题。
为了确保模型NGOs和無數據NGOs的输出在(5.19)的意义上是耗散的,我们依赖于第4.2节中描述的预处理系统网络,其中$F_0$使用Nitsche方法[54]来保证稳定性。然而,对于有數據的NGOs,我们假设偏微分方程信息是未知的,因此系统矩阵是不可用的。为了保证有數據的NGO满足(5.19),我们提出了一个矩阵范数缩放层:
\[
A^{(i)}' = \{A^{(i)}\|A^{(i)}M_l\r\|M_r \leq S, \S \leq A^{(i)}M_l\r\|M_r \leq S,
\]
这保证了:
\[
\|A^{(i)}M_l\r\|M_r \leq S \leq 1.
\]
这里,$S \leq 1$ 是一个超参数,决定了有數據的NGO允许预测的最大范数。也就是说,如果系统网络$A^{(i)}$的输出违反了(5.19),我们会将其缩放,使得缩放后的矩阵$A^{(i)}'$确实满足(5.19)。出于计算原因,我们不显式计算$\|A^{(i)}M_l\r\|$,而是使用幂迭代算法[61]估计它,其实现细节可以在附录D.2中找到。
在图14中,我们展示了预处理策略和范数缩放层对模型NGO和有數據NGO的质量矩阵广义特征值谱和长期稳定性的影响。模型架构的详细信息在附录C.2中突出显示。这些模型是在附录B.2中描述的数据集D上使用附录D.2中描述的训练程序训练得到的。在图14(a)中,我们展示了模型NGO的预处理策略和有數據NGO的范数缩放层(5.20)确保了两个模型都满足(5.19)。模型NGO的$M_r$广义特征值谱也与稳定的FEM谱在视觉上重叠。在图14(b)中,我们展示了包含的归纳偏置确保了两个模型在1000个时间步长$\Delta t/T=10^{-3}$内的时间积分误差保持稳定,尽管两个NGO模型已在数据集D上进行了训练,该数据集在附录B.2中有描述,使用的是附录D.2中描述的训练程序。虽然从图15(a)和(b)中可以观察到,修正方法(5.26)在预测质量m^(t)和能量E^(t)随时间的误差上有所改进,但并未完全消除这些误差。这种差异是由于修正方法(5.26)仅能控制质量守恒方程(5.23)中的等式,而不能控制不同贡献的量级,并且只能确保满足能量耗散关系(5.23)中的不等式,而这可能并不精确。为了展示将非线性迭代求解器中的非政府组织(NGOs)嵌入的有效性,我们考虑了用于近似求解(5.28)方程的Picard迭代方法[62]、[63]。从初始猜测u(0)=0开始,Picard迭代{u(k)}k?≥?1,其中k∈{1,2,…},通过解决以下问题来定义:(5.30){??·(θ[u(k?1)]?u(k))=finΩ=(0,1)2,θ[u(k?1)]?u(k)·n=ηonΓN=(0,1)×{0,1},θ[u(k?1)]u(k)=gonΓD={0,1}×(0,1)。在这个框架中,线性化子问题的解序列u(k)提供了给定前一个迭代u(k?1)时的非线性偏微分方程(PDE)解u的连续近似。注意,对于每个k∈{1,2,…},系统(5.30)是通过设置u?→?u(k)和θ→θ[u(k?1)]得到的参数稳态扩散问题(4.1)的一个实例,因此(5.30)的解可以用参数Green算子表示,如(4.2)中所示。这一观察结果使得可以直接重用第4.3.2节中描述的针对参数线性问题训练的NGO作为每次Picard迭代中的替代求解器。然而,在我们对这个问题的有限元法(FEM)测试中观察到,如备注5中所描述的,对我们弱形式的稳定化是Picard迭代收敛所必需的。虽然可以在第4.3.2节中描述的线性问题上预训练的数据NGO直接重用,但需要通过分别在输入矩阵F、Neumann预处理器F0(如第4.2节所述)和右侧向量d中添加Nitsche稳定项(4.8)和(4.9)来考虑这种稳定化的无数据和模型NGO。

5.3.1 结果
在本节中,我们评估了将第4节中描述的参数线性扩散问题解训练得到的NGO嵌入到Picard迭代(5.30)中以求解由(θ0, f, η, g)参数化的非线性扩散问题(5.28)的有效性。我们将所得性能与文献中能够直接近似非线性PDE解而不依赖迭代方案的NO架构进行比较。具体来说,我们考虑了一个U-Net(称为NN)、一个DeepONet和一个FNO。为了完整性,我们还评估了U-Nets、DeepONets和FNO在两种训练和部署策略下的性能:
(i) 直接近似参数非线性问题的解算子。对于这种策略,NNs、FNOs和DeepONets的架构和训练程序也与第4.3.2节中的相同(分别见附录C.1.2和D.1.2),但是,这些模型是在附录B.4中描述的非线性扩散数据集F上训练的。
(ii) 在相应的线性参数问题上进行训练,并将得到的模型嵌入到Picard迭代中,类似于我们使用NGO的方法。对于这种策略,我们重用了第4.3.2节中描述的用于线性扩散问题的训练模型:它们的架构、训练程序和数据集(数据集C)分别在B1 Steady diffusion、C1.2 Architectures和D.1.2中有说明。
这种比较使我们能够区分NGO的好处和仅归因于迭代部署的好处。

图22报告了不同网络架构的相对误差随Picard迭代指数k的变化情况。这些曲线上面叠加了水平线,表示直接近似非线性问题解算子的网络所达到的误差。在图22(a)中,我们展示了长度尺度λ/L=1时的分布内测试结果。我们观察到,在Picard迭代中部署的所有网络最初都反映了稳定FEM的收敛轨迹;然而,它们最终在更高的误差处停滞。在所有考虑的模型中,模型NGO最接近稳定FEM的收敛行为,并且达到了最低的最终误差,其次是无数据NGO和数据NGO。此外,我们还观察到,NN、FNO和DeepONet的迭代使用收敛到的误差水平与它们的直接非线性对应物相当,这表明在我们的测试中,迭代部署并没有为这些架构带来明显的优势。

下载:下载高分辨率图像(405KB)
下载:下载完整尺寸图像

图22. 在分布内数据(λ/L=1)和分布外数据(λ/L=0.1,此处我们使用L=1)上,对于独立NN(这里是一个U-Net)以及同一NN在DeepONet、VarMiON、数据NGO、无数据NGO和模型NGO(还添加了一个FNO进行比较)中,随定点迭代次数k变化的相对L2测试误差。对于NN、DeepONet和FNO,包括了直接求解和迭代求解的方法的结果。所有模型大约有3?·?10^4个可训练参数,并且所有模型(除了NN和FNO)都使用相同的10?×?10的三次B样条基,因此受到相同的L2投影误差下限的限制,用黑色标出。点和线是平均值,误差条和阴影区域是95%的置信区间,数据集是按照与数据集F(附录B.4)相同的方式生成的1000个制造解。

图22(b)报告了在更细的长度尺度λ/L=0.1下的分布外测试结果。在这里我们观察到,所有NGO变体都在一个Picard迭代中收敛,无数据和模型NGO的误差与投影误差重叠。为了清晰起见,图22(b)省略了NN、FNO、DeepONet和VarMiON的结果,因为它们的相对误差显著更大。这一趋势在图23中得到了进一步证实,该图总结了所有考虑的神经算子在一系列测试长度尺度λ/L上的近似误差。

下载:下载高分辨率图像(615KB)
下载:下载完整尺寸图像

图23. 相对L2测试误差与测试数据长度尺度λ/L的关系(我们使用L=1),对于独立NN(这里是一个U-Net),以及同一NN在DeepONet、VarMiON、数据NGO、无数据NGO和模型NGO中的使用。所有模型大约有3?·?10^4个可训练参数,并且所有模型(除了NN和FNO,也作为参考)都使用相同的10?×?10的三次B样条基,因此受到相同的L2投影误差下限的限制,用黑色标出。点和误差条分别是平均值和95%的置信区间,数据集是按照与数据集F(附录B.4)相同的方式生成的1000个制造的非线性扩散解。

图23中的结果紧密反映了图8中观察到的线性扩散问题的趋势。具体来说,当应用于非线性扩散时,NGO保持了其优越的性能,表现出更高的分布内准确性和对细粒度、分布外数据的显著更强的泛化能力。然而,由于NGO作为迭代求解器的结构组件而不是端到端映射,它们继承了传统数值方法的要求:它们的收敛依赖于合适的初始猜测,并且每次求解需要多次算子评估。这与其他NO架构形成对比,后者提供了直接的、尽管不易泛化的单次近似。

备注9
我们观察到,对于分布外的细粒度测试数据,无数据NGO的性能表现出变异性:在多个独立且等效训练的模型中,并没有一致地实现稳定收敛。因此,我们报告了从五次这样的训练运行中选出的表现最好的模型的结果。开发显式促进定点迭代稳定性的归纳偏差,类似于第5.1.2节中引入的时间步进稳定性的归纳偏差,是未来工作的一个重要方向。

6. 结论
在这项工作中,我们介绍了神经Green算子(Neural Green’s Operator),这是一种用于学习参数化线性PDE解算子的机器学习架构。我们构建NGO的基础是Green函数的有限维表示。这种表示使得在近似Green函数对PDE系数的非线性依赖性的同时,保持Green算子对不均匀场的作用的线性。这种构建将问题复杂性从学习整个解算子及其对所有参数的依赖性降低为仅学习Green函数及其对PDE系数的依赖性。此外,采用加权平均值而不是点样本来处理输入函数,将网络规模与采样点的数量解耦,从而能够高效地解决输入场的多个尺度问题。我们区分了三种NGO的使用情况:模型NGO,当底层PDE已知且训练数据可用时使用;无数据NGO,当底层PDE已知但训练数据不可用时使用;以及数据NGO,当训练数据可用但数据背后的模型未知时使用。对于稳态扩散问题,NGO的准确性超过了VarMiONs、DeepONets和FNOs,特别是在测试不在训练分布中的更细粒度数据时。对于时间依赖的扩散问题、对流-扩散问题和非线性扩散问题,也观察到了类似的趋势。

我们展示了Green函数的显式表示使得可以直接将归纳偏差纳入网络架构。特别是,对系统网络的输出进行预处理可以提高解的准确性;对于时间依赖问题,嵌入算子稳定性以及守恒和耗散定律可以实现对时间的长期自回归 rollout,从而实现时间上的逐点准确性。此外,我们还证明了NGO推断出的Green函数可以用来构建有效的矩阵预处理器,以加速大规模问题的迭代求解器。基于NGO的预处理器模仿了流行的两级预处理策略,使它们适用于广泛的方程和线性求解器。此外,基于NGO的预处理器被发现比使用DeepONets的类似策略更有效。

作为将NGO扩展到参数非线性问题的一个示例,我们展示了仅在相关线性PDE的解上训练的NGO可以有效地嵌入到迭代非线性求解器中。当提供合适的初始猜测时,这种方法可以在不重新训练模型的情况下获得非线性参数PDE解的准确近似。此外,对于稳态线性扩散问题观察到的准确性趋势也适用于非线性设置:NGO始终优于VarMiONs、DeepONets和FNOs,特别是在涉及比训练期间更细的空间尺度的分布外情况下。这些结果强调了NGO作为经典数值算法中可重用、模块化组件的潜力,有效地桥接了线性训练和非线性部署。

尽管我们为使用NGO作为PDE的解算子提供了概念验证,但这项工作还揭示了几条研究方向。一个研究方向包括丰富NGO中编码的参数空间,以便在更一般的设置中求解PDE。这些设置可以包括问题域的不同几何形状,以及应用于边界段的不同类型的边界条件。另一个研究方向涉及定制使用NGO来加速其他算法。特别值得关注的是扩展用于加速大规模非线性系统迭代求解器的矩阵预处理策略,以及用于加速瞬态求解器的时间积分策略。最后,我们还有兴趣探索训练策略,例如多阶段方法[64],这些方法将导致更准确的模型。

代码对应于稳态扩散问题可在以下链接获取:https://github.com/JoostHMPrins/ngo.CRedI

作者贡献声明
H.A. Melchers:撰写-审阅与编辑、撰写-原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
J.H.M. Prins:撰写-审阅与编辑、撰写-原始草稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
M.R.A. Abdelmalik:撰写-审阅与编辑、撰写-原始草稿、验证、监督、资源、项目管理、方法论、调查、资金获取、形式分析、概念化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号