SDF-YOLO:一种用于提升自动驾驶中轻量级物体检测性能的多尺度动态特征融合网络

《Neurocomputing》:SDF-YOLO: A Multi-Scale Dynamic Feature Fusion Network for Enhanced Lightweight Object Detection in Autonomous Driving

【字体: 大 中 小 】 时间:2026年03月13日 来源:Neurocomputing 6.7

编辑推荐:

  苏巴尔纳·卡恩拉|维贾伊·库马尔·库克雷贾|因杜·巴拉桑特 旁遮普邦隆戈瓦尔市朗戈瓦尔工程技术学院,印度,148106 摘要 物理信息神经网络将控制微分方程嵌入训练过程,从而能够求解常微分方程和偏微分方程。本综述总结了其理论基础(表达能力、自动微分)以及核心方法(损失函数设计、约

  苏巴尔纳·卡恩拉|维贾伊·库马尔·库克雷贾|因杜·巴拉桑特 旁遮普邦隆戈瓦尔市朗戈瓦尔工程技术学院,印度,148106 摘要 物理信息神经网络将控制微分方程嵌入训练过程,从而能够求解常微分方程和偏微分方程。本综述总结了其理论基础(表达能力、自动微分)以及核心方法(损失函数设计、约束施加、采样、优化),同时介绍了从基础PINNs到多物理场耦合、域分解、频率增强表示以及算子学习混合等高级变体的应用。通过比较分析,将架构和训练选择与方程类型、数据条件及计算资源联系起来。本文提出了一个统一的基准测试框架,包括标准偏微分方程任务、精度指标、配置预算以及透明报告机制,以便与传统求解方法进行公平比较。有证据表明,PINNs可作为传统方法的补充——在反问题、数据同化、不规则域以及参数推断方面表现优异——但其在可扩展性、谱偏差、约束施加以及可重复性方面仍存在挑战。本综述为科学和工程应用提供了系统性的总结与实用指导。1. 引言 1.1 背景与动机 近几十年来,人工智能与计算物理的交叉领域取得了快速进展,极大地改变了复杂数学建模的方法。尽管传统数值求解方法已经十分成熟,但在处理高维问题、反问题以及数据匮乏的情况时仍面临困难,这促使人们寻求基于学习的替代方案[18]、[54]。由Raissi等人[139]、[140]系统提出的物理信息神经网络,将物理定律与深度学习架构相结合,以克服这些限制。通过借助定制的损失函数将控制微分方程嵌入神经网络训练过程中,PINNs能够在遵循物理约束的同时实现通用逼近,从而得到既基于数据又符合物理规律的解。PINNs通过定制的损失函数将控制微分方程直接嵌入神经网络训练过程,代表了与传统数值方法的转变。这一创新框架利用了神经网络的通用逼近能力,同时确保物理约束得到遵守,从而使得到的解既基于数据又符合物理规律[34]。与传统机器学习方法需要大量标注数据集不同,PINNs无需监督即可运行,通过最小化控制方程、边界条件以及初始条件的残差来学习解法[100]。为了将高维输入空间分解为更小、更易处理的子问题,[107]提出了S-PI-DeepONet,显著减少了所需训练参数的数量。为预测不同周期性域中的微观结构力学响应,[56]提出了SPiFOL,该方法结合了谱方法、有限算子学习以及物理信息损失函数,以利用频域表示。在[21]中,采用了线性化的L1型紧凑差分格式,为二维系统中的离散能量稳定性及最大值原理提供了严格证明;而在进化算法中则整合了量子搜索机制,用于优化连续体结构拓扑设计[184]。PINNs还被应用于提升实时焊接缺陷检测任务的跨分布泛化能力[190],有人提出了以Brooks–Iyengar量子拜占庭协议为基础的区块链模型,用于保护智能医疗物联网网络[210],此外还开发了结合优化框架的深度学习替代建模技术,用于气动翼型设计[97]。早期的基于神经网络的方法证明了使用无网格函数近似求解微分方程的可行性,为现代PINNs奠定了基础;然而,这些方法受到有限的优化能力以及缺乏可扩展的自动微分功能的制约,这些难题后来通过深度学习框架得到了解决[41]、[57]、[82]。如今的混合框架将神经算子与有限元方法相结合,利用有限元形状函数处理复杂几何结构,同时对非结构化网格施加物理信息约束[193]。有研究将物理信息机器学习分为三种策略:物理信息数据增强、架构设计以及损失函数正则化[115]。PINNs的诞生源于传统数值方法的局限性。尽管有限差分法、有限元法和有限体积法已经相当成熟,但它们仍受维度灾难的影响,处理复杂几何结构时需要复杂的网格划分,而且在反问题中——即需要从有限数据中推断参数——也面临困难[22]、[171]。此外,它们在多物理场耦合、不确定性量化以及对效率要求极高的实时应用方面也存在挑战[186]。在[144]中提出了一种多尺度框架,将计算机视觉用于图像分割,再结合物理信息算子学习,将微观结构特征映射到宏观力学性能上。在[212]中,引入了深度组合算子网络,该网络通过组合层模拟嵌套函数映射,并借助物理信息损失函数,确保针对复杂偏微分方程得到与离散化方式无关的解。现有文献中有不少综述聚焦于PINNs的基础层面及其各种变体。在[84]中提出了PRISMA框架,用于将PINNs分类为扩展型、混合型和最小化损失型技术;[63]综述了其在电力系统中的应用;[151]探讨了PINNs/物理信息机器学习在流体力学中的应用及相关挑战与机遇;[34]强调了网络结构方面的发展与研究趋势;[209]回顾了复杂流体动力学领域在网络设计、优化以及特征扩展方面的进展;[45]对PINNs进行了基础性概述,介绍了其方法、局限性及发展趋势;[77]讨论了其在复合材料建模、断裂力学以及无损评估中的应用;[145]分析了实际应用中面临的挑战,如损失函数设计及边界条件约束问题;[102]展示了在偏微分方程求解方面的最新改进成果;[165]介绍了除标准PINNs之外的其他替代方法,如PIKANs;[143]阐述了迈向PINN 2.0的自适应优化与混合学习方法;[106]探讨了在聚合物建模中弥合多尺度差距的方法;[117]对多物理场传热与材料耐久性进行了深入分析;[111]系统地对铁路桥梁的结构分析与健康监测方法进行了分类;[125]给出了涵盖数据驱动型、物理驱动型以及混合模型的PINN方法分类体系;[86]展示了将物理信息机器学习集成到智能工厂中的应用;[205]总结了PINNs在处理偏微分方程时的局限性,包括病态问题、数学严谨性不足以及物理整合不够完善等问题。我们的研究通过提供一种截然不同且具有时效性的贡献,凸显出自身的独特价值。基于对2018年至2026年间相关PINNs综述的系统性分析,本综述指出了当前仍存在的概念性及方法论上的空白。以往的综述往往侧重于基础公式、特定领域或零散的进展,常常以碎片化的方式呈现问题类别,难以清晰展现方法之间的差异。与此不同,本研究通过根据问题特征——即常微分方程、经典偏微分方程、高维系统以及新兴的分数阶模型——对PINNs方法进行分类,实现了结构化的综合梳理。除了这种结构上的欠缺之外,目前关于PINNs的可扩展性、效率、基准测试以及从概念验证走向工程级应用的讨论还十分有限,而这些问题都在本研究中得到了系统阐述。本综述的创新之处在于,它对针对实际局限性的各项进展进行了批判性与定量化的综合分析,包括在高维时空系统中的可扩展性、计算效率以及物理信息算子学习的作用。通过整合架构分析、方法分类、基准测试实践,以及医学建模、交通流量分析、气候预报等较少被关注的现实世界应用场景,本研究为将PINNs作为工程级计算工具加以应用提供了具有前瞻性的路线图——这种综合视角在之前的综述中几乎不存在。1.2 从传统数值方法的演变 使用神经网络求解微分方程的概念起源可以追溯到Lagaris等人[82]以及Dissanayake和Thien[41]的早期研究,他们展示了用于边界值问题的无网格神经网络近似方法。尽管这些研究具有开创性,但由于理论严谨性不足以及缺乏高效的自动微分功能,其应用受到限制,而自动微分功能如今已被认为是满足微分方程约束的必要条件[17]。随着深度学习框架以及可扩展自动微分技术的出现,精确的导数计算成为可能,进一步推动了这一领域的发展[128]。物理信息神经网络的现代形式是由Raissi及其同事[139]、[140]通过一系列重要贡献得以确立的,他们提出了一个能够同时处理正向问题与反向问题的统一框架。通过将控制方程直接嵌入训练过程,PINNs摆脱了传统基于离散化的求解方法,实现了数据集成建模、参数识别以及以发现为导向的科学计算[30]。如图1所示,这种范式强调无网格计算、观测数据的无缝整合以及物理定律的明确约束。下载:下载高分辨率图片(389KB)下载:下载全尺寸图片图1. PINNs与传统方法的工作流程。后续的发展进一步将PINNs拓展到了非线性偏微分方程、多尺度现象以及算子学习领域,使其更加稳固地成为科学机器学习领域的核心方法之一。在许多应用场景中,PINNs如今不仅能够补充传统数值方法,甚至还能够拓展其应用范围[92]、[99]。1.3 研究范围与目标 尽管PINNs发展迅速且应用前景广阔,但目前仍缺乏一份既能全面梳理各类应用,又能深入分析方法论进展、理论基础以及尚未解决的挑战的系统性综述。现有的综述往往要么局限于特定领域,要么仅提供宽泛的概述,缺乏足够的方法论深度[23]、[52]。本综述旨在填补这一空白,通过系统梳理近年来用于求解常微分方程和偏微分方程的PINNs的最新进展,重点关注方法论创新、局限性以及未来发展方向。研究资料来源于Scopus、Web of Science、Google Scholar等主要数据库,时间范围为2018年至2025年,优先选取经过同行评审的期刊,同时参考部分IEEE会议论文以及相关的非索引来源。纳入标准包括与PINN方法论、微分方程应用相关,且具备定量或对比性能数据。我们明确指出了本综述相较于现有综述的创新之处与重要性。虽然早期的综述[23]、[34]、[63]、[77]、[84]、[102]、[143]、[209]主要提供描述性总结或针对特定领域的讨论,但本工作则独特地提供了一种系统性的、跨类型的视角,涵盖了所有通过PINNs及其高级变体求解的主要微分方程类别——即常微分方程和偏微分方程。其主要贡献包括对方法论进展、基准测试方面内容以及定量比较的分析。此外,本综述还全面介绍了现有的PINN变体,解释了它们的理论依据、相比传统数值方法的优势以及当前的局限性。本研究的主要目标有三点:•系统分类最新的PINN变体,重点阐述其在求解常微分方程和偏微分方程方面的方法论贡献。•批判性地评估各种方法的优缺点,包括架构创新、训练策略以及物理整合技术,明确其在不同方程类别中的适用性。•识别现有研究中的空白,提出提升PINNs的可扩展性、稳健性以及实际应用水平的可行方向。本文旨在为计算科学和机器学习领域的研究人员与从业者提供兼具理论深度与实践价值的见解。第2节阐述PINNs的理论基础;第3节详细介绍其核心架构与方法;第4节介绍PINNs在常微分方程中的应用,第5节探讨其在偏微分方程中的应用;第6节研究其高级变体;第7节进行计算性能评估;第8节则总结当前的发展趋势与尚未解决的问题。2. PINNs的理论基础 2.1 数学框架 物理信息神经网络的核心理念,就是将控制微分方程直接嵌入神经网络训练过程。考虑如下形式的通用偏微分方程:(1)其中, 是微分算子, 是未知解, 是已知源项, 是空间域, 而 是最终时间[44]。该问题还需要结合边界条件和初始条件[140]:(2)(3)在PINNs框架中,解 由带有参数 的神经网络 来近似表示。现代框架利用自动微分技术构建了一个复合型的物理信息损失函数,该函数能够同时满足控制偏微分方程、边界条件与初始条件的要求,若存在观测数据,还能将其纳入考量[140]:(4)其中, 和 是权重因子,用于平衡各项损失项的相对贡献。各损失分量定义如下:偏微分方程损失(5)边界条件损失(6)初始条件损失(7)数据损失(8)此处, 是域内的配置点, 是边界点, 是初始条件点, 而 是观测数据点[34]、[75]。示例说明 以一维热方程为例,其边界条件为 ,初始条件为 。在PINNs框架中, 由 来近似表示,而物理信息损失则包括:(i)在配置点 处计算的偏微分方程残差,(ii)在边界点 处的边界条件损失,以及(iii)在初始条件点 处的初始条件损失。这个简化的示例说明了如何将方程(2.4)–(2.8)的一般形式应用于具体的偏微分方程。通过这些组分的共同作用,所学到的解不仅能近似满足控制偏微分方程,还能遵循边界条件与初始条件,同时兼顾实验数据或含噪声数据的影响。这种统一的损失函数形式正是PINNs实现物理建模与数据驱动学习相结合的数学基础,也为后续章节中介绍的各种方法变体奠定了基础。还有研究通过近似理论进行严格的数学分析,以推导误差界限。他们从泛化能力、优化效果以及偏微分方程训练稳定性等方面对PINNs进行了评估[39]。需要指出的是,这种表述方式是为偏微分方程设计的;不过,常微分方程也可视为一种特例,只需考虑时间依赖性即可。在这种情况下,同样的PINNs框架依然适用,只需在时间域内选取配置点,该方法对于常微分方程和偏微分方程同样有效。2.2神经网络的全局逼近能力与表达能力由于PINNs是通过神经网络来近似微分方程的解,因此建立能够证明这一选择合理性的理论基础至关重要。全局逼近定理通过表明神经网络能够表示大量函数类别,为这一选择提供了依据。Cybenko[35]以及Hornik等人[61]的经典研究证明,只要激活函数是非常数、有界且单调递增的,那么具有单个隐藏层和有限神经元数的前馈神经网络就能够以任意精度逼近紧致子集上的任何连续函数。更准确地说,对于任意连续函数以及任意,都存在这样的神经网络使得(9)对于PINNs而言,这一定理尤为重要,因为良定微分方程的解通常是满足该定理连续性假设的平滑函数[60]。然而在实践中,浅层网络往往需要数量庞大的神经元,这就促使人们开始使用更深层次的架构。近年在逼近理论方面的进展为PINNs中常用的深层网络提供了更有力的支撑。Lu等人[101]表明,深度ReLU网络能够高效地逼近具有组合结构的函数,而Yarotsky[196]则证明了相较于浅层网络,深度网络具有更好的逼近性能。这些结果凸显了深层架构的表达能力,也解释了它们为何能在捕捉偏微分方程和常微分方程的复杂解空间方面表现出色。重要的是,神经网络的逼近能力不仅限于函数本身,还包括其导数。Han等人[54]证明,神经网络不仅能逼近函数,还能逼近它们的空间导数和时间导数,这对于PINNs来说极为重要,因为控制物理问题的约束条件直接涉及微分算子。此外还有零坐标平移(ZCS)技术,这是一种经过改进的自动微分策略,可在基于物理的算子学习框架中消除导数计算过程中的坐标偏移[87]。2.3. 自动微分及其在PINNs中的作用PINNs方法论得以实现的关键之一,就是能够高效且精确地计算出评估微分算子所需的导数。传统的数值微分方法,如有限差分法,会引入离散化和截断误差,这些误差会不断累积,从而降低解的精度[89]。相比之下,自动微分(AD)能够提供精确到机器精度的导数,从而使物理约束在训练过程中得到精准体现。这一能力是PINNs成功应用的基础。自动微分是通过将复杂函数分解为一系列基本运算,再系统地应用链式法则来工作的。对于复合函数:(10)前向模式自动微分计算的导数为:(11)虽然前向模式和反向模式自动微分在数学上都是精确的,但在PINNs的应用中,通常更倾向于使用反向模式自动微分(即反向传播),因为它在处理输入多而输出少的函数时效率更高[48]。像PyTorch[121]和TensorFlow[1]这样的现代深度学习框架都内置了自动微分功能,这使得计算复杂物理系统所需的高阶导数变得更加高效。这对于PINNs尤为重要,因为许多控制方程都涉及二阶或更高阶的导数。例如,热方程就需要二阶空间导数,而纳维-斯托克斯方程则包含混合偏导数和非线性项[179]。2.4. 损失函数构建构建基于物理的损失函数是决定PINNs性能的核心要素。虽然第2.1节已经介绍了其通用形式,但PINNs的实际应用效果在很大程度上取决于损失函数的权重设定、配置点的采样方式,以及如何应对由此产生的优化问题[105]、[191]。本节将回顾这三个方面的方法学进展。2.4.1. 多项损失平衡不同损失分量的相对权重会显著影响算法的收敛速度以及解的质量。总损失函数中的系数、和决定了物理残差、边界/初始条件以及数据真实度之间的平衡关系[180]。如果权重设置不当,模型可能会过度拟合某些分量,而忽视其他分量。目前已提出了多种策略:固定权重这类方法的权重是预先确定的,通常基于物理直觉或实验测试结果[149]。这种方法简单易行,但可能在不同问题上难以普遍适用。自适应权重这类方法的权重会在训练过程中动态调整,通常是根据各损失分量的相对大小来决定的[112]。一个常见的规则是(12),其中表示第次迭代时第个分量的权重,而则表示第个损失项的幅度。基于梯度的平衡这类方法会根据每个损失项的梯度范数来调整权重,从而确保没有某个分量主导整个训练过程[94]。2.4.2. 采样策略配置点的选取对于确定PINN训练的精度和计算效率起着至关重要的作用。均匀采样这种方式会将配置点均匀分布在计算域内,从而确保覆盖均匀;不过,它往往无法有效处理局部尖锐的梯度或多尺度特征,因此在大型或结构复杂的域中会导致训练点利用效率低下[185]。自适应采样则会将配置点集中在当前解的残差较大或变化剧烈的区域,以此提升局部精度,但相应的也会增加因残差计算和动态调整配置点而带来的计算开销[123]。尽管这种策略在处理连续欧几里得域上的低维到中维偏微分方程时效果不错,但要将其扩展到大规模或图结构的问题上仍面临挑战,因为基于图拉普拉斯算子定义的残差可能具有非局部性,且全局计算成本很高。当将PINNs应用于城市规模的道路网络时,由于图形规模庞大、基于图拉普拉斯算子的非局部残差计算、自动微分成本上升,以及高度不均匀的网络动态特性(比如大型网络中的交通流)所导致的收敛缓慢等问题,会带来严重的计算瓶颈[64]、[167]。准随机采样比如低差异Sobol序列,相比纯随机采样能够在保持计算效率的同时提升域的覆盖范围[163]。不过,这些方法在捕捉非欧几里得域中复杂的拓扑结构方面仍存在局限,这也凸显出在大型时空系统中需要采用考虑图结构或具备拓扑自适应能力的采样策略。2.4.3. 优化问题与训练挑战PINN的损失函数本质上是非凸的,这给优化工作带来了很大困难。近期的理论研究已经开始尝试描述其优化景观和收敛特性。Wang等人[178]发现,神经网络存在光谱偏差,即更倾向于处理低频成分而非高频成分。这种偏差会妨碍多尺度解的精准求解,因此人们提出了基于傅里叶特征的嵌入方法以及专门的架构设计[161]。Shin等人[153]则为线性椭圆型偏微分方程上的PINNs建立了收敛性结果,并在特定的规则性假设下给出了误差界限。另一个挑战则是维度灾难。虽然PINNs在处理高维偏微分方程方面展现出潜力,但目前仍缺乏严格的收敛性保证,相关研究仍在不断深化对这一问题的理解[65]、[71]。综上所述,这些来自PINNs数学和计算层面的见解,为深度学习与科学计算之间的结合奠定了基础。3. PINNs的核心架构与方法本节将详细介绍图2所示的基准PINN流程,重点讨论以下内容:(i)网络组件、(ii)激活函数的选择、(iii)物理整合(配置点选取与残差计算),以及(iv)训练与优化过程。与一般的深度学习模型不同,PINNs是将神经网络与基于物理的损失函数以及通过自动微分实现的残差计算相结合(详见第2节)。我们以全连接(前馈)架构作为参考设计,仅在那些会对偏微分方程求解性能产生实质性影响的变体上进行说明。下载:下载高分辨率图片(364KB)下载:下载完整尺寸图片图2. 全连接型PINN架构。如第2.2节所述,神经网络属于通用函数逼近器[19]、[35]、[196]。但在实际应用中,要确定能够解决特定偏微分方程的权重和偏置值仍然是一项艰巨任务[176],而且架构的选择也因问题类型而异。一般来说,网络架构可分为浅层网络(仅一个隐藏层)和深层网络(多个隐藏层)[4],现有文献中也研究了众多不同的架构类型[4]、[122]、[150]。对于PINNs而言,全连接前馈网络是标准的基准架构;而卷积神经网络、循环神经网络等其他架构类型[27]、[85],以及自编码器、深度信念网络、生成对抗网络和贝叶斯深度学习等现代架构,则会在它们具有特定优势时被选择性使用(比如特征提取、潜在特征编码、不确定性量化等功能)。图2展示了PINN模型的整体结构流程图,下文将对之进行详细阐述。3.1. 神经网络组件3.1.1. 输入层设计神经网络(如多层感知机)的输入层是原始数值数据的入口,如图2所示,这里的每个神经元对应输入数据的某一特定特征,也就是这里的对应于各个独立变量等。这一层并不执行任何计算操作,只是将结构化的输入数据传递给后续层,从而启动前向传播过程。在处理常微分方程或偏微分方程时,神经元的数量等于问题的维度,比如对于三维波动方程来说就是。作为PINNs的基础,输入层的作用在于确保在开始学习之前所有变量都能被正确表示。3.1.2. 隐藏层配置隐藏层位于输入层和输出层之间,之所以被称为“隐藏层”,是因为它并非可以直接观测到的部分。它通过权重、偏置和激活函数,在学习输入数据中的模式方面发挥着核心作用。每个神经元都会计算输入值的加权和再加上偏置值,然后再通过ReLU、sigmoid或tanh之类的激活函数引入非线性特性,最终将处理后的结果传递给下一层。在图2中,展示了两个隐藏层,即第一个隐藏层有个神经元,第二个隐藏层也有个神经元,但实际上典型的PINNs架构可能会使用3到6个隐藏层,每层包含20到100个神经元。隐藏层通过权重、偏置和激活函数将输入数据映射为抽象特征。它们使得非线性建模成为可能,不过网络层次越深,表达能力越强,过拟合的风险也就越高。3.1.3. 输出层结构输出层是多层感知机的最后一层。在图2中,网络在这里生成预测结果,即,这些结果会被传递到优化阶段。自动微分功能会计算残差损失、边界条件损失和初始条件损失,然后将这些损失相加得到总损失。如果收敛效果不佳,就会继续进行优化,直到PINN的解接近真实的偏微分方程解。这一过程会反复进行,直到模型输出结果尽可能接近真实解。输出层的结构和激活函数选择取决于具体的应用任务。对于PINNs而言,不需要使用激活函数,因为输出层必须能够取任意实数值,才能与偏微分方程的解相匹配。例如,如果最后一个隐藏层有五个神经元,分别产生这些值,那么可以将它们合并为一个输出神经元,即:(13)这里方程(14)中的会在不同神经元间发生变化。总的来说,输出层是网络的最后阶段,它生成的预测结果在PINNs中会通过残差计算和损失整合,与物理定律直接关联起来。3.2. PINNs的激活函数激活函数决定了如何对加权输入值与偏置值的仿射组合进行非线性变换,从而使神经网络能够表示数据中的复杂非线性关系。每个神经元都会执行以下计算:(14)的值会经过激活函数的变换,得到作为下一层输入的值,这一过程会不断重复,直到得到最终输出。激活函数的作用就是引入非线性特性;如果没有激活函数,神经网络就会退化为线性回归模型。在PINNs中,激活函数的选择不仅会影响模型的表达能力,还会通过自动微分影响高阶导数的稳定性。由于许多偏微分方程都需要二阶或混合阶导数,因此具有良好频率响应特性的平滑激活函数就显得十分重要(详见第2节)。3.2.1. 激活函数的设计标准与常见选择在为PINNs选择激活函数时,需要考虑以下关键标准:(i)可微性等级,即确保一阶和二阶导数都保持稳定;(ii)能够减轻光谱偏差,从而有助于表示高频成分;(iii)要与所处理的问题的结构相匹配(比如振荡型、平流型、扩散型等);(iv)要保证优化过程的稳定性,避免出现梯度消失或梯度爆炸的情况。表1汇总了各类常用的激活函数,并对其进行了简要说明,具体内容如下表所示。表1. PINNs常用激活函数的对比分析。激活函数导数平滑性高频表现能力典型应用tanh平滑(C无穷大);二阶导数稳定中等程度;存在低频偏好扩散/椭圆型ReLU不平滑;几乎处处二阶导数为0中等程度不太适合用于二阶偏微分方程SoftPlus平滑度较高中等程度通用型;比ReLU更为温和swish/GELUS平滑度中等至较高平流/反应型问题;训练速度更快周期型(正弦函数)平滑且具有振荡特性适用于波动/赫尔姆霍兹方程;振荡场傅里叶特征*在基础激活函数应用之前进行的输入编码高(可通过调整实现)多尺度/振荡型问题*傅里叶特征是一种结合了输入映射与基础激活函数的技巧。tanh由于其平滑性以及稳定的高阶导数特性,常被用作基准PINNs模型中的激活函数,也是处理以扩散效应为主的偏微分方程时的可靠默认选择[75]。但由于饱和效应,训练速度可能会变慢,不过通过合理的初始化策略和学习率调度,可以缓解这一问题。ReLU/漏极ReLU具有分段线性特性,其一阶导数存在不连续性,且几乎处处二阶导数为零。这使得它在处理需要高阶导数的偏微分方程残差时精度不足,因此通常不适合作为PINNs中的唯一激活函数[2]。SoftPlus、swish/SiLU、GELU则是针对ReLU导数缺陷设计的平滑型替代激活函数,同时依然保持了良好的优化特性。当tanh函数饱和时该方法依然有效,不过在某些偏微分方程中其高阶导数可能会变得不稳定[109]。周期性/振荡性激活函数对于波动型或亥姆霍兹型偏微分方程而言,使用周期性激活函数(如正弦函数)或频率增强型输入有助于更好地表示振荡解,并减少谱偏差[178]。为保持梯度稳定性,需要恰当的初始化和缩放处理。傅里叶特征编码在应用标准激活函数之前,对输入数据采用固定的随机傅里叶映射,以此扩展频率带宽并抵消低频偏差[161]。该方法适用于多尺度场,频率需根据偏微分方程的特征尺度进行调整。3.2.2 根据偏微分方程类型给出的实用建议•以扩散为主的偏微分方程(如热方程):优先选择平滑型激活函数,如tanh或SoftPlus;tanh通常是默认选择[161]。•对流/反应型或存在尖锐层结构的方程:可使用Swish或GELU激活函数,并结合自适应采样方法来处理陡峭的梯度。•振荡/波动/亥姆霍兹型问题:采用周期性激活函数或傅里叶特征编码,以捕捉高频信号并降低谱偏差[161][178]。平滑型激活函数受益于保持方差的初始化方式;而周期性激活函数与傅里叶编码则需要根据问题域大小调整频率比例,以避免梯度出现消失或爆炸现象。这些选择还会与配置采样及损失权重设置相互影响。3.3 物理规律整合策略本节阐述如何将物理定律融入PINN训练流程。此处不会重新推导损失函数形式(参见2.1节),而是重点讨论:(i)通过自动微分进行残差评估,(ii)确保边界条件与初始条件的满足,以及(iii)在训练过程中合理安排配置点选取与残差计算时机。3.3.1 残差评估基于当前网络输出,可通过自动微分在配置点处计算出物理残差:(15)这些残差会被用于2.1节中介绍的复合损失函数,其权重设定与归一化处理则遵循2.4.3节的说明。3.3.2 约束条件实现:软约束与硬约束两种常见方法互补:•软约束(惩罚机制):通过损失惩罚项来实现边界条件与初始条件的约束,如公式(4)所示。这种方法简单通用,但依赖合适的权重设置。•硬约束(架构设计):对网络结构进行重新设计,使约束条件在模型构建阶段即可得到满足。例如,通过边界距离函数以及已知的边界轮廓,(16)即可确保狄利克雷边界条件的满足,同时内部解则由其他方式确定。类似的架构也可用于体现初始条件,若有积分守恒约束的话还可一并纳入[6]。3.3.3 配置点选取与小批量处理训练过程中的精度与稳定性取决于配置点选取策略[1]:•按残差类型进行小批量处理:从内部区域、边界区域以及初始条件对应的样本中各抽取小批量数据,以此平衡不同来源的梯度贡献。•自适应重采样:按照与残差幅值成正比的概率定期重新选取配置点,将计算资源集中在误差较大的区域(如特定层、激波、振荡区域)。•准随机覆盖策略:首先使用低差异序列(如Sobol序列)作为基础覆盖方案,再通过自适应细化手段提升效率。3.3.4 归一化与无量纲化对输入输出数据进行归一化处理,同时对控制方程进行无量纲化处理,有助于改善模型的条件数,并使不同类型的残差具有可比性。在实际应用中,通常会将坐标标准化为标准值(或零均值、单位方差形式),并对目标场进行相应缩放,以便在加权处理之前让偏微分方程、边界条件及初始条件对应的残差幅度处于可比范围[127]。本节的其余部分将详细介绍优化与训练流程,包括如何具体实施残差评估与约束条件管控。3.4 训练优化框架PINN训练将神经网络优化与基于物理规律的目标函数相结合。一种较为稳健的策略是先使用随机一阶优化器(如Adam)来探索损失函数的极小值区域,一旦收敛速度趋于平稳,则转为使用拟牛顿法(如L-BFGS)继续优化[79][166]。L-BFGS在近乎全批量处理模式下表现最佳;而对于规模极大的配置点集合,仍以采用以残差为优化目标的Adam算法搭配小批量处理更为合适。学习率控制至关重要:初始时应选择较低的学习率,当收敛遇到瓶颈时可通过调度策略(如步长衰减、平台期处理、余弦退火等)逐步降低学习率,同时需持续监控各项损失项的变化趋势,避免高阶导数出现异常或边界/初始条件相关的残差变得不稳定。批量处理与采样策略需兼顾来自内部区域、边界区域、初始条件以及可选数据残差的各种梯度贡献。按残差类型进行小批量处理可防止某一类残差占据主导地位,而基于残差的重采样法则能将计算资源集中到误差较高的区域(如特定层、激波、振荡区域),并通过低差异序列确保覆盖范围的完整性。归一化与无量纲化处理有助于提升模型的稳定性:需对输入数据进行标准化处理(如将其映射到标准值或零均值/单位方差形式),并对输出结果进行适当缩放,从而使偏微分方程、边界条件、初始条件以及数据残差在加权前的数值处于可比水平。在采样策略或缩放参数发生变动后,应重新审视损失函数的权重分配方式,可采用固定权重、自适应权重或基于梯度的权重设定方法(参见2.4节)。正则化与稳定性控制措施必须充分考虑物理规律的影响。相比仅依据训练损失来判断,更应基于独立保留的物理指标(如内部区域残差范数、边界/初始条件违反程度)来决定何时停止训练;当高阶导数数值出现异常升高时,可采取梯度裁剪措施;如有必要,还可添加适当的权重衰减项。对于涉及振荡现象或多尺度场的问题,可使用周期性激活函数或傅里叶特征编码方法(见3.2节),这类方法有助于降低谱偏差并简化优化过程。混合精度训练虽能加快训练速度,但需确保二阶及高阶导数的计算精度符合要求。在训练过程中应持续跟踪各项损失项的数值、在独立配置点集上计算的验证残差、约束条件违反情况以及优化器的运行状态(如学习率、L-BFGS算法的步长接受情况)。只有当内部区域残差与约束条件相关的残差同时出现下降趋势时,才表明模型真正实现了收敛;若训练损失较低,但保留的测试数据残差较高,则往往说明存在采样或权重设置方面的问题。常见的实用配置为:采用学习率会逐渐衰减的Adam算法并结合小批量残差处理方式,同时加入自适应重采样功能;待Adam算法的优化效果趋于平稳后,再转为使用全批量处理的L-BFGS算法进行进一步优化。在任何采样策略或缩放参数调整之后,都需对输入输出数据重新进行归一化处理,并重新调整各类残差的权重比例。3.5 PINN与传统数值解法的比较表2对比了PINN求解结果与经典数值解法的性能表现。PINN作为一种无需构建网格、能够整合数据信息的替代模型,能够在参数遍历及反问题求解过程中分摊计算成本;而传统数值解法则具备成熟的精度表现、较强的鲁棒性以及完善的误差控制机制。这两种方法更适合作为互补工具而非直接竞争关系。表2 PINN与经典数值解法的对比方面PINN求解结果传统数值解法网格需求[187]无需网格结构,仅依赖分散分布的配置点;而传统方法则需要网格结构,有限元方法虽擅长处理复杂几何形状,但网格生成及质量管控往往需要耗费大量资源计算成本[110]初始训练成本较高,但在参数遍历过程中的推理及重复使用效率非常高;传统方法则为每次问题都需要重新构建模型并求解,不过在具备良好预处理条件的情况下单次求解速度较快,且只需针对新参数重复操作解决方案表示形式[78]神经网络可作为通用函数逼近器,而传统解法则是在离散网格上表达解空间正问题与反问题[140]单一框架即可实现正问题与反问题的求解,几乎无需做过多修改;反问题通常需通过基于偏微分方程的约束优化或数据同化技术来解决,且对应的建模方法与求解算法也有所不同对噪声的鲁棒性[70]PINN能够将含噪声的数据与不确定的物理参数共同纳入统一优化目标中,而传统方法通常假定偏微分方程模型是纯净的,含噪声数据则需要通过独立的同化或正则化技术处理求解器与训练机制[179]采用基于梯度的训练方法(如Adam、L-BFGS),通过最小化物理规律与数据之间的残差来实现优化;传统方法则需先将问题离散化,再通过线性或非线性方程组求解,这类问题通常有成熟的稀疏计算或高性能计算求解算法灵活性(适用域/维度)[68]PINN可通过点采样方式轻松适配高维及不规则几何形状的求解任务,虽然处理复杂几何结构时需要依赖非结构化网格,但其主要挑战在于网格生成及模型适应性误差控制与精度保障[118]PINN没有通用的先验或后验误差界限,只能依靠残差检测或独立测试数据的结果来评估模型性能;而传统方法则有成熟的收敛理论支持,可通过先验或后验估计值实现自适应优化处理不连续现象与激波问题[69]PINN处理不连续现象时需要特定的特征提取方法或特殊采样策略,可能在面对尖锐的界面时效果不佳;传统方法则已拥有成熟的激波捕捉技术,如上风格式、WENO格式及各种限制器算法参数遍历与高维问题[33]PINN可通过参数遍历分摊计算成本,还能学习得到可重复使用的替代模型或算子;传统方法则往往需要多次重复求解或采用降阶模型来解决高维问题确定性与时序处理能力[206]PINN算法更适用于GPU加速计算,且部分随机训练过程也会带来一定的计算波动;传统方法在给定网格结构与算法方案的前提下具有确定性,且更适合采用面向高性能计算的稀疏求解算法定量误差指标与整体精度[140]PINN在仅需较少数据量的情况下即可达到与传统数值方法相当甚至更优的精度,对于常用的基准偏微分方程而言,其平均相对误差通常可控制在较低水平,展现出很强的跨领域泛化能力;不过在结构化网格及固定离散化条件下,PINN的精度表现更为优异,而当面对不规则几何结构或高维问题时,由于离散化方法的局限性,其精度会出现明显下降。4. PINN在常微分方程中的应用与偏微分方程问题不同,常微分方程问题通常涉及一维(多为时间维度)的求解空间,初始条件起着核心作用,边界条件则仅出现在边值型常微分方程中。因此,PINN的配置点选取是沿着时间轴进行的(若存在参数变量则同时沿参数轴选取),且收敛速度往往容易受到方程刚度及时间步长的影响。现有研究工作根据常微分方程的特性,从求解技术、计算成本、优缺点、实际应用经验以及模型架构等方面进行了分类,相关内容整理在表3中。图3则总结了目前通过PINN方法求解常微分方程的研究成果。表3 常微分方程类型的应用场景常微分方程类型/问题方法计算成本与损失函数优势与劣势实际应用经验主要贡献及所采用的模型结构初值问题与边值问题[7][103][104][192][197]标准PINN采用标准的PINN算法进行训练,共进行若干个训练周期,每个周期内包含多个训练批次,整个优化过程中学习率保持不变。经测试,该PINN模型的预测结果与解析解的误差控制在一定范围内。PINN方法的最大优势在于无需构建网格,也不需要预先准备专用数据,这体现了它相较于传统数值方法的独特优势;不过对于较为简单的线性方程而言,其效率仍略逊于传统数值方法。该PINN模型已被成功应用于相关问题的求解,其计算结果与解析解高度吻合,充分证明了其在摩擦学领域处理边值问题时的强大能力。此外还提出了PINN方法的完整数学表述,并以流体动力学润滑问题为例进行了演示。所采用的模型为基本型PINN,结构较为简单,仅包含一个隐藏层,该层含有若干个神经元,模型的权重与偏置参数则是直接通过对应的控制微分方程进行训练的。具有尖锐梯度特征的二阶常微分方程[37]标准PINN传统PINN算法由于依赖于基于梯度的深度神经网络优化方法,因此计算成本较高。经过改进后的版本显著提升了计算效率,不过在扩散系数较小时,标准PINN模型仍会产生较大的误差,且无法准确捕捉方程中的尖锐解层,这种现象被称为谱偏差。传统PINN方法的另一个明显缺陷是难以处理尖锐梯度问题,同时由于存在多种相互竞争的损失函数项,优化过程也相当复杂。而改进后的X-TFC模型则通过引入TFC约束机制,并采用结构较浅的神经网络,从而实现了快速稳定的优化过程。该算法已被成功应用于二阶常微分方程的求解,实际应用结果表明,X-TFC方法能够高效且精确地处理包含局部尖锐梯度特征的常微分方程。随着扩散系数数值的减小,这类方程的解会出现更尖锐的梯度特征,这使得问题求解难度随之上升。该框架仅包含一个隐藏层,并结合了TFC约束方法,使得边界条件或初始条件能够在优化开始前就通过解析方式得到满足。一般类型的常微分方程[124][129][154][169][170][181]标准PINN这类方法借助TensorFlow、Keras等现代机器学习框架强大的自动微分功能来实现建模。所设计的混合模型通过整合数据驱动的核函数,有效降低了模型结构带来的不确定性,进而缩小了预测误差。该方法的核心优势在于能够利用混合模型来估算动态系统中那些尚未完全明确的物理机制(即差异项),即便输入信号存在噪声,模型依然能够保持良好的预测精度。教程中给出了两个典型的常微分方程应用案例:一是通过欧拉方法实现疲劳裂纹扩展过程的模拟,二是对二自由度动态系统的参数进行识别。实验结果表明,该模型具备处理复杂系统动态特性的能力。此外,常微分方程还可以通过有向图结构转化为深度神经网络形式,再利用RNN框架高效完成数值积分计算。这种PINN架构便于整合基于物理原理与数据驱动因素相结合的自定义核函数。刚性较强的常微分方程[72][157]标准PINN传统伴随方程算法由于需要在每次优化步骤中都求解对应的伴随偏微分方程,因此计算成本相当高。该方法的优化目标是通过最小化偏微分方程解与目标函数之间差异的某种范数来实现的。在线伴随方程方法的最大优势在于,它无需假设目标函数具有凸性,即可通过严格的数学证明证明该方法能够收敛到最优解。该方法解决了传统伴随方程算法存在的计算成本过高的问题。通过一个反问题求解示例可以直观展示该方法的效果,其目标是在已知观测解的情况下反求出微分方程中的未知参数,这一应用充分证明了该方法在参数识别任务中的有效性。该方法通过让PINN算法能够有效应用于这类复杂系统,从而降低了系统的刚性。需要说明的是,该方法属于在线伴随方程算法范畴,本质上是一种优化框架,并非神经网络架构,其运作原理是通过耦合多个微分方程来不断更新优化变量。微电网中的常微分方程问题[28]标准PINN将PINN算法应用于微电网这类复杂能源系统时,能够显著提升计算效率。研究表明,基于PINN的解决方案在效率层面往往优于传统的纯数据驱动模型以及常规的数值计算方法。该模型的优化目标是最小化一个综合损失函数。其最核心的优势在于能够将微电网的物理规律直接嵌入神经网络结构中,从而减少所需的数据量,同时确保模型的预测结果与现有的行业知识保持一致。尽管训练PINN模型面临一定挑战,但该算法依然能够成功解决正问题(即预测系统行为并进行状态估计)与反问题(即识别系统中的未知参数,如逆变器或其他微电网设备参数)两类问题。通过针对微电网内的电气设备构建相应的常微分方程,PINN算法能够实现动态时域内的预测功能。该系统采用深度神经网络,通过改进的损失函数将物理微分方程直接整合到训练过程中,从而使网络能够近似求解这些微分方程。参数化微分方程通常会导致较长的训练时间,尤其是在处理长时间序列数据时。不过,引入物理先验可以显著提升收敛效率。该模型的目标是通过构建约束优化问题来最小化预测误差。其优势在于参数化微分方程为循环神经网络提供了连续时间层面的对应物,能够自然整合物理先验,从而提升参数估计的稳健性和准确性。该方法成功解决了非线性动态系统参数估计的反问题,即便在面对高噪声水平或有限数据样本的情况下,也能保证参数识别的稳定性。PINNs在处理方程依赖额外参数的参数化微分方程问题时表现优异,这类方法利用微分方程求解器来控制系统的隐状态动态,从而为系统构建连续时间模型。

快慢型微分方程系统标准PINNs慢不变流形方法能够减少处理刚性动力学问题时的高昂计算成本,同时有效解决相关计算难题。PINNs能够以高精度对慢不变流形进行数值近似,并在流形边界附近保持较高精度。其核心优势在于能够同时发现流形结构并分解系统的向量场,无需像传统方法那样预先了解系统中的快变量和慢变量。该框架成功地为各类快慢型微分方程系统近似出了慢不变流形。另有研究提出了基于符号微分的PINN方法,用于发现各类快慢型动态微分方程系统的慢不变流形,具体而言,这种单层前馈神经网络会利用符号微分来求解不变性微分方程。

神经微分方程标准PINN与现有的系统识别方法相比,PINN框架具有更高的计算效率。该预测模型通过生成正态分布的误差值,始终能够实现更出色的泛化能力。其最大优势在于能够直接近似描述系统动力学规律,同时还具备处理物理偏差的强大灵活性,可有效弥补纯数据驱动型网络在复杂、数据量少或高度非线性场景下的不足。该框架已被成功应用于多项关键的结构识别任务,包括模型更新、损伤检测以及未知驱动力的识别。该方法结合了基于物理的模型与数据驱动技术,旨在提升预测精度并降低不确定性。Pi-Neural ODE架构则借助前馈网络来捕捉模型中的偏差项。

图3展示了文献中提到的各类微分方程类型及其对应的PINN应用。从表3的定量分析结果来看,不同类型的方程呈现出不同的性能特征:对于以扩散效应为主且时间变化平滑的系统,使用tanh或SoftPlus激活函数的标准化PINNs即便在配置点数量适中的情况下,也能实现稳定且精确的收敛效果。而刚性微分方程则容易出现优化不稳定问题,且对学习率设置极为敏感;采用自适应加权及迁移学习改进后的方法,可使训练效率提升20%至40%。在快慢型及参数化系统中,更深层次的神经网络结构以及基于残差的重采样技术能够产生更均衡的梯度,进而降低误差。这些结果表明,计算成本与精确度在很大程度上取决于方程类型、数据质量以及架构设计。总体而言,定量比较表明PINN的性能并非一致,而是受微分方程/微分算子特性、噪声水平以及计算资源限制等多因素共同影响。

5. PINNs在微分方程中的应用微分方程通过引入空间变量以及相应的边界条件、混合导数和高阶导数,扩展了微分方程的应用范畴。在PINN建模方法中,会在空间域内选取配置点(对于稳态问题则是在时间域内选取),通过自动微分计算残差值,而后通过软约束(惩罚机制)或硬约束(架构嵌入方式)来满足边界条件和初始条件要求。这种无需网格划分、能够整合数据的建模方法,在处理不规则区域、反问题/参数识别任务,以及仅有稀疏或噪声较大的观测数据时尤为实用。在本节中,我们总结了各类主要微分方程家族的应用情况——包括椭圆型(泊松方程/拉普拉斯方程)、抛物型(热传导方程/扩散方程)、双曲型(波动方程/输运方程),以及一些典型的非线性系统(伯格斯方程、纳维-斯托克斯方程、艾伦-卡恩方程、对流-扩散-反应方程),还包括某些波动方程和量子力学模型(亥姆霍兹方程、薛定谔方程)。针对每一类方程,我们概述了具有代表性的研究案例,说明了所采用的损失函数设计及约束处理方式,还提到了采样策略和激活函数选择方法(例如,为降低谱偏置而选用tanh函数或周期性/傅里叶特征函数)。我们还汇报了正向建模和逆向建模的结果,指出了常见挑战(多尺度行为、尖锐波前、高雷诺数流动、系统刚性问题),并提出了有效的解决方案(自适应/基于残差的采样策略、域分解方法、分层/混合建模方案)。图4展示了此处采用的微分方程类型分类体系。此外,我们还按照四个类别总结了以往运用PINN方法的研究成果:线性微分方程(表4)、非线性微分方程(表5)、高维或复杂微分方程(表6)以及分数阶微分方程(表7)。

下载:高清图片(173KB)下载:完整尺寸图片图4. 文献中提到的微分方程类型分类及其对应的PINN应用。表4. 在经典线性微分方程中的应用。微分方程类型/问题方法/变体计算资源与损失函数优势/劣势实际应用经验关键贡献与所用架构弹性问题[175]M-PINNs该方法旨在降低传统PINNs在优化复杂损失函数时所面临的复杂性及计算难度。M-PINNs在实际应用场景中展现出更强的收敛能力和适用性,而传统PINNs在处理复杂损失函数时往往会出现不稳定现象且收敛效果较差。通过一个标准的二维线性弹性固体力学仿真实验,验证了M-PINNs的高效性与实用性。该架构将状态变量、控制变量和伴随变量整合到一个网络中,同时支持在线微分方程参数推断,其设计灵感源自有限元方法的思想。耦合边界值问题[162]标准PINNsX-TFC被明确定义为一种计算速度极快的PINN方法,某验证问题中的最大绝对训练误差数值极低。X-TFC是一种新型的、高精度、快速且稳健的微分方程求解方法,擅长处理各类微分方程问题。传统PINNs在训练过程中常常面临梯度不平衡的问题。该X-TFC方法已在包括物理和工程领域在内的多种问题上得到验证,可用于估算金属复合材料的热扩散系数,且对实验中的噪声具有较强抗干扰能力。其架构融合了功能连接理论与PINN技术。双曲型方程[67]PINNs-CMBO该方法在各项测试中始终表现出最低的损失值,不仅性能更优,而且收敛速度更快,所需迭代次数也更少。CMBO通过平衡探索与利用能力提升了优化效果,有效克服了PINNs容易陷入局部最优解且收敛缓慢的缺陷。该混合方法已被应用于椭圆型、抛物型及双曲型微分方程,且在多种不同类型的微分方程问题上都展现了无与伦比的精确度和稳定性。该方法能够为波动方程/电报方程提供精确的解,且已通过可视化手段得到验证。该系统采用的PINN模型在训练过程中采用了基于“猫鼠游戏”原理的先进优化策略。热方程和KdV方程[52]PINNs、H-PINNs该框架摒弃了成本高昂的高精度仿真方法,通过自动微分技术进行损失函数计算,其精度和稳健性均优于有限元方法。多网络架构能够更准确地表示场变量,但研究人员也指出,过深的神经网络结构可能会导致权重估计的精度下降。该方法已被应用于线性弹性问题和非线性的冯·米塞斯弹塑性问题,实现了固体力学应用中的正向建模与逆向建模一体化,展现出广泛的实用价值。H-PINNs在初始条件不佳的情况下仍能保持稳定收敛,而传统PINNs则会出现性能下降现象。该研究提出了一种新型的H-PINN模型,通过组合多个深度神经网络,能够精准表示位移、应力及应变场变量。开环最优控制[59]Dual-PINNs这是一种无需网格划分、无需离散化的方法,能够实现高精度求解。对于正向问题,其相对误差低于某个特定阈值,而对于反向问题,误差则低于另一个特定阈值。该PINN框架在处理数据稀少的复杂逆问题时展现出强大的稳健性和高精度,若能结合测量数据,还可进一步提升解的精度,提升幅度超过某个特定比例。该研究成功将PINN方法应用于开环最优控制问题以及一维和二维下的达西流动问题。该方法同样将状态变量、控制变量和伴随变量整合到一个网络中,支持在线微分方程参数推断,其损失函数结合了控制问题的物理残差、达西方程的数学表达式,以及观测数据与理论值的差异。对流扩散问题[42]、[156]PIELM、变分PINNs标准的伽辽金有限元方法在均匀网格上无法解决这类问题,通常需要采用彼得罗夫-伽辽金之类的稳定化方法才能获得较为准确的解。该研究深入探讨了PINN和VPINN模型,重点研究了如何设计有效的强损失函数和弱损失函数,以确保这类复杂问题能够顺利收敛。PIELM和VPINN求解器已被应用于极具挑战性的的一维对流主导型扩散问题以及二维埃里克森-约翰逊模型问题。研究表明,在梯度较陡的情况下,VPINN的性能优于有限元方法。该研究还将PINN与性能稍弱的VPINN两种神经网络方法,与经过稳定处理的更高阶有限元方法求解器进行了对比。克莱因-戈登方程和亥姆霍兹方程[207]Taylor PINNs与标准PINNs相比,TPINN能够实现更高的预测精度,且误差随时间增长的速率更慢。虽然训练过程的复杂性有所增加,但高效的符号计算工具可有效弥补这一缺陷。该方法的优点在于能够确保更高的精度,并更快地收敛到正确的解空间。其主要缺点则是训练过程的复杂性较高。TPINN成功解决了诸如科尔泰韦格-德弗里斯方程和艾伦-卡恩方程这类复杂的演化型微分方程问题,同时也能够有效处理存在参数不确定性的微分方程问题。在量子微分方程问题上,该混合模型能够实现高精度近似,其性能优于传统的神经网络方法。该混合模型利用神经网络来表示通过李导数得到的高阶符号泰勒级数展开式中的余项项。质量传递方程[15]标准PINNsPINN-MT方法能够实现高精度求解,其在湿度分布方面的百分比误差低于某个特定阈值,远优于现有的先进有限元分析方法。该方法的一大优势在于通过迁移学习技术提升了计算效率,使得预测速度有了显著提高。该方法能够处理复杂的非线性物理现象。这是首个运用自动微分技术来解决植物细胞干燥过程中质量传递相关微分方程问题的PINN-MT方法。该方案无需依赖传统的数值方法,即可实现快速、准确且实时的预测。其架构为PINN类型,整合了自适应激活函数和迁移学习技术,损失函数则结合了对流质量传递规律和菲克定律。拉普拉斯方程[120]标准PINNs该研究通过将PINN的性能与基于伴随变量的优化方法进行严格对比,验证了PINN方法的可靠性,而伴随变量优化方法是该研究中的核心计算技术之一。PINN方法的优势在于能够在单一框架下同时学习系统状态和最优控制信号,其主要难点在于如何合理分配各损失项的权重。该PINN框架已成功应用于受微分方程约束的最优控制问题,以拉普拉斯方程为例进行了验证。在该问题中,控制变量用于最小化所需的成本目标函数。解决方案中,第一个神经网络用作微分方程解的替代模型,而第二个神经网络则用于表示最优控制变量。椭圆型和抛物型方程[153]标准PINNs该研究证明了,随着训练数据的不断增加,PINN最小化器会在某种范数下逐渐逼近真实的微分方程解。该研究的意义在于为PINN方法的实证成功提供了首个数学理论依据,弥补了该领域此前缺乏理论支撑的缺陷。该收敛性理论是针对两类基础类型的微分方程专门建立的:线性二阶椭圆型方程和抛物型方程。在量子微分方程问题上,该混合模型能够实现高精度近似,其性能优于传统的神经网络方法。当神经网络架构能够满足初始条件和边界条件时,该模型就能够收敛到更高阶数的规范空间中。对流扩散方程[15]PINN-MT方法同样能够实现高精度求解,其在湿度分布方面的百分比误差低于某个特定阈值,远优于现有的先进有限元分析方法。该方法通过迁移学习技术提升了计算效率,使得预测速度有了显著提高。它能够处理复杂的非线性物理现象。这是首个运用自动微分技术来解决植物细胞中质量传递相关微分方程问题的PINN-MT方法。该模型能够有效预测低温干燥过程中的细胞层面质量损失和湿度变化情况。其架构整合了自适应激活函数和迁移学习技术,损失函数也经过了针对性设计。表5. 在非线性微分方程中的应用。微分方程类型/问题方法/变体计算资源与损失函数优势/劣势实际应用经验关键贡献与所用架构伯格斯方程[148]、[211]带有WF函数和LAAF函数的PINNs传统显式有限差分方法通常能得到更低的误差值,但两种数值方法都展现出了极高的精度。PINNs在处理复杂几何形状和边界条件时具有明显优势,但其计算成本较高,且对超参数较为敏感。该研究直接对比了PINNs方法和EFDM方法在处理非线性伯格斯方程时的性能,这类方程常用于模拟流体流动、激波以及湍流现象。自适应函数和优化算法能够进一步提升伯格斯-费希尔方程问题的求解精度。PINN架构采用前馈神经网络作为逼近器,同时使用不可训练的残差网络来计算导数。积分-微分方程[199]:A-PINN有效避免了积分离散化,从而消除了其他PINN方法在处理积分-微分方程时常见的截断误差和离散化误差。其优势在于无需网格即可运行,且在处理逆问题时表现优异,即便面对高噪声观测数据也能良好工作。该模型能够成功处理各种非线性积分-微分方程的正向和逆向问题,包括Volterra型和Fredholm型方程。它用自动微分替代积分运算,避免离散化误差,并利用多输出神经网络来计算主要解变量。

纳维-斯托克斯方程[138]:标准PINN该框架具有很高的精确度,通过数据即可识别Burgers方程的潜在动力学特性,相对误差较低。其主要优势在于数据效率极高,即便只有少量、分散且含噪声的观测数据,也能用来发现复杂的控制非线性方程。该方法在科学领域的各类典型非线性偏微分方程中都能实现系统识别和数据驱动的方程发现。它能解决复杂域中的流体动力学问题,可处理稳态和瞬态流动。

科尔泰-德弗里斯方程[137]:深度学习PINNs这种双网络结构通过自动微分来计算导数,提升了计算稳定性,避免了数值微分中的病态和不稳定问题。其优势在于能够通过数据驱动的方式,从分散且含噪声的时空观测数据中准确学习非线性偏微分方程的动态特性。该框架已成功识别并学习了多种典型非线性偏微分方程的动态规律,包括科尔泰-德弗里斯方程和纳维-斯托克斯方程。它能从数据中识别出科尔泰-德弗里斯方程,外推性能良好,误差较低。该模型架构包含两个独立的深度神经网络,其中一个用于为未知解提供先验信息。

长沼-赫胥黎方程[11]:IPINN该算法收敛速度更快,训练所需的样本点更少,因此相比标准PINN方法具有更高的计算效率。其主要优势在于能够准确重建非线性赫胥黎方程的精确解和新孤子解,仿真效果更好。该方法专注于求解具有复杂非线性反应项的反应-扩散型偏微分方程——赫胥黎方程。它能有效对非线性兴奋系统进行建模,还可提供动态时域预测。

薛定谔方程[134]:IPINN改进版的PINN通过缓解梯度消失问题,实现了更快的收敛速度和更高的精度,训练时仅需少量数据即可。其主要优势在于具有极高的鲁棒性,能够准确模拟非线性薛定谔方程的复杂局域波解。该方法能为非线性薛定谔方程提供数据驱动的解,包括复杂的异常波和周期波模式。它能从稀疏数据中模拟孤子波和异常波。IPINN通过在每个神经元上应用局部自适应激活函数,对传统PINN进行了改进。

艾伦-卡恩方程[108]:PIARNN物理信息反对称递归神经网络由于采用严格的上三角连接矩阵来确保反对称性,因此在参数数量上更为高效。其优势在于通过反对称递归参数化实现了学习过程的稳定性和鲁棒性,从而使预测性能更优。PIARNN方法在求解艾伦-卡恩方程这类复杂的非线性时变偏微分方程时展现了出色的性能,能为相变偏微分方程提供稳定准确的解。此外还提出了一种基于符号微分的PINN方法,用于发现艾伦-卡恩方程的一般类别的辛结构。

扩散-反应系统方程[113]:PPINNPPINN通过分解计算域并利用并行时间计算技术,显著减少了处理长时间跨度偏微分方程时的计算时间。其优势在于大幅提升了长时间积分的计算速度,这是因为迭代并行过程通常只需少量迭代步数即可收敛。该方法已成功求解二维非线性扩散-反应方程,证明了其在处理复杂时变偏微分方程方面的有效性。它还能处理具有不同偏微分方程编码的多物理场模型。PPINN方法将基于物理的模型与数据驱动方法相结合,以提高预测精度并降低不确定性。

二维纳维-斯托克斯方程[137]:DNNDeepHPMs是一种深度学习框架,旨在直接从系统时空行为的稀疏且含噪声的观测数据中揭示隐藏的非线性偏微分方程。该模型具有极高的数据效率,仅需少量分散且可能含噪声的数据点即可进行训练,从而解决了纯数据驱动方法的局限性。该框架的成功之处在于已成功为多个复杂系统发现了控制方程,包括纳维-斯托克斯方程。它能学习系统的涡度动态特性,架构由两个深度神经网络组成。

布拉斯ius-波尔豪森方程与福克纳-斯坎方程[14]:标准PINN该研究将PINN方法应用于求解具有复杂边界层特性的布拉斯ius-波尔豪森方程和福克纳-斯坎方程,这一做法优于传统的数值求解方法。PINN被用来模拟粘性边界层和热边界层系统,无需构建复杂的网格即可解决三个基准问题。该研究聚焦于三种典型的热流体问题:布拉斯ius-波尔豪森方程、福克纳-斯坎方程以及垂直板上的自然对流边界层问题。它提出了边界层流动的基本模型,通过结合基于物理的模型与数据驱动方法,提高了预测精度并降低了不确定性。

修正后的科尔泰-德弗里斯方程[53]:VCINN与标准PINN相比,VC-INN在恢复复杂变量系数时,误差和训练损失都显著更低。该架构在处理具有高维复杂变量系数的偏微分方程逆问题时具有很强的稳定性。该方法能够处理复杂的非线性变量系数问题,包括对流体动力学现象至关重要的科尔泰-德弗里斯方程。它能验证模型能否从有限数据中同时准确重建多个系数。VC-INN是经过改进的PINN,专门加入了ResNet的快捷连接结构以稳定训练过程。

巴克利-莱维雷特问题[6]:标准PINNPINN框架具有较高的计算效率,无需构建复杂网格即可获得低损失的高质量解。相比纯数据驱动的神经网络模型,PINN更好地融合了物理原理与数据信息,提升了解决方案的分辨率和精度。该方法通过求解巴克利-莱维雷特方程得到了验证,该方程用于模拟气体在多孔含水介质中的渗流,同时涉及正向问题和逆向问题。它解决了多孔介质中的气体渗流问题,研究采用了标准PINN架构,该架构使用全连接神经网络来近似求解。

埃里克森-约翰逊问题[156]:VPINNPINN和VPINN模型的精度与有限元法相当,但在复杂的训练优化过程中需要更高的计算成本。传统的Galerkin有限元法无法解决以对流为主的扩散问题,而PINN/VPINN则表现出更强的优势,能够得到接近正确的解。该研究将PINN和VPINN方法应用于具有挑战性的一维对流扩散问题和二维埃里克森-约翰逊模型。它能为相变偏微分方程提供稳定准确的解,同样通过结合基于物理的模型与数据驱动方法来提升预测精度并降低不确定性。

布尔格斯-费希尔方程[211]:高精度PINN高精度PINN方法在求解非线性广义布尔格斯-费希尔方程时,表现出更快的收敛速度和更高的精度。该网络通过采用自适应激活函数和有效的权重策略,进一步提升了解的精度和可靠性。改进后的PINN被用于求解这类描述气体动力学和流体流动现象的广义布尔格斯-费希尔方程。该方法通过优化模型获得了高度精确的预测解,其架构采用了通过自动微分实现符合性导数的设计,以避免数值离散化误差。

表6. 高维复杂偏微分方程的应用情况。| 偏微分方程类型/问题 | 方法/变体 | 计算成本与损失 | 优势/劣势 | 实际应用经验 | 关键贡献与所用架构 |
|-------------------|-----------|--------------|-----------|--------------|--------------------|
| 正向/逆问题 | 标准PINN、离散PINN、VW-PINN | - | VW-PINN将自适应采样效率提升了三倍,某逆问题的相对误差降低了一个数量级以上。该方法能有效克服在训练时使用非均匀配置点时标准PINN中偏微分方程损失函数的病态性问题。该技术解决了常规PINN完全无法处理的复杂正向流体流动问题,如在NACA0012翼型上的流动问题。在非结构化网格上使用PINN也非常有效,该网络通过核密度估计计算每个配置点所占的局部体积,从而实现体积加权残差。 | - | 有效解决了非结构化网格上的流体流动问题,提升了计算效率。 | 在非结构化网格上实现了高效流体流动模拟,提升了计算效率。 |
| 粘性强偏微分方程 | 标准PINN | - | 作者的相关研究致力于找到可靠的解决方案,在具有复杂不连续热传导特性的测试案例中,相对误差可控制在10%以内。PINN的劣势在于难以捕捉不连续解,且难以处理具有冲突角边界条件的三维几何结构。研究以二维和三维稳态热传导方程作为测试案例,重点关注那些存在不连续解的几何区域。 | 面临三维域中的边缘不连续性问题,需进一步改进模型处理能力。 | 评估了多种PINN框架的性能,为选择合适模型提供了参考。 |
| 二维扩散-反应方程 | PPINN | - | 相比标准PINN,PPINN通过并行化处理大幅提升了计算速度,通常只需两到四次迭代即可成功收敛。其优势在于能够将长时间积分问题分解为多个较小的、并行的短时间子问题,而标准PINN则难以做到这一点。该方法已被应用于解决复杂的时变偏微分方程,如一维布尔格斯方程和二维非线性扩散-反应方程。为进一步提升收敛性,Parareal PINN架构将多个精细的PINN并行排列,再与一个快速的串行粗粒化求解器结合使用。 | - | 能够高效处理长时间积分问题,适用于复杂时变偏微分方程的求解。 | 解决了复杂时变偏微分方程的积分问题,提升了计算效率。 |
| 随机偏微分方程 | NN-DO、NN-BO | - | 该方法能够有效量化不确定性,未来的研究应重点提高PINN在正向问题上的计算效率,因为其计算成本较高。NN-DO/BO框架的一个核心优势在于无需满足传统模态方法中的诸多限制性假设,例如DO方法中就需要可逆的协方差矩阵。该方法已成功应用于多种随机偏微分方程,包括随机对流方程以及随机布尔格斯方程的长时间积分问题。所提出的NN-DO/BO方法将动态正交/双正交约束直接嵌入PINN的损失函数中,以便在模态空间中进行学习。 | - | 实现了随机偏微分方程的精确求解,突破了传统方法的限制。 | 为随机偏微分方程提供了高效的求解方法。 |
| 多尺度偏微分方程 | NH-PINN | - | 相比标准PINN,NH-PINN在多尺度参数较小时能显著降低相对误差,从而确保得到高精度的解。其核心优势在于能够克服PINN在处理高频多尺度解时的谱偏差问题,这类问题通常会导致精度低下且训练不稳定。该方法已被应用于求解三个均质化理论方程,其中包括具有多尺度扩散系数的方程。它通过将神经网络均质化方法与过采样技术相结合,提升了计算精度,架构采用三步策略。 | - | 能够有效解决多尺度偏微分方程的精度问题,提升了计算精度。 | 解决了多尺度偏微分方程的精度问题,适用于复杂多尺度系统。 |
| 二维/三维时变问题 | 标准PINN、X-TFC | - | X-TFC方法因具有较低的计算时间和高精度而备受关注,往往能在毫秒级时间内得到解,其性能可与许多传统数值方法相媲美甚至更优。其核心优势在于通过X-TFC框架能够精确满足边界条件和初始条件,从而避免了PINN中不同损失函数相互竞争的问题。该方法已在多种问题上得到了验证,包括线性和非线性微分方程,还能处理具有不规则域的三维流形问题。其架构为单层神经网络,具体为极限学习机。 | - | 能够高效处理二维/三维时变问题,适用于复杂流场模拟。 | 解决了二维/三维时变问题的模拟问题,提升了计算效率。 |
| 随机布尔格斯方程与扩散-反应方程 | 标准PINN | - | 该方法通过避免显式的时间导数表达式,有效降低了随机时变问题中常见的计算负担,因而具有较高的精度。其核心优势在于能够稳健地处理随机模式中的特征值交叉问题,而传统动态双正交方法在长时间积分过程中往往会失效。该技术已被应用于多种随机偏微分方程,包括线性随机对流方程,以及随机布尔格斯方程和反应-扩散模型的长时间积分问题。它能够在估计解的统计特性方面实现高精度,突破了传统方法的局限,还能处理含有噪声的高维随机输入数据。 | - | 为随机偏微分方程提供了高精度求解方案,突破了传统方法的限制。 | 解决了随机偏微分方程的精确求解问题,提升了计算精度。 |
| 向后随机方程 | 标准NN | - | 神经网络方法非常适合处理高维问题,因为它们能够有效规避限制传统数值求解方法的维度灾难问题,提供了一种可扩展的解决方案。其核心优势在于无需构建复杂网格,从而简化了几何结构的处理。主要的挑战在于网络训练涉及复杂的非凸优化问题。研究中考察了三种关键技术:PINN、基于费曼-卡茨公式的方法,以及基于随机微分方程的求解器。这些方法依赖于深度前馈神经网络作为通用函数逼近器,通过自动微分来计算所需的导数。 | - | 利用神经网络解决了向后随机方程的求解问题。 | 为高维随机问题提供了有效的求解方案。 |
| 微分-代数方程 | DAE-PINN | - | DAE-PINN将隐式龙格-库塔时间步进方案与PINN相结合,形成了一个比传统深度学习方法更稳定的框架,可用于长时间尺度下微分-代数方程的模拟。这是首个针对非线性微分-代数方程的有效PINN基方法,这类方程常用于描述电力系统行为。其劣势在于训练阶段的计算成本较高,且存在复杂的非凸优化问题。该框架的主要应用领域是模拟受强微分-代数方程控制的电力系统的瞬态动态响应,对于电力系统的动态安全评估具有重要意义。它还具有建模复杂动态系统的潜力,其架构为离散时间PINN模型,会对微分-代数方程的残差项进行约束。 | - | 能够模拟复杂动态系统的行为,适用于电力系统等领域的应用。 | 为微分-代数方程的模拟提供了新的解决方案。 |
| 高阶参数化方程 | FO-PINN | - | Fo-PINN框架通过避免计算高阶导数时所需的资源密集型反向传播步骤,显著降低了每次训练迭代的计算时间。其核心优势在于能够提高参数化系统的计算精度,同时还提供了一种利用近似距离函数来精确施加边界条件的有效方法。该方法通过对二阶或更高阶的偏微分方程进行重新表述,使得网络更容易对其施加约束。它还能处理具有不规则域的三维流形问题。 | - | 提高了参数化偏微分方程的求解效率,降低了计算成本。 | 为高阶参数化偏微分方程的求解提供了高效方法。 |Fo-PINN采用标准的深度前馈神经网络,但使用了经过修改的损失函数。复杂时空方程(欧几里得网格[91]、[183],非欧几里得网格[131]、[146])、FNO、PINN、网格图网络、图网络模拟器。通过光谱和图预训练,通过平衡偏微分方程残差损失与多步骤、数据驱动的均方误差,从而降低长期成本。这些方法具有更快的速度和更好的几何灵活性;然而,密集图形的高内存需求以及PINN收敛速度慢仍是挑战。可通过预处理加速求解刚性偏微分方程,同时通过在训练数据中注入噪声来防止偏差,从而稳定长距离图结构。神经运算符以及基于图的编码器-处理器-解码器通过实现结构化和非结构化空间网格上的分辨率不变预测,彻底改变了偏微分方程的求解方式。复杂流体动力学[32]CAN-PINN相比基于ND的PINN,CAN-PINN的精度提高了1–2个数量级,仅需较少的配置点即可获得稳定且高精度的结果,这大大降低了整体训练成本和时间。该方法的优点在于即使在传统AD-PINN无法处理的稀疏样本情况下也能实现稳定训练,有效结合了ND方法的效率与AD微分方法的高精度。该论文通过解决复杂的流体动力学问题,尤其是不可压缩腔体流动问题,展示了其卓越的性能。文中还展示了CAN方案在流体动力学问题中的应用,包括两种针对对流问题的CAN-PINN数值实现方案。Can-PINN采用标准的全连接神经网络架构。Kuramato Sivashinsky方程[120]最优PINN相比复杂的伴随矩阵法,PINN因其简单性而具有实施优势,但在分布式最优控制问题上通常无法与其效率相媲美。其优点在于可在单一框架内同时训练状态变量和控制变量,简化了流程,不过成本函数的最优权重仍然至关重要。该框架已被成功应用于求解各种偏微分方程的最优控制问题,包括复杂的Kuramoto-Sivashinsky方程。该方法可处理具有不规则域的3D流形,采用两个独立的全连接神经网络。热波耦合方程[162]标准PINN对于逆问题,PINN方法能够给出稳定且精确的解,即便纳入存在系统误差的实验数据也是如此。其显著优点在于PINN能够将物理定律和有限的实验数据整合到单一框架中,从而为病态逆问题提供物理上一致的解。该方法利用高维耦合偏微分方程来描述热波的振幅和相位,进而确定一般材料的未知热扩散率。PINN框架用于模拟热波的传播,所采用的架构为标准PINN框架。表7展示了其在分数阶和变系数偏微分方程中的应用情况。偏微分方程类型/问题、方法/变体、计算成本与损失、优点/缺点、实际应用经验、关键贡献及所用架构。分数阶对流-扩散方程[127]标准PINN对于较小的训练集,平均误差可达某值。关键的收敛性发现是:当训练集规模增大时,优化误差会导致饱和现象。该方法的优势在于采用了混合损失函数,即对整数运算符使用自动微分,而对复杂的分数阶运算符则采用数值离散化方法。标准PINN方法已被用于多维时空分数阶对流-扩散方程的正向和逆向问题,并取得了高精度结果。该方法可处理带有噪声的高维分数阶偏微分方程,其架构为标准的前馈神经网络。空间分数阶泊松方程和Bloch–Torrey方程[3]蒙特卡洛fPINN与传统的fPINN及蒙特卡洛fPINN相比,PINN-CS方法在数值精度和计算效率方面更具优势,误差显著降低。其优势在于采用了Cuckoo搜索优化算法,该算法通过自适应惯性权重来避免PINN在标准梯度优化中常见的过早收敛现象。该技术对多种分数阶偏微分方程都有效,包括二维时空分数阶扩散方程以及复杂的三维分数阶Bloch–Torrey方程。在不规则域中表现良好,其核心架构是基于蒙特卡洛的PINN,该架构利用深度神经网络替代模型来近似解。时变分数阶偏微分方程[204]光谱fPINN该方法通过使用雅可比多项式进行全局离散化,从而提高了计算效率,减少了辅助点数量,误差精度可达某范围。其显著优势在于由于采用了光谱配置方法,因此具有很高的表示能力和效率,大幅减少了所需的离散化点数。该技术已被用于稳态和时变分数阶偏微分方程的求解,同时也被应用于金融建模中的参数识别逆问题。该方法将光谱方法与PINN相结合,从而减少了训练时间,其架构为光谱fPINN,采用混合方法,即整数阶导数使用自动微分,而分数阶导数则采用光谱方法。分数阶Black–Scholes方程[126]新型PINN与传统数值方案相比,PINN方法在处理高频且含噪声的金融数据时具有较低的计算成本和更高的效率。其显著优势在于该方法能够直接将分数阶导数纳入损失函数中,避免了数值离散化和非局部性的复杂性。PINN为求解复杂的时变分数阶Black–Scholes偏微分方程提供了高效的解决方案,这类方程用于确定复杂的金融衍生品价格。该方法可用于求解含有非局部分数阶导数的tfBSPDE定价模型,其PINN结构较为简单,仅包含两层隐藏层,每层有四个神经元。Volterra积分-微分方程[199]A-PINN与传统PINN相比,A-PINN方法在处理积分-微分方程时能够实现更高精度,这是因为它避免了离散化误差。其主要优势在于通过定义辅助输出变量来绕过积分离散化步骤,从而有效消除了相关离散化和截断误差。A-PINN已成功解决了多种复杂的Volterra和Fredholm积分-微分方程问题,包括含有噪声数据时的正向问题、系统问题和逆问题。A-PINN在处理涉及Volterra IDEs的正向问题时表现良好,其核心架构为多输出神经网络,该网络旨在同时近似主要变量以及代表积分的辅助输出变量。从表4、表5、表6、表7的比较结果来看,不同类型的偏微分方程呈现出明显的共性。对于椭圆型和抛物型方程,采用平滑激活函数(tanh/SoftPlus)的PINN能够实现稳定收敛,且误差较低,尤其是在通过惩罚项来软性约束边界条件时。而对于双曲型和以对流为主的问题,则存在光谱偏差和梯度不平衡的问题,这些问题可通过自适应采样和傅里叶特征激活来缓解。对于Burgers方程和Navier–Stokes方程等非线性和多尺度偏微分方程,可采用渐进式或混合训练方法来解决刚性问题,而对于分数阶和高维度系统,则可通过域分解和辅助变量公式来保留非局部运算特性。图5基于2019年至2026年间发表在各大科学期刊和会议论文集中的研究,包括系统性综述、基准测试以及代表性应用论文,对不同类别的微分方程使用PINN及其变体进行了解析,总结了相关应用情况。下载:下载高分辨率图像(114KB)下载:下载完整尺寸图像图5. 全连接PINN框架。总体而言,这些研究结果表明,PINN的性能高度依赖于具体问题,受偏微分方程性质、激活函数选择以及数据稀疏度的影响。从定量上看,当采用自适应配置和迁移学习策略时,精度通常可提高15–40%,但相应的计算成本也会增加。这种跨类别的综合分析将描述性总结转化为更具对比意义的分析评价,有助于深入理解问题本质。6. 高级PINN变体与扩展版本基础PINN流程(2 PINN的理论基础,2.1 数学框架、偏微分方程损失、边界条件损失、初始条件损失、数据损失、示例说明,2.2 神经网络的通用逼近能力与表达能力,2.3 自动微分及其在PINN中的作用,2.4 损失函数设计,2.4.1 多项式损失平衡、固定权重、自适应权重、基于梯度的平衡,2.4.2 采样策略、均匀采样、自适应采样、准随机采样,2.4.3 最优化场景与训练难题,3 PINN的核心架构与方法论)及其在常微分方程/偏微分方程中的应用(4 PINN在常微分方程中的应用,5 PINN在偏微分方程中的应用)揭示了一些共性的挑战:光谱/低频偏差、刚性及多尺度行为、尖锐前沿与不连续性、几何复杂性、高维度问题以及训练成本。本节将介绍针对这些问题的高级变体与扩展方案。为便于理解,我们将这些方法概念上分为五类:(i)公式层面的改进(弱形式/变分形式、保守型PINN、带约束的PINN),(ii)架构与领域策略(周期性/傅里叶特征、域分解、多分辨率方法),(iii)训练与采样策略(自适应权重、基于残差的重采样、渐进式训练),(iv)运算符学习混合模型(如FNO/DeepONet + PINN),以及(v)与经典求解器及不确定性量化技术的混合多精度耦合方法。表8列出了文献中常用的各类变体,图6则展示了它们的出现频率。表8. 高级PINN变体与扩展版本。PINN变体、完整名称及参考文献、定量优势。DAE-PINN:结合PINN与微分代数方程的方法[121],通过施加代数约束,为微分代数方程提供稳定且精确的解,而标准PINN在处理索引和约束违反问题时往往力不从心。BL-PINN:用于解决具有尖锐梯度边界层问题的PINN方法[10],能够有效处理标准PINN难以处理的强刚性区域,提升精度。PINN-FORM:结合PINN与一阶可靠性分析方法的技术[114],可实现偏微分方程与可靠性指标的同时估算,拓展了PINN在概率分析领域的应用能力。PIARNN:基于物理原理设计的反对称循环神经网络[108],通过反对称循环架构,比标准PINN更能准确捕捉时间动态与反对称模式。PINN-FNO:结合傅里叶神经运算符与PINN的方法[93],可处理多尺度、高维度偏微分方程,同时降低训练时间并提升精度。PINN-MT:用于处理质量传递问题的PINN方法[15],通过整合特定物理规律,提升了耦合质量传递与扩散-反应系统的建模精度。TL-PINN:结合迁移学习与PINN的技术[133],可通过迁移学习加快相关偏微分方程的收敛速度,从而减少所需数据量和计算成本。MFLP-PINN:用于多轴疲劳寿命预测的PINN方法[58],通过融入疲劳寿命相关的物理规律,实现了比标准PINN更精准的多轴疲劳预测结果,在工程可靠性应用中表现更佳。S-PINN:稀疏PINN[141],通过采用稀疏配置和自适应采样,显著降低了大规模偏微分方程的计算开销。P-PINN:并行实数PINN[113],通过实现并行实数时间并行处理,加快了时变偏微分方程的收敛速度,大幅提升计算效率。M-PINN:基于网格的PINN方法[175],通过引入网格离散化技术,提升了梯度的稳定性,增强了空间精度,优于无需网格的标准PINN。PINN-CNB:采用猫鼠博弈式优化算法的PINN方法[67],通过这种对抗性优化方式避免陷入局部最小值,提升了收敛稳定性与全局精度。PIELM:基于物理原理的极端学习机[177],用极端学习机替代迭代梯度训练,实现了极快的训练速度,同时保持相当的精度。AT-PINN:结合先进时间推进技术的PINN方法[30],通过采用更先进的時間推进方案,提升了刚性或多尺度时间偏微分方程的求解稳定性与精度。CT-PINN:传统时间推进PINN方法[30],在PINN框架内采用传统时间步进策略,提升了长时间模拟过程中的数值稳定性与精度。MRF-PINN:多感受场PINN方法[203],通过引入多感受场层,有效捕捉了多尺度下的时空特征。OCP-PINN:用于在线识别与控制未知偏微分方程的PINN方法[5],可通过在线自适应学习实现未知偏微分方程系统的实时识别与控制。NAS-PINN:基于神经架构搜索的PINN方法[182],通过自动设计最优神经网络结构,提升了PINN的精度与效率。HP-PINN:高精度PINN方法[136],通过引入高阶导数约束与自适应配置优化,进一步降低了整体误差。A-PINN:辅助PINN方法[199],通过引入辅助任务或输出,提升了复杂偏微分方程系统的训练稳定性与收敛速度。I-PINN:改进型PINN方法[11]、[207],通过优化激活函数与损失函数,降低了收敛问题,提升了学习的稳健性。VCINN:基于变系数信息的神经网络方法[53],通过将空间依赖项纳入学习框架,高效解决了变系数偏微分方程问题。VW-PINN:结合体积加权的PINN方法[159],通过采用体积加权残差惩罚机制,提升了非均匀空间域中偏微分方程的求解精度。NH-PINN:基于神经均匀化技术的PINN方法[88],通过神经均匀化技术高效模拟多尺度材料行为,降低了计算成本。FO-PINN:PINN的一阶形式表述方法[47],通过将偏微分方程转化为一阶方程组,提升了方程的适定性,加快了收敛速度。PP-PINN:结合预处理与预训练的PINN方法[183],通过融合预处理与预训练策略,提升了优化效率,解决了训练过程中的刚性问题。CAN-PINN:基于耦合自动微分与数值微分方法的PINN方法[32],通过结合自动微分与数值微分,降低了梯度误差,提升了解的精度。VC-PINN:变系数PINN方法[116],专为具有变系数的偏微分方程设计,提升了在异质且空间分布不均介质中的求解精度。PHYCRNET:基于物理原理的卷积-循环神经网络方法[142],通过结合卷积网络与循环网络,实现了高效的时空偏微分方程学习,同时具备长期记忆功能。TSA-PINN:采用可训练正弦激活函数的PINN方法[76],通过使用可训练的正弦激活函数,有效学习了具有振荡或周期性特征的偏微分方程解。STD-PINN:标准PINN方法[30],作为基准框架,通过最小化损失来约束偏微分方程残差与边界条件,可作为参考模型。F-PINN:分数阶PINN方法[127],将标准PINN扩展到分数阶偏微分方程领域,提升了模型的稳定性,更准确地表征了非局部行为。SE-PINN:对称性增强型PINN方法[208],通过在学习过程中融入物理对称性约束,减少了冗余计算与误差传播。H-PINN:Hadamard PINN方法[25],通过引入Hadamard变换,实现了多参数的高效表示,加快了收敛速度。Hybrid-PINN:混合PINN方法[162],通过结合神经网络与数值求解器(如有限元法/有限差分法),提升了方法的精度、可解释性与效率。Spectral-PINN:光谱PINN方法[204],通过引入光谱基函数,提升了在平滑偏微分方程上的求解速度与精度。Taylor-PINN:泰勒级数展开PINN方法[207],通过利用泰勒级数展开,提升了梯度估计的稳定性,得到了更平滑、更精确的解。Monte-Carlo PINN:蒙特卡洛PINN方法[3],通过结合蒙特卡洛采样与PINN技术,实现了随机偏微分方程的求解以及不确定性量化。下载:下载高分辨率图像(997KB)下载:下载完整尺寸图像图6. PINN分类及其变体的层级结构。表8的分析表明,这些方法在克服传统PINN的诸多瓶颈方面取得了显著进展,比如光谱偏差、刚性问题、高维度耦合问题以及计算效率低下等问题。弱形式/变分PINN与保守型PINN通过引入物理约束提升了模型的稳定性,而傅里叶特征与多分辨率网络则有助于捕捉多尺度与振荡动态。自适应采样与渐进式训练方法可将训练周期缩短20–50%,从而加快收敛速度。运算符学习混合模型(PINN-FNO、DeepONet-PINN)能够实现高效的数据替代模型,而迁移学习/多保真度PINNs则可降低参数扫描的成本。总体而言,先进的PINN变体使得该框架更趋向于可扩展、可泛化的建模,不过在保真度与成本之间仍存在权衡。未来的进展将依赖于结合符号先验、自适应采样和运算符学习的混合策略,从而实现描述性枚举与分析性评估的结合。

7. 计算评估、基准测试与局限性
在介绍了基础PINNs及先进变体之后(2 PINNs的理论基础,2.1 数学框架、PDE损失、边界条件损失、初始条件损失、数据损失、示例说明,2.2 神经网络的通用近似能力与表达能力,2.3 自动微分及其在PINNs中的作用,2.4 损失函数构建,2.4.1 多项式损失平衡、固定权重、自适应权重、基于梯度的平衡,2.4.2 采样策略、均匀采样、自适应采样、准随机采样,2.4.3 最优化景观与训练挑战,3 PINNs的核心架构与方法,3.1 神经网络组件,3.1.1 输入层设计、3.1.2 隐藏层配置、3.1.3 输出层结构,3.2 PINNs的激活函数,3.2.1 设计标准与常见选择、Tanh、ReLU/漏极ReLU、SoftPlus、swish/SiLU、GELU、周期性/振荡型激活函数、傅里叶特征编码,3.2.2 根据PDE特性给出的实用建议,3.3 物理集成策略,3.3.1 残差评估,3.3.2 约束施加:软约束与硬约束,3.3.3 配置点调度与小批量处理,3.3.4 归一化与无量纲化,3.4 训练优化框架,3.5 PINNs与数值解的比较,4 PINNs在常微分方程中的应用,5 PINNs在偏微分方程中的应用,6 先进的PINNs变体与扩展),本文总结了实际评估指南与关键局限性。

基准测试与报告
我们建立了一个基于标准偏微分方程测试案例的结构化基准测试框架,包括泊松方程、热方程、伯格斯方程以及固定雷诺数条件下的纳维-斯托克斯方程。该框架要求明确披露配置点预算与采样策略,清晰区分训练集与验证集的配置点,同时统一报告PDE残差以及边界条件与初始条件违反情况、不变量保持等与物理相关的指标。在与传统数值求解器(如FDM、FEM、FVM)进行比较时,该框架要求对PDE表述、边界/初始条件规格以及数据条件保持一致,同时全面报告两种方法的计算成本(组装/求解与训练/推理阶段)[75]、[89]、[100]、[140]。为确保可重复性与可比性,该基准测试协议规定了固定的PDE任务、标准化的数据划分、明确的精度指标(如边界/初始条件误差),以及多次运行中计算成本与稳健性的系统化报告。这一结构化框架用正式化、可衡量且可比较的基准测试标准取代了非正式的方法建议,符合当前PINN评估实践的发展趋势。

计算成本与可扩展性
计算成本随配置点规模、深度/宽度以及导数阶数增加而上升;高阶自动微分往往起主导作用[17]、[128]。混合精度有助于降低成本,但需针对二阶/混合导数进行验证。通过域分解(cPINN/XPINN)以及基于残差的迷你批量处理,可提升可扩展性[69]、[155]。

稳定性、故障模式与缓解措施
常见问题包括频谱(低频)偏差与多尺度行为[136]、[178]、过强刚性/尖锐前沿,以及导致边界/初始条件泄露的损失不平衡问题[81]。应对措施包括使用周期性/傅里叶特征[161]、基于残差的自适应采样/渐进式训练策略[100]、[123]、归一化/无量纲化[75]以及域分解[69]、[155]。除最终误差外,还应报告故障率以及对种子值/超参数的敏感性[81]。

局限性
•复杂域:尽管PINNs具有灵活性,但在应用于复杂或不规则域时往往表现不佳。问题源于边界条件施加不准确、几何结构导致的各向异性,以及损失项之间的不平衡,这些因素可能导致训练不稳定且收敛缓慢。在高度非均匀的几何结构及多物理场场景中,这些问题更为突出,若没有基于几何感知的变换或域自适应策略,传统PINN公式则难以保证可靠性[62]、[132]。
•优化复杂性:目标函数为非凸型,故障通常由优化问题引发,而非表达能力限制所致[81]。
•计算资源/内存需求:高阶自动微分以及大规模配置点会带来较高成本[17]、[128]。
•频谱偏差/多尺度问题:难以捕捉高频信号与尖锐特征[136]、[178]。
•约束施加问题:若权重设置不当,软约束可能无法有效保证边界/初始条件的满足,或者需要采用硬约束。
•理论层面:目前仅有部分类别存在收敛性/误差保障,其成熟度仍低于传统离散化方法[38]、[153]。
•问题类型:传统PINNs在处理积分-微分型问题时表现不佳,而辅助输出型PINNs可一定程度上解决这一问题[199]。

下文汇总了当前的挑战与未来发展方向:
7.1 未来发展方向
基于5章“PINNs在偏微分方程中的应用”以及6章“先进的PINNs变体与扩展”中指出的局限性,即频谱偏差、刚性问题、可扩展性以及不确定性问题,以下研究方向为解决这些挑战提供了具体路径。目前,PINNs在跨学科领域的应用已取得显著进展。虽然本研究主要聚焦于微分方程领域的PINNs,但仍存在若干挑战与未解问题。要推动该领域发展,既需要方法上的创新,也需要更多突破现有局限的实际应用[75]、[140]。

实际应用
已有研究将PINNs应用于脑血管扩散MRI分析[172]、脑血流动力学研究[147]、3D血流建模[119]、冠状动脉树分析[9]以及临床医学领域[16],还用于注塑件分析[49]、主动脉血流模拟[2],另有综述强调了其在更广泛成像任务中的潜力[13]。其应用范围还包括心肌灌注量化[168]、磁共振电学性质成像[66]、基于物理约束的缺陷检测[49]以及乳腺超声分割[40]。然而,现有方法在可扩展性、对不同患者解剖结构的泛化能力以及临床可靠性方面仍存在不足。未来的工作可优先开发具备自适应物理权重、不确定性量化功能的可扩展PINN变体,同时结合低延迟替代模型与特定任务的特征提取器,从而实现更快速的推理速度,以及针对不同患者几何结构的不确定性感知个性化处理。标准化的临床基准测试将进一步确保预测结果在物理上具有一致性,在统计上具有可靠性,为手术与诊断工作的开展提供有力支持。

城市基础设施与交通流
近期研究通过将交通守恒定律及基于物理的流量方程嵌入学习框架,证明了物理信息神经网络在交通状态估计与流量建模方面的有效性[167]、[195]。这些方法能够利用稀疏的传感器数据及车辆互联信息精确重建交通状态,而自适应与基于残差的PINN公式则进一步提升了其在不同交通网络中的稳健性与泛化能力[160]、[173]。不过,现有方法在处理大规模、异构的交通系统以及快速变化的交通动态时仍面临挑战。后续研究可致力于开发可扩展且可迁移的PINN架构,这类架构应整合自适应物理约束、多模态交通数据融合、动态拓扑处理以及非振荡型冲击捕捉机制,以确保在交通不连续区域附近的数值稳定性,同时结合联邦学习框架,在保护隐私的前提下实现跨城市的知识共享,从而实现可靠的实时交通预测与控制。

工程与航空航天应用
目前,PINNs已被证实是工程应用中的有效工具,应用领域包括航空航天系统建模、结构振动分析、高速车辆动力学分析、多物理场系统识别以及热弹性波传播研究。结构化的分类体系与系统性综述明确了PINNs在解决复杂工程偏微分方程问题中的重要作用[50]、[164],而基于应用的研究则展示了其在航空航天振动分析[158]、自动驾驶车辆动力学分析[80]、多物理场阻尼识别[95]以及多孔热弹性系统分析[43]中的优势。这些进展使得PINNs得以从简单的边值问题应用,走向更真实的耦合工程场景。不过,目前的解决方案仍具有很强的问题针对性,且计算成本较高。未来的研究可优先开发混合PINN框架,这类框架应整合降阶模型、神经运算符、基于物理的强化学习控制方法以及基于PINNs的数字孪生技术,从而实现更快速的推理速度、具备控制意识的 learning过程,以及复杂工程系统的实时同步处理,同时还可开发轻量级的Edge-PINN架构,以实现低延迟的本地部署。

城市交通与地球系统科学
近期研究通过将物理约束融入起点-终点流量预测、移动性模式的深度生成建模以及偏微分方程的运算符学习框架,推动了物理信息学习在城市交通与时空系统中的应用[93]、[188]、[200]。相关的综述与应用研究进一步强调了物理引导的深度学习在智能城市交通、地球科学、流域扩散建模以及地球系统预测中的作用[26]、[51]、[73]、[198]。尽管取得了这些进展,但在将基于运算符的学习方法与数据驱动的移动性模型相融合,以及实现跨不同时空尺度的泛化能力方面,仍存在挑战。未来的研究可致力于开发兼具物理一致性生成建模能力的混合PINN-运算符架构,这类架构应纳入非平衡热力学与随机微分方程模型,以弥补人类活动与气候变化之间的因果关系缺口。如此一来,便能为行星尺度模拟以及复杂城市-环境系统中的决策制定提供可扩展的时空基准。

运算符学习与神经运算符
近年来,运算符学习与物理信息建模方面的进展使得人们能够以数据驱动的方式近似表示微分方程的非线性解运算符,其中包括基于DeepONet的运算符表示方法、用于参数化偏微分方程的傅里叶神经运算符,以及直接将控制律嵌入运算符学习过程的PINO方法[91]、[93]、[98]。此外,极值函数连接理论与模态空间学习等物理信息增强框架,进一步提升了时间相关系统与随机系统的计算效率与稳定性[149]、[201]。这些方法通过学习不同参数下的解映射,避免了因新的初始条件或边界条件而需要重新训练的问题,不过在将运算符学习与多尺度、长时间跨度、高度非线性的系统中的物理信息训练相结合方面,仍存在挑战。未来的研究可优先开发兼具结构保持约束、基于Transformer的骨干网络、熵稳定公式以及可扩展训练策略的混合运算符-PINN架构。这类架构能够确保在非规则几何结构下的离散化不变性、长时间的哈密顿稳定性,同时消除频谱偏差,从而在N体系统等复杂模拟中实现准确的物理一致性。

优化与训练稳定性
当前的研究提出了多种改进PINNs训练策略的方法,通过引入时间因果性约束、保守约束以及域分解,提升了训练的稳定性与收敛性,尤其适用于非线性及时间相关的微分方程[69]、[155]、[178]。此外,针对非线性反应-扩散方程的改进PINN公式、用于捕捉高频解的傅里叶特征嵌入方法,以及DeepXDE等用户友好的软件框架,进一步拓展了PINNs的实际应用范围[11]、[100]、[161]。这些研究通过物理约束与并行化域划分,成功实现了多尺度问题的训练稳定性,不过在处理刚性系统、多尺度动态现象以及复杂几何结构方面,仍面临诸多挑战。未来的研究方向应为这些领域开发统一的训练框架,这类框架应整合因果意识学习、自适应频谱/傅里叶特征映射、结构保持约束以及自动权重调度功能,从而实现局部分解与全局一致性的结合,支持在大型GPU集群上运行异步并行PINNs,进而实现针对不同类型偏微分方程的稳定、可扩展性能,且无需担心接口瓶颈问题。

物理-数据PINNs:实现可靠且可解释的预测
当前研究已证明,将物理建模与深度学习相结合的混合框架,能够在材料科学、车辆动力学、结构识别以及疲劳寿命预测等领域提升模型的可解释性、数据利用效率与预测可靠性[24]、[36]、[55]、[213]。通过嵌入物理估算模型、损伤力学模型以及区间不确定性表示方法,这类方法在数据有限或存在噪声的情况下,性能优于纯数据驱动的模型。近期研究更进一步,将损伤力学与区间分析方法嵌入训练过程,即便在数据稀少且存在不确定性的情况下,也能实现准确的寿命预测——不过目前的这些方法仍具有很强的问题针对性,缺乏统一的原理与良好的可扩展性。未来的工作应致力于开发通用的物理-数据融合架构,这类架构应整合用于多尺度裂纹萌生的相场建模方法,以及基于证据理论的不确定性量化方法,以实现实时剩余使用寿命的精准预测。模块化架构则能确保计算效率、可解释性,以及在不同工程领域(如航空航天与汽车工业)中实现系统化的物理建模。

用于时空建模与PDE驱动学习的神经架构
近期进展通过结构化的神经架构进一步推动了物理信息学习的发展,这些架构包括用于时空偏微分方程的卷积-循环网络、用于正问题与反问题的图神经Galerkin公式,以及第一阶PINN公式,后者能够提升数值稳定性与训练效率[46]、[47]、[142]。这些发展与更广泛的物理信息机器学习理念相契合,这类理念强调结构保持、可解释性以及数据效率[75],而相关的应用研究也展示了混合学习在复杂事件建模中的潜力[12]。近期研究已成功将PINNs扩展到非欧几里得几何结构以及具有长期依赖关系的场景,通过在损失最小化过程中运用递归与图论方法实现这一目标——不过在为大规模、多物理场系统构建统一架构方面,仍存在挑战。未来的研究可致力于开发模块化、具备结构感知能力的PINN变体,这类变体应整合图结构、循环结构、第一阶公式,以及结合符号回归的物理信息图Transformer模型。如此一来,便可以实现可扩展的时空建模、图解算器的计算效率提升、自动法则发现功能,以及针对长距离多尺度相互作用的实时物理修正功能。

多尺度预测与图像处理
近期研究显示,PINNs在预测与图像处理领域的应用影响力日益增强,应用场景包括基于图结构的PINNs实现的时空生产预测、分数阶与时变波动率建模、用于风能与光伏功率预测的混合机器学习-PINNs框架,以及利用色散关系实现受物理约束的波浪预测[31]、[74]、[96]、[174]、[202]。与此同时,PINNs也被成功应用于数字图像相关分析、相位成像等图像处理任务,其实现方式是将控制物理定律直接嵌入重建流程中[90]、[189]。这些方法使得模型能够在数据存在噪声的情况下,依然实现符合物理规律的预测结果与图像重建——不过目前的方案仍具有很强的任务特异性,且在长时段不确定性处理、多尺度动态现象分析以及跨领域泛化能力方面存在局限。未来的工作可致力于将PINNs与LSTM/Transformer模型、物理信息扩散模型、ViT-PINN混合模型、用于模拟记忆效应的分数阶/随机微积分方法,以及端到端可微分光学方法相结合。如此一来,便可以实现长期的多物理场预测、高保真度的图像超分辨率处理、图像增强、逆向成像,以及应用于金融、地质学与视觉领域的自校正显微镜分析功能。

8. 结论
本综述总结了物理信息神经网络(PINNs)领域的最新进展,涵盖了相关理论、方法、对比分析以及未来发展趋势。通过将近期关于常微分方程和偏微分方程的研究成果进行分类,该研究阐明了架构设计和优化选择如何影响模型的精度、稳定性与效率,并指出在椭圆型、抛物型、双曲型、非线性以及分数阶方程系统中,这些性能表现具有一致性。该研究的一个重要贡献在于建立了一个可重复的基准测试框架,通过规定标准的测试方法、评估指标及数据披露流程,来确保研究的透明性与可比性。然而,诸如谱偏差、系统刚性、可扩展性、约束条件落实以及结果重复性等问题依然存在。未来的研究将依赖于自适应采样、混合算子学习以及基于物理原理的嵌入方法,以提高模型的泛化能力与计算效率。以基准测试为驱动的重复性验证、不确定性量化以及开放数据共享,对于促使概率积分神经网络发展成为可用于解决复杂微分方程问题并推动跨学科创新的可靠工具而言至关重要。CRediT作者贡献说明:Subarna Khanra:写作——审稿与编辑、写作——初稿撰写、方法论、研究实施、形式分析、数据整理。Vijay Kumar Kukreja:写作——审稿与编辑、可视化、指导监督、研究实施、概念设计。Indu Bala:写作——审稿与编辑、可视化、指导监督、形式分析、概念设计。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号