《Computers & Geosciences》:Least-squares-embedded optimization for accelerated convergence of PINNs in high-frequency acoustic wavefield simulations
编辑推荐:
物理信息神经网络(PINNs)在求解偏微分方程(PDEs),包括频域亥姆霍兹(Helmholtz)方程方面已显示出潜力。然而,使用梯度下降(GD)的标准PINNs训练存在收敛缓慢和不稳定的问题,尤其是在地震尺度的高频波场模拟中。针对基于亥姆霍兹方程的散射声波场
物理信息神经网络(PINNs)在求解偏微分方程(PDEs),包括频域亥姆霍兹(Helmholtz)方程方面已显示出潜力。然而,使用梯度下降(GD)的标准PINNs训练存在收敛缓慢和不稳定的问题,尤其是在地震尺度的高频波场模拟中。针对基于亥姆霍兹方程的散射声波场模拟,研究人员通过将最小二乘(LS)求解器直接嵌入到GD损失函数中,推导出一种混合优化框架。该方法能够对线性输出层进行最优更新,并减轻神经网络的谱偏置(spectral bias),使其对高频问题特别有效。研究人员为包含与不包含完全匹配层(PML)的亥姆霍兹方程公式提供了实用的、基于张量的实现方案。在基准速度模型上的数值实验表明,与传统的PINN训练相比,所提出的方法实现了更快的收敛速度、更高的精度、更好的稳定性以及对超参数选择的更强鲁棒性。特别是,研究结果表明,即使在标准基于GD的训练失败的情况下,LS增强方法也能快速收敛。由于LS求解器在损失函数内的小矩阵上运行,其引入的计算开销极小,并且对于大规模波场模拟仍然具有可扩展性。
**基于最小二乘嵌入优化的物理信息神经网络在高频声波场模拟中的加速收敛研究解读**
**研究背景与意义**
波场模拟在地球物理勘探中扮演着核心角色,特别是在地震成像和反演等应用中。在频率域,波传播由亥姆霍兹方程描述,这是许多建模和反演技术的基础。传统的数值方法,如有限差分和有限元法,在处理复杂边界条件、高频和大尺度模型时,面临着计算成本和频散误差的挑战。尽管频率域公式相较于时间域方法降低了维度,但它们需要求解大型线性系统,这对于大型或复杂模型计算量巨大。
物理信息神经网络(PINNs)作为一种有前途的替代方案出现,它利用自动微分来强制执行偏微分方程约束,同时在频率域和时间域波动方程建模中提供连续、无网格的解。尽管PINNs在处理不规则域和自适应采样方面具有灵活性,并且能够通过自动微分计算精确导数,但由于神经网络固有的低频(谱)偏置,在模拟高频波场时常常遭受收敛缓慢和精度降低的问题。因此,标准的PINN架构难以表示高度振荡的解,除非采用专门的架构、特征映射或损失函数公式。此外,PINNs通常收敛缓慢,因为梯度下降更新在平坦的损失面上低效探索。为提升优化效率,已有研究针对具有线性输出层的前馈神经网络提出了一种混合优化方法,并将其应用于低频问题(如拉普拉斯方程)。该方法的核心理念是将最后一个隐藏层的神经元视为基函数,输出层执行这些函数的线性组合,用两步交替优化替代传统的梯度下降更新:1)使用最小二乘求解器计算输出层权重;2)对剩余网络参数进行梯度下降更新。这通过利用输出层子问题的最小二乘结构,极大地减少了收敛所需的训练迭代次数。
基于此,本研究旨在提出并实现将LS求解器嵌入PINNs优化过程以求解散射亥姆霍兹方程的方法。研究证明,对于高频亥姆霍兹问题,LS-GD优化可以同时克服谱偏置并加速收敛。研究人员将LS求解器作为损失函数评估的一部分嵌入,确保了优化步骤之间的一致性,同时消除了交替优化方法通常需要的导数重计算。本论文发表在《Computers》期刊上。
**关键技术方法**
本研究采用的关键技术方法包括:1)构建了一个具有线性输出层的前馈全连接神经网络,用于映射空间坐标到散射波场的实部和虚部,并采用正弦激活函数和正弦位置编码以增强高频表示能力。2)针对散射亥姆霍兹方程(包含与不包含完全匹配层PML两种情形)推导了混合优化框架,将最小二乘求解器直接嵌入梯度下降的损失函数中。该框架的核心是将输出层权重的优化表述为一个最小二乘问题,并利用前向模式自动微分高效计算所需导数,通过乔列斯基分解求解线性系统。3)在数值实验中,使用了简单速度模型和Marmousi速度模型(部分)作为基准测试数据集,以有限差分法解作为参考,评估所提方法的性能。
**研究结果**
研究人员通过一系列数值实验,系统评估了所提出的LS-GD优化方法相对于标准梯度下降PINN的性能。
**简单速度模型实验**:在10 Hz散射波场模拟中,LS-GD PINN在收敛速度和最终精度上均显著优于标准PINN。即使使用较少的配置点,LS-GD方法也能从早期阶段快速收敛,而标准PINN在使用500个点时完全失败。
**配置点数量影响**:实验表明,标准PINN的收敛严重依赖于大量配置点,而LS-GD方法即使配置点很少也能实现快速收敛和更高精度,显示出对数据采样更强的鲁棒性。
**倒数第二层大小影响**:通过改变倒数第二层的神经元数量,研究发现LS求解器的引入在所有配置下都能改善收敛并达到更低误差,即使神经元数量较少时亦然,表明LS优化对网络容量变化具有适应性。
**位置编码影响**:位置编码的深度对标准PINN的收敛至关重要,缺乏编码时网络无法收敛。LS-GD PINN在所有编码深度下都能从早期阶段收敛,但适当的编码选择仍能优化收敛速度和最终精度,说明位置编码与LS优化在缓解谱偏置方面具有互补作用。
**Marmousi速度模型实验**:在更具挑战性的30 Hz散射波场模拟中,标准PINN表现出不稳定性和缓慢收敛,而LS-GD方法则实现了稳定且快速的收敛。LS-GD PINN在15,000个周期内达到的精度水平,标准PINN在150,000个周期后仍未达到,凸显了LS求解器在复杂、高频场景下的巨大效率优势。
**讨论与结论**
**讨论部分**:研究指出,具有线性输出层的PINNs依赖于早期隐藏层的非线性特征学习,而最后一层的权重可以通过最小二乘高效确定。这降低了梯度下降优化问题的复杂性并加速收敛,实验已验证此点。在高频亥姆霍兹方程中引入LS求解器表现出特别显著的效益,这源于其减轻神经网络固有低频偏置的能力。LS求解器直接估计最优输出层权重,不偏向低频分量。然而,如果倒数第二层特征缺乏高频信息,LS解自然继承此限制。因此,位置编码层通过丰富输入表示中的高频成分起到补充作用。两者分别在优化和表示层面协同缓解谱偏置。在计算成本方面,LS求解器引入的开销较低,因为它处理的是小规模线性系统。尽管加入PML会增大矩阵规模从而增加计算负担,但LS-GD框架在实践中仍然高效且可扩展。此外,该方法与更先进的网络架构兼容,前提是输出层保持线性,例如未来可探索与Gabor基函数等频率感知架构的结合。
**研究结论**:对于使用物理信息神经网络求解散射亥姆霍兹方程,研究人员引入了一种混合最小二乘和梯度下降优化框架。虽然嵌入的LS求解器普遍提高了训练效率,但其影响在高频问题中尤为显著,因为传统PINNs在此类问题中受谱偏置阻碍。研究人员推导的基于矩阵的公式——结合了梯度下降损失函数的新定义——以及关键的实施策略,实现了一种高效的散射波场模拟方法,无论是否包含完全匹配层。通过在基准速度模型上的数值实验,研究证明LS-GD PINN能够在更少的训练迭代中获得更稳定和精确的解。值得注意的是,LS增强训练方法即使在配置点数量有限的情况下也能实现快速收敛。该方法有效处理了复杂波场,包括在具有挑战性的Marmousi模型中的高频案例,而标准梯度下降训练在此类案例中难以收敛。LS求解器引入的计算成本保持最小,因为它操作于一个小系统上,使得该方法对于大规模应用具有实用性。虽然添加PML会增加计算负担,但结果表明LS-GD框架仍然高效且可扩展。这些发现表明,将LS求解器嵌入PINN训练能显著提高收敛速度和鲁棒性。未来的工作可以探索基于问题复杂性自适应选择倒数第二层大小的策略,以及将该方法扩展到更复杂的波动现象和三维建模中。