《Communications in Nonlinear Science and Numerical Simulation》:Phase Space Integrity in Neural Network Models of Hamiltonian Dynamics: A Lagrangian Descriptor Approach
编辑推荐:
提出拉格朗日描述符(LDs)作为评估哈密顿系统神经网络模型的诊断框架,通过LD加权概率密度函数分析全局几何结构,对比物理约束架构(SympNet、HénonNet、GHNN)与数据驱动架构(Reservoir Computing)在Duffing振子和三模非线性薛定谔方程上的表现,发现物理约束模型能量守恒但破坏相位空间拓扑,而Reservoir Computing虽缺乏显式约束却准确复现同宿轨道结构,验证LDs在评估模型全局动力完整性中的有效性。
阿布拉里·努尔·哈斯米(Abrari Noor Hasmi)|哈拉拉姆波斯·哈齐基鲁(Haralampos Hatzikirou)|哈迪·苏桑托(Hadi Susanto)
阿布扎比哈利法科学技术大学数学系,邮政信箱127788,阿拉伯联合酋长国
摘要
我们提出使用拉格朗日描述符(Lagrangian Descriptors,简称LDs)作为评估哈密顿系统神经网络模型的诊断框架,以超越传统的基于轨迹的指标。标准误差度量可以量化短期预测准确性,但无法提供关于全局几何结构(如轨道和分界线)的深入见解。现有的耗散系统评估工具由于系统之间的根本差异,不适用于哈密顿动力学。通过构建由LD值加权的概率密度函数,我们将几何信息嵌入到适合信息论比较的统计框架中。我们在两个典型系统中对比了物理约束架构(SympNet、HénonNet、广义哈密顿神经网络)和数据驱动的Reservoir Computing方法。对于Duffing振子,所有模型都能在较少的数据需求下恢复同宿轨道的几何结构,尽管它们在接近临界结构时的准确性有所不同。然而,对于三模非线性薛定谔方程,出现了明显的差异:辛架构保留了能量,但扭曲了相空间拓扑;而Reservoir Computing尽管缺乏明确的物理约束,却能够高保真地再现同宿结构。这些结果展示了基于LD的诊断方法在评估预测性能以及学习到的哈密顿系统的全局动态完整性方面的价值。
引言
近年来,人工智能(AI)与自然科学的交叉领域发展迅速,特别是在物理动力学建模方面。现代基于AI的方法,如物理信息神经网络(Physics-Informed Neural Networks,简称PINNs)[1]、稀疏非线性动力学识别(Sparse Identification of Nonlinear Dynamics,简称SINDy)[2]、神经常微分方程(Neural Ordinary Differential Equations,简称Neural ODEs)[3]和傅里叶神经算子(Fourier Neural Operators,简称FNOs)[4],在捕捉复杂系统方面取得了显著成功。然而,这些模型仅涵盖了动态系统庞大领域的一小部分。
虽然AI驱动的模型在耗散系统中非常有效,但将其扩展到哈密顿系统则引入了独特的挑战[5]。耗散系统通常表现出收敛到低维吸引子的轨迹,这简化了学习任务。相比之下,哈密顿系统保守能量,不存在吸引子,允许轨迹在高维相空间中演化。这些轨迹可以是规则的(在可积系统中限制在不变环面上),也可以是混沌的(对初始条件敏感,并且相空间探索复杂,可能在不变子集内是遍历的,也可能不是)。[6] 有序和混沌动力学的共存,加上缺乏耗散收敛性,为机器学习模型创造了特别具有挑战性的环境。
为了解决这些挑战,最近的研究引入了明确保留哈密顿结构的神经架构。值得注意的例子包括哈密顿神经网络(Hamiltonian Neural Networks,简称HNNs)[5],它直接学习哈密顿函数;以及辛递归神经网络(Symplectic Recurrent Neural Networks,简称SRNNs)[7],它在递归单元中嵌入了辛积分。最近,Horn等人[8]提出了广义哈密顿神经网络(Generalized Hamiltonian Neural Network,简称GHNN)框架,该框架通过结合哈密顿分量的神经表示和辛积分方案,统一并扩展了早期的努力。这种架构综合了几种先前的辛模型,包括SympNets[9]和HénonNets[10],提供了一个全面的保结构框架。有趣的是,即使是没有专门为哈密顿动力学设计的方法,如Reservoir Computing(RC)[11],也取得了显著的预测准确性,尽管它们往往难以在长时间范围内保持几何不变性。
尽管取得了这些进展,大多数评估研究主要依赖于轨迹准确性,强调短期预测。然而,这些指标无法评估模型是否捕捉到了全局相空间几何结构,包括不变流形和同宿缠结,这些结构决定了长期行为。传统工具如李雅普诺夫指数(Lyapunov Exponents,简称LEs)在耗散系统中被广泛使用[12]、[13]、[14]、[16],但由于它们对初始条件的敏感性和缺乏吸引结构,在哈密顿系统中不太实用[17]。同样,庞加莱截面(Poincaré sections)在可视化低维系统方面非常有效(例如,在RC中的应用[11]),但在高维空间中的适用性较差,并且严重依赖于所选择的截面。
越来越多的研究试图超越短期预测,转而关注学习模型的全局结构和统计特性,特别是对于耗散系统。例如,有研究比较了模型与真实系统之间的李雅普诺夫谱[12]、[13]、[15]、重构的吸引子[18]和物理可观测量的概率分布[19]、[20]。然而,这些方法在哈密顿动力学中的应用仍然较少。
拉格朗日描述符(Lagrangian Descriptors,简称LDs)提供了一个有前景的替代方案[21]、[22]。通过在有限时间内积分轨迹依赖的量,LDs以较低的计算成本揭示了不变流形、同宿缠结和其他全局几何结构。与表征渐近发散的LEs不同,LDs强调有限时间动态,并提供了相空间的全局“气候”,使其特别适合评估数据驱动的哈密顿模型。本研究通过首次全面应用LDs来评估哈密顿动力学的神经模型,扩展了我们的初步发现[23]。
本工作的贡献有两个方面。首先,我们建立了一个框架,用基于LD的分析补充了传统的误差指标,从而系统地评估模型再现全局相空间结构的程度。其次,我们在不同复杂性的哈密顿系统上对比了几种架构——物理约束网络(SympNet、HénonNet、GHNN)和RC。据我们所知,这是第一项使用基于几何的LD框架系统评估哈密顿动力学神经网络(NN)模型的系统研究。
我们的重点是具有同宿结构的哈密顿系统,这些结构是混沌起源和相空间全局拓扑的核心。同宿轨道连接了鞍点的稳定和不稳定流形,在组织动力学中起着关键作用。我们考虑了两个典型的例子:Duffing振子和非线性薛定谔方程(NLSE)的简化模型,这两个系统都表现出丰富的动态特性,包括同宿分岔和混沌。这些为测试数据驱动的模型提供了严格的基准。
我们的方法将从真实解派生的LD场与神经模型生成的LD场进行比较。然后,我们构建由LD值加权的概率密度函数(PDFs),将几何结构转化为统计框架。使用信息论度量(如Kullback–Leibler(KL)散度)来量化模型性能。这种方法不仅评估了全局结构的准确性,还优先考虑了动态上重要的区域,提供了诊断和计算上的优势。
部分摘录
定义
LDs最初在[21]中被提出,用于揭示动态系统中的不变流形。从那时起,该方法在各种背景下得到了广泛的发展和应用,包括在高维系统中可视化双曲不变流形[24]、识别混沌区域[25],以及作为混沌的有效指标[26]。由于其概念上的简单性和直接的数值处理方式,LDs已成为一个强大的诊断工具。
数据驱动模型
在本节中,我们讨论了本研究中使用的神经网络(NN)架构,特别强调了它们保持哈密顿系统几何结构的能力(有关更多背景信息,请参阅关于哈密顿系统数值方法的标准参考文献[35]、[36])。这一属性通过辛几何形式化,其中规范辛矩阵