强化学习增强的弹性力学逆问题最优实验设计
《International Journal of Solids and Structures》:Reinforcement learning enhanced optimal experiment design for inverse problem in elasticity
【字体:
大
中
小
】
时间:2026年10月21日
来源:International Journal of Solids and Structures 4.6
编辑推荐:
- 采用贝叶斯框架同时估计材料参数和边界条件。
- 分层框架将贝叶斯反演求解与强化学习相结合,用于实验设计。
- 设计准则不仅考虑协方差类指标,还考虑精度与不确定性。
- 数值实验表明,在预算受限条件下,所提方法边界识别精度更高、不确定性更低。
引言
弹性问题中的反演识别
- 采用贝叶斯框架同时估计材料参数和边界条件。
- 分层框架将贝叶斯反演求解与强化学习相结合,用于实验设计。
- 设计准则不仅考虑协方差类指标,还考虑精度与不确定性。
- 数值实验表明,在预算受限条件下,所提方法边界识别精度更高、不确定性更低。
引言
弹性问题中的反演识别是实验与计算力学中的关键问题,应用范围涵盖结构评估、生物力学建模以及手术仿真等。虽然边界元法(BEM)(Marin et al., 2001, Marin et al., 2002, Marin and Lesnic, 2002, Marin and Lesnic, 2005, Comino et al., 2007, Marin, 2009, Marin and Johansson, 2010)与基本解法(MFS)(Karageorghis et al., 2011, Marin et al., 2016, Marin and Cipu, 2017)等数值方法也已被用于弹性反演问题,但由于能够灵活处理复杂几何、非均匀域以及一般性边界条件,有限元法仍然是主流框架(Haouchine et al., 2015, Plantefève et al., 2016, Reichard et al., 2017)。然而,当观测仅局限于部分边界,而材料性质与边界条件又同时未知时,可靠的参数识别仍然充满挑战。在这种情形下,反演问题本质上是不适定的,对测量噪声与建模不确定性高度敏感,其不确定性自然适合在贝叶斯反演问题框架内加以刻画(Kaipio and Somersalo, 2005, Tarantola, 2005, Stuart, 2010)。
大量研究工作致力于发展弹性问题的反演求解方法。已有方法包括用于识别材料参数的迭代法和直接法(Mei et al., 2016, Mei et al., 2017, Luo et al., 2018, Dizaji and Harris, 2020, Olson and Throne, 2013, Olson et al., 2021, Olson et al., 2019),用于识别边界条件的方法(Peterlik et al., 2014, Nikolaev and Cotin, 2020, Andrieux et al., 2006, Andrieux and Baranger, 2008, Andrieux and Baranger, 2015, Andrieux and Baranger, 2016, Andrieux and Baranger, 2020),以及联合估计两者的方法(Hajhashemkhani et al., 2018b, Hajhashemkhani et al., 2018a, Xu and Lei, 2020, Xu and Lei, 2021, Xu and Lei, 2023a, Xu and Lei, 2023b)。在我们先前的工作中(Xu and Lei, 2023a, Xu and Lei, 2023b, Xu et al., 2025),我们基于 Maxwell–Betti 原理与离散矩阵分解发展了直接方法,用于识别三维弹性材料的材料性质与边界条件。这些方法提高了计算效率与数值稳定性,尤其适用于线性弹性假设下的均匀材料。然而,当材料刚度与位移边界条件同时未知时,二者对位移测量场可能产生相似的影响。因此,材料参数的变化可通过未知边界位移的变化部分补偿,从而在有限观测条件下降低两组未知量的联合可识别性。
因此,即便采用先进的反演求解器,识别结果仍可能表现出较大的不确定性或系统偏差,尤其在观测有限或含噪声的情况下。这一问题在微创手术等应用中尤为明显,因为仅能获得部分边界信息,且边界相互作用可能在操作过程中发生变化(Machado et al., 2009)。更广泛地说,已有研究表明,弹性参数的准确识别高度依赖于对边界条件的恰当处理(Pan et al., 2014, Marin and Lesnic, 2004, Khodadad and Ardakani, 2009, Chen et al., 2023)。
上述挑战表明,反演识别的性能不仅取决于反演求解器本身,还关键地依赖于实验数据的质量与含信息量。反演问题的可识别性在数学文献中已被严格研究(Bonnet and Constantinescu, 2005, Klein et al., 2021, Huy et al., 2011)。特别是当观测有限且材料性质与边界条件均未知时,载荷配置与实验设置的选择对决定弹性反演问题的参数可识别性起着关键作用。这促使我们将最优实验设计引入弹性反演问题中。
最优实验设计(OED)通过选择在有限资源下能够增强参数可识别性的实验条件,为提升反演识别提供了一条原则性路径。在由偏微分方程约束的贝叶斯反演问题中,经典 OED 公式通常以信息论准则的形式表达,例如 A-最优性和 D-最优性,它们旨在通过基于协方差的度量来降低后验不确定性(Uciński, 2004, Alexanderian, 2021, Chaloner and Verdinelli, 1995, Atkinson, 2007)。对于大规模 PDE 约束的反演问题,低阶近似、伴随方法敏感性以及随机数值方法使得这些准则的高效评估成为可能(Alexanderian et al., 2014, Alexanderian et al., 2018, Bui-Thanh et al., 2013, Bui-Thanh et al., 2012, Wu et al., 2023a, Wu et al., 2023b, Attia et al., 2018, Koval et al., 2020)。序贯最优实验设计通过在已收集数据的基础上自适应调整实验决策,对经典 OED 进行了扩展。在贝叶斯框架下,实验选择可以被表述为一个有限时域控制问题,其中每次实验都会更新后验并影响后续决策(Chaloner and Verdinelli, 1995, Huan and Marzouk, 2016)。虽然此类方法能够捕捉长期信息增益并提高识别性能,但由于反复更新后验和嵌套优化,其计算代价相当可观。为缓解这一计算负担,近期研究探讨了基于学习的实验设计方法,包括强化学习(RL)与摊销贝叶斯设计方法(Huan and Marzouk, 2016, Shen and Huan, 2023, Kleinegesse and Gutmann, 2021, Kleinegesse and Gutmann, 2020, Foster et al., 2021)。这些方法将实验设计建模为策略学习问题:离线学习从当前实验状态到有信息量设计动作的映射,并在在线阶段高效部署以进行决策。特别是,强化学习提供了一个灵活框架,可处理序贯且高维的设计空间,能够直接优化长期设计目标而无需显式求解嵌套优化问题。尽管基于 RL 与序贯贝叶斯设计的方法在其他反演问题中已显示良好前景,但它们在弹性问题中的应用——尤其是涉及共享材料参数、实验特定未知边界位移以及部分边界观测的情形——仍研究不足。
值得注意的是,上述方法主要通过基于协方差的度量来降低后验不确定性,因此与最小化估计误差并不直接一致。在含未知边界条件的弹性反演问题中,这一局限性变得尤为重要,因为不同的材料参数与边界激励组合可能产生相似的位移响应。因此,在联合可识别性有限时,减少后验不确定性的实验设计并不一定能够带来准确的参数识别。
为解决这些挑战,本文提出了一个面向弹性反演问题的两层分层计算框架,支持对弹性参数与边界条件的联合识别进行序贯实验设计。本文的主要贡献有两方面。第一,针对多次序贯弹性实验发展了一个贝叶斯公式,其中全局材料参数在实验之间共享,而边界位移变量则对每次实验特有。该公式能够基于部分位移观测一致地量化与材料参数及未知边界条件相关联的不确定性。第二,提出了一个基于 RL 的最优实验设计框架,将序贯载荷配置的选择建模为马尔可夫决策过程。在该序贯设计过程中,RL 策略负责选择载荷配置,而贝叶斯反演求解器通过参数估计与后验不确定性来评估相应实验,其结果再被用于构造策略学习所需的奖励信号。该公式使得载荷序列可以直接根据其对抗反演识别的影响在有限实验预算下进行优化。
数值结果表明,与随机采样的实验设计相比,所提框架持续改善了边界条件识别精度并降低了后验不确定性,同时保持了杨氏模量估计的高精度。
本文其余部分组织如下:第 2 节给出弹性反演问题的数学公式,包括正问题模型、观测模型以及多实验设置;第 3 节介绍所提的分层 RL 最优实验设计框架,详述贝叶斯反演求解器及基于 RL 的序贯设计公式;第 4 节在长方体与肝形两种几何域上报告数值实验,评估所提框架在识别精度与不确定性方面的性能;最后,第 5 节总结全文并展望未来的研究方向。
2 问题公式
考虑一个均匀线弹性体 Ω,其边界分解为 ?Ω=Γm∪Γk∪Γu,如图 1(a) 所示,其中 Γm 表示可观测边界,Γk 为具有已知位移约束的边界,Γu 为具有未知位移条件的边界。外力 T 施加于载荷可达边界 Γa?Γm 上。可观测边界 Γm 上的位移记为 ?m。已知边界 Γk 上的位移记为 ?k。未知边界 Γu 上的位移为
3 面向弹性反演问题的基于 RL 的最优实验设计框架
为解决上述问题,本文提出了一个面向弹性反演问题中基于 RL 的最优实验设计的两层分层计算框架,如图 2 所示。贝叶斯反演分析从位移观测中估计材料参数与实验特定的边界变量,并给出其后验不确定性。基于设计历史与反演估计结果,基于 RL 的最优实验设计通过利用一个强化学习策略来选定序贯载荷配置。
4 数值实验
为评估所提出的基于 RL 的最优实验设计框架在反演弹性识别中的性能,我们在两种几何域上开展了数值实验:长方体域和肝形域。两种域的正问题统计信息总结于表 1。长方体域作为一个受控基准,具有相对简单的设置;而肝形域则用于评估所提方法在更复杂几何场景下的能力。对于每种情形,基于 RL 的最优实验设计策略
5 结论
本文提出了一个将基于 RL 的最优实验设计与贝叶斯反演分析相结合的两层分层计算框架,用于具有部分位移观测的弹性反演问题,目标是同时识别杨氏模量与未知边界条件。通过将序贯载荷设计表述为一个有限时域马尔可夫决策过程问题,所提方法将基于物理的反演求解器与一个学习得到的策略相结合
作者贡献声明(CRediT)
Tian Xu:稿件审阅与编辑、原稿撰写、可视化、验证、监督、软件、项目管理、方法论、调查研究、形式化分析、数据整理、概念化。Tianju Xue:稿件审阅与编辑、原稿撰写、监督、资源、调查研究、概念化。
利益冲突声明
作者声明不存在已知可能影响本文报告工作的竞争性经济利益或个人关系。
致谢
本工作得到中国国家自然科学基金(YSF 12402143, JRS N_HKUST687/25)、香港研究资助局(ECS 26205024, CRF C7085-24GF, C6002-24Y)、创新科技基金(ITS/032/23)、香港科技大学知识转移办公室(BGF.2026.019)以及北京 DP Technology Co., Ltd 的支持。
Tian Xu | Tianju Xue