《Geomechanics for Energy and the Environment》:What does “good performance” mean in geotechnical machine learning?
编辑推荐:
在岩土工程中,机器学习的成功常被报告为“高精度”,然而在常规指标下得分良好的模型可能在部署中失败。本文阐明了在岩土机器学习中“良好性能”应意味着什么,以及为什么看似构建良好的模型在跨场地、传感系统和施工环境转移时会失去可靠性。性能被解释为一种工程主张,其中预测
在岩土工程中,机器学习的成功常被报告为“高精度”,然而在常规指标下得分良好的模型可能在部署中失败。本文阐明了在岩土机器学习中“良好性能”应意味着什么,以及为什么看似构建良好的模型在跨场地、传感系统和施工环境转移时会失去可靠性。性能被解释为一种工程主张,其中预测应在空间结构化数据、解释依赖的标签、代理驱动的预测变量以及与安全性和适用性相关的决策阈值下保持有效。研究人员综合了关键失败模式,包括非代表性训练数据、空间依赖下的验证泄漏、域偏移以及未校准的不确定性,并展示了这些模式如何与常见的岩土数据体制(如小样本量、空间自相关和异质数据来源)相互作用。一个预测黏土中归一化 mobilized 不排水抗剪强度(normalized mobilized undrained shear strength)的对数 ln(sumob/σv′) 的案例研究表明,表观模型性能和工程解释强烈依赖于验证设计。误差会传播到非保守的强度分类中,而在样本级验证下看起来可接受的预测区间在部署一致性评估下可能变得信息量更少,直接影响工程解释。最后,研究人员提出了一个最小证据评估和报告框架,将模型评估与部署一致性验证、物理可接受性、不确定性校准和决策相关性对齐。岩土工程中机器学习的可靠使用较少依赖于算法新颖性,而更多地依赖于严格的验证策略、透明的不确定性报告以及针对安全关键决策的适用域明确界定。
论文解读文章
研究背景:在岩土工程中,机器学习(ML)被广泛应用于场地表征、灾害评估、设计、施工和监测等领域。许多研究报告其模型在可用数据集上达到或超过传统经验相关方法和常用分析方法,通常使用标准验证协议获得较高的预测准确率。然而,高预测性能并不必然保证实际部署条件下的可靠行为。模型在常规验证方案下表现良好,但应用于新场地、地质背景、勘察策略、传感系统或加载条件时可能性能下降。空间验证和跨场地基准研究的经验证据表明,一旦在评估中显式考虑岩土数据内部的依赖性,这种性能降低可能很显著。这表明表观模型精度通常依赖于用于评估的数据集结构,而非可转移的工程能力。这些挑战与岩土数据的特点紧密相关:地下条件被稀疏且间接地观测,测量反映勘察设计、测试程序和解释框架,因此数据集通常具有异质性、空间结构化,并同时受认知不确定性和解释依赖变异性影响。在ML工作流中,这些特征可能与高维表示和数据驱动推理相互作用,从而模糊其影响,使依赖上下文的关联看起来像通用的预测关系。因此,岩土工程中模型性能的解释在本质上不同于许多数据丰富的领域;工程决策对后果敏感且依赖不确定性,必须与物理可接受性、安全概念和基于可靠性的验证框架保持一致。本研究旨在澄清什么是岩土机器学习中的“良好性能”,并解释为什么技术正确的模型仍可能失败。
研究内容与结论:研究人员综合了岩土机器学习中可能夸大表观性能的结构性机制,提出了一套与工程相关的性能判据,并通过案例研究验证了验证设计对性能解释的影响。主要结论为:性能必须被理解为一种条件性工程主张,其有效性与地质条件、数据体制、空间支持和决策背景紧密相关;标准样本级验证可能因空间依赖性、验证泄漏、域偏移和未校准不确定性而夸大表观性能;可靠的ML使用更多依赖于严格的验证策略、透明的不确定性报告以及适用域明确界定,而非算法新颖性。论文发表在《Geomechanics for Energy and the Environment》,强调最小证据评估和报告框架的重要性。
关键技术方法:研究采用了贝叶斯岭回归(Bayesian ridge regression)、XGBoost和前馈神经网络三类模型,使用CLAY/10/7490E数据库(包含3153个观测值,来自24个国家352个场地)预测黏土归一化 mobilized 不排水抗剪强度对数 ln(s
umob/σ
v′)。通过五种验证设计(随机分割、站点级分组K折、留一站点、国家保留、协议保留)评估性能,并利用分割共形区间评估预测不确定性,同时计算假安全率等决策相关指标。
研究结果:
1. 精度指标(2.1):指出常用精度指标如均方根误差(RMSE)、决定系数(R2)等假设均匀误差结构和对称损失,但岩土应用中误差的工程含义通常是非对称的。强全局精度可能源于特定场地或数据采集过程的关联,而非可转移的岩土关系,且可能掩盖临界失稳状态附近的差性能。
2. 验证实践(2.2):验证设计对性能解释至关重要。随机分割或常规交叉验证因忽略空间自相关而引入信息泄漏,产生乐观估计。跨场地泛化要求站点级保留验证,跨体制转移要求体制保留验证。验证设计应根据泛化声称类型选择,如表1所示。
3. 技术正确模型失败的原因(3):失败源于岩土数据特性与标准化ML假设之间的结构性不匹配。包括数据代表性不足(3.1,训练数据偏向工程关注区域)、代理变量(3.2,预测变量关联情境依赖)、标签不确定性(3.3,标签间接推断且假设为精确值)、验证泄漏(3.4,随机分割导致空间相关样本分流)、域偏移(3.5,地质、气候、测试标准等变化导致输入输出分布改变)。
4. 工程相关性能判据(4):提出五条判据:物理一致性(4.1,预测必须尊重土力学基本约束)、跨场地泛化(4.2,泛化能力需通过站点级保留验证评估)、不确定性校准(4.3,预测区间应在部署一致性验证下保持覆盖且响应数据稀疏性)、基于可靠性的验证与设计(4.4,偏差和离散性映射到安全裕度,过置信比适度偏差更关键)、决策一致性(4.5,性能最终应通过工程决策影响判断)。
5. 案例研究(5):使用CLAY/10/7490E数据库,以ln(s
umob/σ
v′)为目标,主预测器为液限、塑性指数和含水量。三类模型在不同验证设计下性能差异显著:随机分割下R
2log为正值(非线性模型约0.13),而留一站点下R
2log降至强负值(约-12),但RMSE
log变化不大,说明模型无法重现站点特异性归一化强度水平。假安全率在所有方案中均较高(0.307-0.457),表明预测误差传播为非保守强度分类。预测区间在样本级验证下覆盖接近名义水平,但部署一致性验证下区间宽度变化,信息量降低。站点级验证还显示折级性能高度可变,跨站点转移风险不均匀。
讨论部分(6):研究提出了最小证据评估和报告框架,明确验证设计必须与部署单位对齐,预处理仅在训练数据内执行,不确定性需联合评估校准和锐度,并至少包含一项决策相关传播评估。物理可接受性与统计精度冲突时优先考虑工程后果。适用域必须明确限制于受支持体制。该框架并非规范标准或设计规范,而是为作者、审稿人和实践者提供结构化评估基础。
结论部分翻译:在岩土应用中,预测精度单独不能建立部署可靠性。因此,性能必须根据地质、数据体制、空间支持和决策背景进行条件性陈述。在标准样本级验证下表现良好甚至适度正的模型不应被视为工程使用的可靠证据,除非其性能也在部署一致性验证下得到证明。性能退化主要由岩土数据和流程的结构性特征驱动,而非学习算法缺陷,包括有限的数据代表性、依赖情境的代理变量、解释依赖的标签、空间依赖性引起的验证泄漏以及场地、勘察策略和传感系统之间的域偏移。CLAY/10/7490E案例研究显示,当评估基于站点、国家和协议级保留而非样本级验证时,表观性能声称发生根本变化。性能评估应围绕工程相关判据重新定义,包括与已知力学行为的物理一致性、与预期部署单位一致的泛化、部署一致性验证下的不确定性评估和校准,以及通过预测误差和不确定性传播至设计或评估结果实现与下游工程决策的对齐。本文引入了将讨论判据转化为具体评估问题和最小证据要求的清单,旨在帮助区分数据集特定拟合与部署相关可靠性,并为安全关键和环保受限的岩土应用提供一个更清晰、更可辩护的ML部署基础。可靠地将ML融入岩土工程,较少依赖于算法精度的增量改进,而更多依赖于严谨的问题表述、验证设计、不确定性处理以及适用域显式界定。这对于近海风能基础、地热系统、地质存储和环境敏感地下基础设施尤为重要。