《Computational Materials Science》:Evaluation of machine-learned band gaps: Two-stage modeling and the effects of data representation and split strategy
编辑推荐:
•聚合精度掩盖了零膨胀数据集中的带隙误差•非零MAE揭示了六个公开数据集中的回归误差•描述符丰富解释了大部分表观两阶段增益•分数式公式占比标记了切分敏感性,但并非决定性因素•分组切分区分了内插与保留化学组外推引言机器学习模型通常从组成或晶体结构的固定描述符预测带隙。Ward等
- •
聚合精度掩盖了零膨胀数据集中的带隙误差
- •
非零MAE揭示了六个公开数据集中的回归误差
- •
描述符丰富解释了大部分表观两阶段增益
- •
分数式公式占比标记了切分敏感性,但并非决定性因素
- •
分组切分区分了内插与保留化学组外推
引言
机器学习模型通常从组成或晶体结构的固定描述符预测带隙。Ward等人[1]的Magpie特征集通过化学式汇总元素性质,已成为常见的组成表示方法;我们通过matminer工具包[2]使用它。梯度提升树[3]、[4]和随机森林[5]、[6]是这些表格描述符的标准学习器,而仅基于组成的深度模型如Roost [7]和CrabNet [8]不需要结构输入。在本研究的钙钛矿和氧化物筛选数据集上,常规评估得出的聚合容差精度接近1(第3.1节)。这些数值需要谨慎对待,因为数据集包含大量零带隙条目。
两个评估选择改变了所报告指标所回答的问题。第一个是对精确零值的处理方式。本研究中的Wolverton氧化物有79%是金属,Castelli钙钛矿有96%是金属,因此在所有条目上训练的回归器会被拉向零。我们将所有测试材料中预测值在0.07 eV范围内的比例称为聚合容差精度。带隙为零的材料若被预测为零则计为正确,因此零带隙识别可以主导该指标,而预测正带隙的精度几乎不计入其中。对于筛选非零带隙材料,我们转而报告真实带隙为非零的测试材料的平均绝对误差(非零MAE)。两者差异巨大:单阶段模型在Castelli数据集上达到0.93的聚合精度,但在非零带隙材料上平均偏差约1 eV。
第二个选择是训练/测试切分方式。随机切分估计的是从已观测化学混合分布中抽样样本的内插性能。化学分组切分则估计对保留元素集合族的外推性能。稠密的组合数据集可能在随机切分的两侧放置近乎相同的组成,这是已知的过于乐观的外推声明的来源[9]。我们将差异量化为分组/随机MAE比率:即化学分组切分下的非零MAE除以随机切分下的非零MAE。比率大于1意味着分组外推任务更难;但这并不意味着随机估计在内插使用场景下无效。不同数据集之间比率有所差异。第2.1节将分数式公式占比定义为连续采样组成族的操作性代理。这里非零占比最大的两个数据集在此具有最大的比率,但小型探索性比较尚不具决定性。
此问题部分已有先例。为直接处理零膨胀问题,Zhuo、Mansouri Tehrani和Brgoch [10]分两步预测无机固体的带隙:分类器先将金属(零带隙)与非金属分离,然后回归器预测非金属的带隙。在评估方面,Matbench和Automatminer流程[11]标准化了性质预测基准,包括实验带隙回归任务,并提倡嵌套交叉验证;最佳实践指南同样强调了无泄漏评估和透明报告的重要性[12]、[13]、[14]。这一风险本身已有充分记录。泄漏是机器学习科学中过度乐观、不可重复结果的常见原因[9],而在材料机器学习(ML)中,随机交叉验证可能夸大外推性能。为明确衡量外推性能,Meredig等人[15]引入了留一簇交叉验证,Sutton等人[16]则刻画了模型能够和不能泛化的域。
先前的研究并未提供零膨胀、切分策略和特征对两阶段流水线贡献的匹配跨数据集比较。因此,我们量化了当评估限制在非零带隙时聚合指标如何变化、化学分组误差与随机切分误差的差异有多大,以及当基线模型和两阶段模型使用相同特征时,端到端增益中有多少得以保留。
我们考察了包含1306至106,113种材料、具有计算、代理或实验带隙的六个公开数据集,并提供分析代码。本文的贡献在于评估:先分类后回归的方法[10]和Magpie描述符[1]已是成熟技术,我们未引入新的回归器。非零MAE和均方根误差(RMSE)揭示了被聚合容差精度所掩盖的误差。固定特征比较通过嵌套10折交叉验证在三个数据集上以及在大型Materials Project(MP)集上采用固定5折方案,将描述符丰富与剩余的流水线变化区分开来。随机切分和分组切分分别衡量内插和保留化学组外推。四个数据集间的仅组成迁移比数据集内任务都更难,尤其是在不同理论水平之间(第3.4.1节)。在相同的表格输入下,经过校正的重采样检验,没有任何测试的替代方法对XGBoost产生统计上支持的改进;CrabNet单独报告,因为其输入和重采样不同。使用晶体结构的图模型在匹配的随机切分下改进了MP结果。我们既不声称达到最先进水平精度,也不声称某学习器的普遍优越性,且Tol目标是拟合的代理目标,而非直接计算或测量结果。
章节摘要
数据集
材料机器学习中使用的公开带隙数据主要来自少数开放仓库:Materials Project(MP)[17]、Open Quantum Materials Database [18]和JARVIS [19]。在我们使用的数据集中,Castelli钙钛矿数据集提供了GLLB-SC带隙,来自针对单光子双光子水分解的计算筛选[20],采用Kuisma等人[21]的GLLB-SC势计算。Wolverton氧化物数据集提供了高通量ABO?形成能和稳定性[22]。容忍因子
聚合精度掩盖了对非零带隙材料的糟糕回归
单阶段基线在聚合精度上表现良好,但在非零子集上表现糟糕(表3)。Castelli是最典型的案例:其96%的条目是金属,因此模型可以达到0.93的聚合精度,同时在非零带隙材料上仍有约1 eV的偏差。
换言之,聚合指标主要反映模型识别金属的频率;对于筛选真正重要的带隙几乎没有贡献。
端到端两阶段结果
在丰富特征下,两阶段模型将Wolverton数据集上的非零MAE降低了23%
结论
带隙模型评估应区分非零材料上的误差与聚合容差指标,并说明切分衡量的是采样化学内的内插还是对保留家族的外推。更丰富的描述符加上先分类后回归的流水线相比原始端到端基线将非零MAE降低了23–42%。在特征固定条件下,评估的流水线组合在三次嵌套比较中将MAE降低了4.8–14.7%;名义配对检验支持
生成式AI及AI辅助技术在稿件准备过程中的声明
在本文准备过程中,作者使用了OpenAI Codex和Anthropic Claude来提高可读性并格式化稿件。作者对输出结果进行了审核和编辑,并对发表内容承担全部责任。
CRediT作者贡献声明
Evan Solecki:撰写——原稿,可视化,验证,方法学,研究,正式分析。Peifen Zhu:撰写——审阅与编辑,撰写——原稿,可视化,验证,监督,资源,研究,资金获取,数据整理,概念化。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所述工作的报告。
Evan Solecki|Peifen Zhu