《Next Materials》:Machine learning benchmark for compositional materials screening: Feature redundancy, cross-property generalization, and standalone executable deployment
四种特征化器(featurizer,将化学成分转换为数值描述符的算法;37–264个描述符)在三种实验性质上进行了基准测试。37–264个条目的描述符集达到等效精度(ΔR2 ≤ 0.054)。跨特征化器预测相关系数为 r = 0.93–0.99,揭示冗余。所有特征化器对金属共享相同残余偏置(+0.24至+0.28 eV)。独立可执行文件提供该特征化器且无需安装。
机器学习(ML,machine learning)已可支撑材料性质的高通量筛选,其成本仅为密度泛函理论(DFT,density functional theory)计算的一小部分。基于成分的特征化(composition-based featurization,以元素性质统计量表征化学式)计算廉价,并对多种无机化合物性质具有预测能力。现有问题主要有三:其一,描述符集越大是否预测越好,文献尚未在受控协议下直接回答,Matbench排行榜比较的是完整模型而非特征化器实现,领域内常假定描述符越多信息越多;其二,标准工具安装困难,Matminer约需15个外部依赖和约300 MB辅助数据,CBFV需与Pymatgen严格版本匹配,形成“依赖地狱”,对不编程的材料研究者构成硬性障碍;其三,将带隙(E
g,band gap)作为纯回归目标时,金属在E
g = 0 eV处形成离散质量,需显式量化偏置。为此,研究人员开展受控多性质基准,比较四种成分特征化器,分析特征冗余、跨性质泛化与按电子类别的残差,并交付无需安装的独立可执行程序。其意义在于表明元素统计范式的预测能力集中于少量共享物理量,描述符数量并非有效比较轴,同时以可执行部署降低使用门槛。方法上,研究人员采用AutoAIM Custom(106)、Pymatgen Basic(37)、Matminer-Magpie(132)和CBFV-Oliynyk(264)四种特征化器;数据为实验E
g(约6500条,来自Zhuo et al.与Matbench)、T
c(约21300条,来自3DSC)和FormE(约1200条,来自Matbench)。按80/20固定划分并分层,开展七种回归器开箱评估、Optuna贝叶斯调参、PyTorch神经网络评估、外部留出验证、四随机种子稳健性、描述符内容与预测一致性冗余分析、按电子类别残差分析、Bootstrap置信区间及成分重复泄漏审计;并以PyInstaller打包独立可执行程序。
结果部分:3.1 开箱算法比较:树集成(XGBoost、LightGBM、随机森林(RF,Random Forest))在所有特征化器和数据集上优于Ridge与支持向量回归(SVR,Support Vector Regression);T
c的R
2(0.85–0.93)高于E
g(0.34–0.82)和FormE(0.52–0.88);四种特征化器性能排序跨算法稳定。3.2 超参数优化效果:贝叶斯优化带来 modest 但一致的验证R
2增益,平均ΔR
2 = +0.013;CatBoost在FormE增益最大(+0.032至+0.034),XGBoost小幅正增益,RF增益可忽略或为负。3.3 神经网络性能:树集成在所有特征化器和数据集上优于神经网络;优化网络验证分数波动更大,尤其E
g;开箱[128, 64]架构在若干情形仍具竞争力,可作为成分特征合理默认。3.4 总体优胜模型与外部验证:E
g四种特征化器RMSE为0.60–0.69 eV、R
2为0.80–0.85,AutoAIM Custom与最佳CBFV-Oliynyk的ΔR
2 = 0.048;T
c的R
2为0.917–0.927、RMSE为9.2–9.9 K,ΔR
2 = 0.010;FormE中Matminer-Magpie最佳(RMSE = 0.098 eV/atom,R
2 = 0.882),AutoAIM Custom的ΔR
2 = 0.054;剔除555个金属后非金属R
2为0.754、0.805、0.814、0.789,排序不变。3.5 特征冗余分析:四种特征化器描述符数量相差7倍,外部验证R
2最多相差0.067;描述符内容均取自同一元素性质池,较大集合加入的是相关变体;留出预测Pearson r在E
g为0.947–0.984、T
c为0.985–0.994、FormE为0.932–0.968,Spearman与Pearson相差不超过0.036;残差相关系统性低于预测相关(E
g 0.784–0.920对0.947–0.984;T
c 0.836–0.928对0.985–0.994;FormE 0.708–0.837对0.932–0.968),表明共享的是物理信号而非共同失败模式。3.6 按电子类别残差分析:金属(E
g = 0 eV)所有特征化器均呈正偏置(平均残差+0.240至+0.280 eV);半金属+0.157至+0.183 eV;窄半导体+0.037至+0.046 eV;宽半导体?0.157至?0.175 eV;绝缘体?0.605至?0.776 eV,且147个绝缘体中36个E
g > 5 eV、11个> 7 eV,负偏置集中于高带隙尾部。对照实验故意引入is_metal目标泄漏后,金属平均残差由+0.263 eV降至+0.012 eV,金属MAE由0.279降至0.024 eV,说明偏置源于成分描述符缺少显式金属性信息。3.7 性能差异的Bootstrap置信区间:ΔR
2在E
g为0.048(95% CI [0.023, 0.077])、T
c为0.010([0.006, 0.015])、FormE为0.054([0.030, 0.080]),均不含零;区间宽度随留出样本量变化;以种子标准差σ
seed为实用显著性阈值,差异统计可检测但对筛选应用实际可忽略。3.8 多种子稳健性:四种特征化器跨种子稳定;T
c方差最低(R
2标准差< 0.006);FormE树模型标准差≤0.007;E
g方差最高(Oliynyk达0.055)。3.9 成分重复泄漏分析:精确成分重复跨越训练/测试边界,E
g为316/1298(24.3%;187个唯一成分)、T
c为1485/4253(34.9%;1016个唯一成分)、FormE为15/240(6.2%),几乎均对应不同测量值;在成分不相交子集上,E
g绝对精度下降至R
2 = 0.691–0.760,T
c与FormE变化至多0.007 R
2单位;特征化器排序不变,干净子集ΔR
2为E
g 0.069([0.029, 0.115])、T
c 0.015([0.008, 0.022])、FormE 0.057([0.030, 0.086]);预测相关仍高(E
g 0.906–0.972;T
c 0.979–0.991;FormE 0.930–0.966),金属偏置基本不变(+0.241至+0.281 eV),555个金属留出条目仅2个重复,故重复抬高E
g绝对指标但不驱动本文结论,未来应采用成分不相交划分。
讨论部分总结:4.1 为何106个描述符可匹配264个:核心在于各实现共享元素性质池,模型预测近乎一致,较大集合加入的是统计或定义变体,树集成很快耗尽独立信号;该等价性跨三个数据集、七种回归器和两种神经网络配置稳定,残差相关低于预测相关,故非性能天花板;本文只评估预测等价与共享预测内容,不识别因果或机制。4.2 描述符设计启示:紧凑且精选的描述符集足以用于成分筛选,同范式内扩大集合收益有限(至多ΔR
2 ≈ 0.05);若需更高精度,应引入氧化态感知、结构衍生或图表示等新物理内容。4.3 可移植性与可及性:AutoAIM Studio以单一可执行文件分发,经PyInstaller嵌入Python运行时、ML库和元素数据库;用户无需代码、无需环境管理;跨操作系统可复现至三位有效数字但非逐位一致;依赖隔离 inherent;基准流程使用标准库以保证可比性,终端应用不暴露这些库;可及性论点在于下载后无需任何安装步骤;Matminer约15个依赖和约300 MB数据、CBFV严格版本匹配,研究人员在Colab中亦未能完成CBFV安装,对非编程材料科学家构成壁垒;应用以最近邻距离标志和免责声明提示外推与筛选性质。4.4 局限:E
g纯回归处理金属非最优;无结构信息;单一划分加多种子而非嵌套交叉验证;T
c数据仅含已报道超导体、无T
c = 0条目;分层使用目标衍生电子类别;存在成分近重复;FormE留出含训练中缺失元素Yb及9个稀有元素条目,属外推;不确定性校准与正式分布外检测尚非基准流程一部分;结论对算法、搜索空间、预处理和初始化不敏感。4.5 与先进水平比较:E
g的RMSE 0.60–0.69 eV处于成分模型实验数据范围(0.65–0.85 eV),结构感知模型达0.31–0.39 eV;T
c的R
2 0.917–0.927接近成分先进水平(约0.94–0.96);FormE在实验数据上RMSE 0.098–0.123 eV/atom属预期范围,DFT训练模型可报道0.02–0.03 eV/atom;成分模型以有界精度损失换取毫秒级特征化、消费级硬件每模型两分钟内训练及零安装部署,适合快速筛选,结构已知时图模型仍是最终精度工具。
研究结论翻译:该基准表明两点。第一,元素统计特征化范式的预测能力集中于少量共享物理量;四种实现跨越37–264个描述符,在带隙、超导T
c和形成焓上达到等效外部验证精度,其预测相关为r = 0.93–0.99;自包含106描述符实现与最佳库基替代方案之间的差距为E
g的ΔR
2 = 0.048(95% CI [0.023, 0.077])、T
c的0.010([0.006, 0.015])、FormE的0.054([0.030, 0.080]),均落在随机种子观察到的方差内。第二,该范式可作为嵌入全部依赖的独立可执行文件分发,消除无编程经验材料科学家的安装障碍,实际精度代价至多约0.05个R
2单位。按电子类别的残差分析提供方法学警示与建设性结果:所有成分纯回归器对金属共享相同正偏置(+0.24至+0.28 eV),这是范式属性而非任一实现缺陷;成分带隙模型用于混合筛选时应与金属性分类器配对,AutoAIM Studio未来版本将纳入两阶段架构。树集成仍是表格成分特征的首选模型类,所有计算可在消费级硬件上每模型两分钟内完成。研究人员计划将基准扩展至更多性质,应用排列重要性与SHAP分离最小预测描述符子集,在有晶体学数据时整合结构感知模型,并采用嵌套交叉验证进行更严格统计比较。