
-
生物通官微
陪你抓住生命科技
跳动的脉搏
混凝土配合比预测机器学习模型的性能高估:随机划分与配合比分组交叉验证的比较及评估协议
《Scientific Reports》:Mixture replication in benchmark datasets inflates reported machine learning performance and degrades prediction interval coverage for ultra-high-performance concrete
【字体: 大 中 小 】 时间:2026年09月26日 来源:Scientific Reports 4.9
编辑推荐:
摘要用于超高性能混凝土的机器学习模型通常在留出记录上报告的决定系数超过0.94,这些数值如今正在塑造人们对数据驱动配合比设计的预期。我们证明,这些报告的预测性能中有很大一部分取决于模型的评估方式。基准混凝土数据集包含重复记录,即同一配合比在多个养护龄期或试件尺寸下进行了测试。
用于超高性能混凝土的机器学习模型通常在留出记录上报告的决定系数超过0.94,这些数值如今正在塑造人们对数据驱动配合比设计的预期。我们证明,这些报告的预测性能中有很大一部分取决于模型的评估方式。基准混凝土数据集包含重复记录,即同一配合比在多个养护龄期或试件尺寸下进行了测试。随机划分训练集与测试集会将这些重复记录分布在分割的两侧,因此模型是部分基于在训练期间已接触过的配合比进行评分的。利用一个包含1,193条记录的公开混凝土数据集和一个包含1,030条普通混凝土记录的独立基准数据集,我们针对八个回归器和四个目标性能,比较了随机交叉验证与配合比分组交叉验证。在配合比分组评估下,抗压强度的决定系数从0.947降至0.893,抗折强度从0.897降至0.779,而均方根误差相对于随机划分所隐含的值上升了42%至47%。一项控制实验中,样本量保持不变,仅改变每个配合比的记录数量,在两个数据集上都复现了这一效应,差距从每个配合比一条记录时的约零增长至四条记录时的0.13。在随机选中的记录上校准的保形预测区间覆盖新配合比的比例为82%至84%,而名义水平为90%;在留出配合比上校准则恢复了接近名义水平的覆盖率,但区间更宽。我们提供了一种针对混凝土机器学习的评估与报告协议。