人工智能中可重复性的代价

《Patterns》:The cost of reproducibility in artificial intelligence

【字体: 大 中 小 】 时间:2026年08月28日 来源:Patterns 10.8

编辑推荐:

  文档记录不充分会使独立复现一项已发表科学研究变得不必要地繁琐。研究人员将可重复性代价定义为复现某项研究结论所需资源,并基于代码(code)与数据(data)等客观特征提出代价的五个维度。研究人员系统审阅2022至2024年七大顶级人工智能(AI)场所发表的91

  
文档记录不充分会使独立复现一项已发表科学研究变得不必要地繁琐。研究人员将可重复性代价定义为复现某项研究结论所需资源,并基于代码(code)与数据(data)等客观特征提出代价的五个维度。研究人员系统审阅2022至2024年七大顶级人工智能(AI)场所发表的918篇出版物,以评估可重复性代价的差异,并假设场所标准更严格则代价更低。结果显示:机器学习(ML)会议论文整体复现代价最低,较期刊低12.91%,较通用AI会议低16.52%;获奖论文并不比普通论文更易复现;6.72%的代码仓库链接失效。这表明通过合规机制(compliance-based mechanisms)可显著降低可重复性代价,但需社区支持。研究人员建议场所强制包含可重复性检查表(reproducibility checklist)、允许附录承载完整文档,并将低可重复性代价作为评奖关键标准。
研究背景方面,十余年来各学科面临可重复性危机,人工智能(AI)领域亦不例外,Gundersen等人复现30篇高引AI研究平均成功率仅50.0%,Raff估计机器学习(ML)研究可重复性约63.5%。Boyle与Huygens的历史案例表明,仅靠作者到场演示并非可持续方案,文档质量直接决定独立调查者复现所需资源。现有量化研究多关注文档元素“有无”,未衡量其对独立研究者精力消耗的影响。为此,研究人员将“可重复性代价”操作化为文档质量代理指标,选取2022至2024年AAAI、IJCAI、ICLR、ICML、NeurIPS、JAIR、JMLR七大学术场所,从1061篇中剔除纯理论得918篇适用评审,依据实施(implementation)、数据(data)、配置(configuration)、实验流程(experimental procedure)、专业知识(expertise)五维度(1至10分,1为低代价)人工标注,并以Gundersen等人22例40工时复现数据集作外部效度校验,文章发表于Cell Press旗下《Patterns》。
关键技术方法上,研究人员构建五维度评分量规,每篇仅依据出版方提供正文、附录及文内直链(如GitHub)评估,起始分1分按缺失项累加;实施维度由首作者标918篇,另邀14名博后/博士生对46篇(5.01%)二审,用 intraclass correlation coefficient(ICC3k)算评分者一致性,专业知识维度因ICC仅0.5445(moderate)且绝对差2.0652过高被剔除;场所间非正态分布故采用单侧置换检验与Kolmogorov-Smirnov检验;外部校验采用Kendall相关系数比对Gundersen数据集“实验完成率/复现率/是否成功”三项指标;获奖论文单独抽65篇(AAAI/IJCAI/ICLR/ICML/NeurIPS)做分布检验。
研究结果部分,第二评审(Second review)显示实施、数据、配置维度ICC达excellent(0.9727/0.9111/0.9306),实验流程good(0.8072),专业知识moderate故弃用。按场所与维度分析(Analysis per venue and dimension)发现实施维度主导代价,ICLR/ICML/NeurIPS实施代价显著低于他者,ML会议较期刊均低12.91%、较通用AI会议低16.52%;6.72%实现URL空或报错,通用AI场所在8.20%(JAIR)至12.68%(AAAI),ML场所3.18%(JMLR)至5.16%(NeurIPS)。数据维度JMLR公开率98.51%却代价偏高,84.85%私数研究代价≥6因采集策略不清。配置维度ICLR/ICML显著最低,NeurIPS虽同ML旗舰但比ICLR高0.64、比ICML高0.66,且其公开代码与低配置代价相关性仅?0.05(整体?0.21)。实验流程各场所Q3≤3,差异小。代价与成功复现关联(Correlating cost with successful reproduction)中,实施与配置维度和Gundersen集三项成功率Kendall系数显著负向(实施?0.31~?0.37,配置?0.38~?0.32),数据维度因样本限公数无显著相关,实验流程无显著。获奖论文(Award-winning papers)65篇KS与置换检验显示仅IJCAI单维显著、ICML最佳论文数据维显著低,整体无证据表明获奖者复现更便宜。
讨论部分指出,实施与配置是最弱文档维度,NeurIPS强制检查表而ICLR仅鼓励却质量相近,说明合规机制须社区共振而非单方强制;通用AI会议禁附录致代价最高,ML会议69.23%实证用附录载关键文档。局限性含专业知识维不可靠、每场所~150抽样虽稳健但非人口比例加权、Gundersen校验集仅22例且限公数。结论(Conclusion)翻译如下:研究人员审阅七场所1061篇(918篇入五维分析),ML会议代价显著低,归因严格标准与附录长格式;建议场所强制可重复性检查表、允附录、设可重复性审稿人(如AutoML会议)、奖评纳低代价标准、实现材料随稿存档而非外链(避6.72%死链)。假设“严标即低代价”仅部分成立——社区支持与刺激决定合规机制是否流于表演;该研究为AI可重复性危机提供数据驱动的结构、程序与社区三重改路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号