分数不等于技能:记分牌问题

《Computational Visual Media》:The Score Is Not the Skill: The Scoreboard Problem

【字体: 大 中 小 】 时间:2026年08月28日 来源:Computational Visual Media 8.3

编辑推荐:

   摘要:本文考察了 McIntosh 及其同事撰写的《生成式人工智能时代大型语言模型基准测试的不足》,论证了受污染、静态且文化狭隘的排行榜常常误导该领域。 想象一下,一所驾校里的每个学生都在路考前一晚收到了答案册。到了早晨,通过率是辉煌的 100%。那个镇子上没人真

  

摘要:

本文考察了 McIntosh 及其同事撰写的《生成式人工智能时代大型语言模型基准测试的不足》,论证了受污染、静态且文化狭隘的排行榜常常误导该领域。

想象一下,一所驾校里的每个学生都在路考前一晚收到了答案册。到了早晨,通过率是辉煌的 100%。那个镇子上没人真的会开车。考试衡量的是记忆,而不是能力——而记分牌对我们谁能无事故地汇入高速公路毫无提示。

这缩影般地道出了大型语言模型(LLMs)基准测试背后的焦虑。每隔几周,就会出现一个新模型声称登顶某个排行榜,在编程基准测试上略胜竞争对手一筹。但你是否想过那些数字衡量的是什么?当一个模型在基准测试中得分 90% 时,我们是在见证推理能力,还是在观看一个看到了答案册的昂贵学生?

利害关系并非学术性的。基准测试分数驱动着数十亿的投资,塑造了哪些模型部署在医院和法庭,并日益成为关于通用人工智能(AI)的声明的基石——这是该领域最具影响力的目标。如果尺子断了,用它测量的一切都继承了扭曲。

建立在排行榜上的领域

在过去十年里的大多数时间,基准测试是机器学习的默默无闻的英雄。ImageNet2 给计算机视觉提供了一个共同的目标,并催化了深度学习革命。GLUE4 和 SuperGLUE3 为自然语言理解做了同样的事。配方很简单:定义一个固定数据集,就一个指标达成一致,让竞争驱动进步。进步变得可读。

但生成式人工智能以一种微妙且普遍的方式打破了这一配方。旧的基准测试假设训练和测试问题之间有清晰的分离。这种分离已经崩溃。现代模型是在从开放网络提取的数十亿句子中训练的,而这正是基准测试问题所在的地方。答案册已经被复印进了学习材料中。我们称之为 数据污染,这是 LLMs 评估中最大的裂痕。

诊断与处方

McIntosh 及其同事在他们题为《生成式人工智能时代大型语言模型基准测试的不足》的 IEEE 论文中,考察了 23 个最先进的 LLM 基准测试,并对每一个进行了结构化批判。1 他们没有提出一个更光鲜的排行榜,而是问我们是否应该完全信任排行榜。他们的分析揭示了基准测试误导我们的系统性方式。

作者围绕故障模式分类法组织他们的批判。首先考虑 数据污染:因为训练语料库是专有的且巨大的,没有办法证明一个基准测试被排除了。想象一下,在一个学生基本上读过整个互联网之后,去认证他们从未遇到过某个特定的考试问题。举证责任几乎是不可能的。

第二:文化和时效性狭窄。许多基准测试以英语、西方假设和冻结的知识为锚点。使用这样的测试来认证一个全球部署的模型,就像通过问厨师做一个烤奶酪三明治来评判他们的菜系一样。测试是真实的,但它的覆盖率相对于我们在意的是微不足道的。

第三——也是最令人警觉的——一个基准测试一旦发布,就是冻结的。但模型在持续更新,开发者在财务上有动力得分高。这就造成了一场军备竞赛,模型优化朝着测试而不是潜在能力的方向进行。当一个衡量标准成为目标,它就不再是一个好的衡量标准。我们的基准测试正在被大规模地“古德哈特化”。

另一个挑衅性的线索:用 LLMs 来评估其他 LLMs。表面上看,这解决了扫描答题卡(Scantron)问题——让一个有能力模型阅读文章并分配等级。但我们任命了一个法官,他与被告共享偏见、盲点和偏好。LLM 法官偏好更长的回复,无论正确与否都奖励听起来自信的回答,并偏好类似于自己的文本。这就像我们通过让被告的同卵双胞胎来裁决来解决法庭纠纷。裁决可能流畅且自信——并且系统地错误。

从诊断到治愈

我们在此评论的这篇论文做得很好,因为它触及了处方。作者提出了更稳健基准测试的标准:动态评估,即测试项随时间重新生成以削弱污染和应试教学;更大的文化和语言广度;以及经过验证、可审计的评估程序。他们将这些建议置于新兴的、抗污染的评估之中。

话虽如此,该框架倾向于定性。它给出的原则和词汇多于带有数值阈值的现成协议。它告诉你一个值得信赖的基准测试应该具备什么,但对于测量给定的基准测试是否具备这一点则不那么具体。这是真正的局限——这篇论文作为诊断比作为治愈更强。但你不能治疗一种你拒绝命名的疾病,而篇论文在 23 个案例中严谨地命名了这种疾病。

影响力的证据

其重要性的最清晰证明在论文之外:该领域已经开始迅速采取行动。批判直接融入了旨在抵抗其目录化故障模式的下一代评估。最明显的例子是 人类的最后一次考试,这是一个包含 2,500 个专家撰写问题的基准测试,跨越数十个学科,组装得很难且抗污染。

在那个基准测试上,在 MMLU 上得分 85%–90% 的前沿模型崩溃到个位数和低双位数准确率——差距如此之大,以至于它谴责了旧的测试。当同一个模型在一把尺子上看起来像天才,而在另一把尺子上看起来像挣扎的新手时,至少有一把尺子是坏的。这篇论文告诉我们是哪一把。

在发表后的短窗口期内,这项工作被评估社区迅速采纳,并被引用在新的基准测试设计理由中。对于一篇批判性论文,这是最高的验证:它正在改变从业者构建的东西。

谁应该关心

对于 小型实验室和学术团体,这篇论文悄悄地令人解脱。当你负担不起训练前沿模型时,排行榜可能感觉像是一堵不可逾越的墙。但如果排行榜部分衡量的是污染和规模而不是智能,游戏就没有那么输了——而且该领域需要篇论文所呼吁的更便宜、更敏锐的动态评估。

对于 行业从业者:不要按记分牌采购。如果你选择模型来分诊医疗问题或审查合同,基准测试数字作为证据表明它将在你的实际案例中表现良好,几乎是没用的。一个在英语、西方锚定测试上表现出色的模型可能会悄悄失败于你的多语言客户群。

对于 监管者和政策制定者,这篇论文是反对将基准测试分数编入法律的警告。静态指标作为合规阈值会招致古德哈特定律:供应商优化数字,数字偏离它旨在保证的安全属性。

这篇论文超越了单纯的抱怨,提供了真正的解决方案。作者为更好的基准测试奠定了基础:动态评估,测试问题随时间变化以防止作弊和应试教学;文化和语言覆盖的更多多样性;以及清晰、可审计的评估答案的方法。他们将这些想法与已经被构建以抵抗污染的新评估联系起来。

该框架倾向于定性。它给出的原则和词汇多于带有硬数字的清单,你可以将其投入持续集成(CI)流水线。它告诉你一个值得信赖的基准测试应该有什么,而不是确切地如何检查它是否有——软件工程师将其称为功能性与非功能性要求之间的分裂。这篇论文作为诊断比作为治愈更强,然而它精准定位了我们再也无法忽视的东西:当衡量标准成为价值数十亿的奖品时,其背后的理论最好是对的。我们一直把排行榜当作温度计,忠实地报告世界上的温度。这篇论文提醒我们,它们不是被动仪器。它们通过假设、激励和设计选择进行测量,这些选择塑造了什么变得可见——有时是什么得到奖励。

这让我们回到了那个拥有完美通过率和空荡荡高速公路的驾校。失败不是缺乏记忆;学生们记忆得很完美。失败是错把分数当作技能。McIntosh 及其同事站在学校前门,在事故发生前,手持答案册,问着最重要的问题:我们是在教这些系统开车,还是仅仅教它们通过考试?直到我们能自信地分辨区别,每一个胜利的排行榜都应该被扬起眉毛对待——而这篇论文给了我们保持扬起眉毛的非常充分的理由。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号