工程推理与指令(ERI)基准:一个面向基础模型和智能体的、由分类体系驱动的大型数据集

《Computers & Industrial Engineering》:Engineering Reasoning and Instruction (ERI) benchmark: a large taxonomy-driven dataset for foundation models and agents

【字体: 大 中 小 】 时间:2026年08月27日 来源:Computers & Industrial Engineering 7.3

编辑推荐:

   摘要工程推理与指令(ERI)基准是一个由分类法驱动的指令数据集,旨在训练和评估具备工程能力的大语言模型(LLMs)和智能体。该数据集涵盖九大工程领域(即:土木工程、机械工程、电气工程、化学工程、环境工程、航空航天工程、材料工程、消防工程和工业工程)以及55个子领域,并与七种意

  

摘要

工程推理与指令(ERI)基准是一个由分类法驱动的指令数据集,旨在训练和评估具备工程能力的大语言模型(LLMs)和智能体。该数据集涵盖九大工程领域(即:土木工程、机械工程、电气工程、化学工程、环境工程、航空航天工程、材料工程、消防工程和工业工程)以及55个子领域,并与七种意图类型(即:定义、解释、计算、比较、设计/综合、故障排除和代码相关)及三个难度层级(本科、研究生和专业)进行交叉组合,共产生57,750条记录,包含领域/子领域/类型/难度元数据及解答格式信息。我们利用七个LLM对ERI进行了考察,报告了一个具有统计学显著性的三层次绩效结构:前沿模型(GPT-5、Claude Sonnet 4、DeepSeek V3.1)在五分制评分体系下平均分超过4.30,而中端及小型模型则表现出逐步升高的失败率以及在研究生水平问题上的更显著性能衰退。为应对LLM基准中固有的循环性问题,我们开发了一套收敛验证协议,利用跨供应商独立性、多评委平均和前沿模型一致性分析,将幻觉风险实证性地约束在2.4%。ERI连同分类法规范、验证脚本和评估框架一并发布,以支持可重复比较、回归测试以及面向指令调优、基于能力路由、检索增强评估和智能体工具调用工作流中跨工程领域的模型选择决策。
M.Z. Naser | Ahmad Bani Awwad | Zoie McCreery | Radwa Eissa | Ahmad Z. Naser | Gianluca Cusatis | Andrew Metcalf | Kapil Madathil | Jamal Abdalla | Venkatesh Kodur | Mohammad Reza Saeb
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号