面向教育领域的AI聊天机器人教学表现评估:基于多维指标的"AI 评分"框架构建与验证

《Scientific Reports》:A standardized AI score to benchmark educational chatbots

【字体: 大 中 小 】 时间:2026年09月30日 来源:Scientific Reports 4.9

编辑推荐:

   # 摘要 人工智能聊天机器人迅速融入教育领域,催生了一种客观评估其教学表现的方法的需求。本研究提出了一种"AI 评分",这是一个复合指标,旨在从四个维度对标教育聊天机器人的表现:初始表现、稳健性、自我纠正能力和可靠性缺陷。AI 评分通过加权公式计算,并通过一套由具有高度区分

  # 摘要人工智能聊天机器人迅速融入教育领域,催生了一种客观评估其教学表现的方法的需求。本研究提出了一种"AI 评分",这是一个复合指标,旨在从四个维度对标教育聊天机器人的表现:初始表现、稳健性、自我纠正能力和可靠性缺陷。AI 评分通过加权公式计算,并通过一套由具有高度区分度的选择题组成的标准化测试进行验证。为验证该测试的有效性,我们在相同条件下使用检索增强生成技术和课程专用资源,对六个平台——ChatGPT、Copilot(先使用 Studio 版本,后使用 Chat 版本)、NotebookLM、Grok、Mistral 和 Amanote——进行了评估。结果表明,AI 评分能够有效区分不同聊天机器人的表现水平,这一结论已在三门一年级课程中得以验证,涵盖物理学(光学)、法学(债法)和历史学(经济与社会史)。该方法论符合 ISO/IEC 关于人工智能可靠性与治理的标准,为教育工作者提供了一个可用于部署前评估的可复现框架。文章还进一步讨论了该研究的局限性及未来方向,包括纵向研究、对答案质量的定性评估以及向其他领域的扩展应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号