面向教育领域的AI聊天机器人教学表现评估:基于多维指标的"AI 评分"框架构建与验证
《Scientific Reports》:A standardized AI score to benchmark educational chatbots
【字体:
大
中
小
】
时间:2026年09月30日
来源:Scientific Reports 4.9
编辑推荐:
# 摘要
人工智能聊天机器人迅速融入教育领域,催生了一种客观评估其教学表现的方法的需求。本研究提出了一种"AI 评分",这是一个复合指标,旨在从四个维度对标教育聊天机器人的表现:初始表现、稳健性、自我纠正能力和可靠性缺陷。AI 评分通过加权公式计算,并通过一套由具有高度区分
# 摘要人工智能聊天机器人迅速融入教育领域,催生了一种客观评估其教学表现的方法的需求。本研究提出了一种"AI 评分",这是一个复合指标,旨在从四个维度对标教育聊天机器人的表现:初始表现、稳健性、自我纠正能力和可靠性缺陷。AI 评分通过加权公式计算,并通过一套由具有高度区分度的选择题组成的标准化测试进行验证。为验证该测试的有效性,我们在相同条件下使用检索增强生成技术和课程专用资源,对六个平台——ChatGPT、Copilot(先使用 Studio 版本,后使用 Chat 版本)、NotebookLM、Grok、Mistral 和 Amanote——进行了评估。结果表明,AI 评分能够有效区分不同聊天机器人的表现水平,这一结论已在三门一年级课程中得以验证,涵盖物理学(光学)、法学(债法)和历史学(经济与社会史)。该方法论符合 ISO/IEC 关于人工智能可靠性与治理的标准,为教育工作者提供了一个可用于部署前评估的可复现框架。文章还进一步讨论了该研究的局限性及未来方向,包括纵向研究、对答案质量的定性评估以及向其他领域的扩展应用。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号