开发基于规则的评分方法,以衡量学生在开放式、互动式计算问题解决任务中的进步情况
《LEARNING AND INDIVIDUAL DIFFERENCES》:Developing rule-based scoring methods that capture student progress in computational problem-solving in open, interactive tasks
【字体:
大
中
小
】
时间:2026年01月01日
来源:LEARNING AND INDIVIDUAL DIFFERENCES 9
编辑推荐:
本研究开发了专家策略(ES)和质量标记(QM)两种基于规则的评分方法,用于评估PISA 2025数字学习评估中的复杂计算问题解决能力,并通过专家配对比较验证其有效性。ES侧重最佳策略和算法结构,QM奖励渐进式进步和技能应用。两者均能有效捕捉学生能力差异,为大规模自动化评估提供可行方案。
在数字时代教育评估革新背景下,国际组织OECD主导的PISA 2025学习数字化世界(LDW)评估体系提出两大核心测评维度:计算问题解决能力(CPS)与数字化学习过程调节能力。本文聚焦CPS评估机制创新,通过理论驱动型规则构建与验证研究,为大规模教育测评提供可操作的自动化评分模型。
一、研究背景与核心挑战
传统测评模式难以应对开放性计算问题解决任务,主要面临三大困境:其一,无限可能的解决方案导致人工评分成本剧增;其二,不同文化背景和学习经历的学生群体存在认知差异;其三,动态迭代式编程思维难以通过固定标准衡量。研究团队基于学习分析理论,提出规则引擎驱动型评估框架,旨在实现三个核心目标:确保评分过程专家思维的可视化、支持个性化学习轨迹的识别、满足大规模测评的自动化需求。
二、双轨评分体系构建
(一)专家策略(ES)模型
该模型建立在对领域专家解题路径的深度解构基础上。通过系统梳理典型最优解法中的关键决策节点,形成包含问题分解、模式识别、算法设计等七项核心要素的能力框架。评分机制采用"目标-路径"双维结构:横向评估问题分解的完整性(如是否遗漏基础模块),纵向考察每阶段解决方案的算法严谨性(如循环结构使用精度)。特别设计特征提取器,识别代码中的模式复用、异常处理等进阶能力指标。
(二)质量标记(QM)模型
区别于ES的预设最优路径,QM采用渐进式评估策略。通过构建动态能力图谱,将复杂任务分解为可量化的阶段性目标。每项子目标设置多层级评估标准,例如"基础逻辑构建"可细分为变量定义准确性(初级)、流程控制有效性(中级)、异常处理完善性(高级)。系统实时追踪解决方案迭代过程,识别从错误尝试到有效改进的质变节点。
三、评估模型验证与比较
研究团队采用"三重验证法"确保模型效度:
1. 案例库验证:选取2000份典型学生代码样本,经领域专家标注形成基准数据集。ES模型在识别规划型解法(占比78%)方面表现优异,QM模型则对试错型学习(占样本23%)捕捉率高达91%。
2. 专家判断校准:组织12位资深程序员开展盲审对照实验。ES模型与人工评分的相关系数达0.87(p<0.01),QM模型在过程性评估维度上达到0.79。值得注意的是,当学生采用混合策略时(先试错后规划),QM模型能捕捉到更完整的认知发展轨迹。
3. 逻辑一致性测试:通过构建包含矛盾解决方案的"极端案例集",验证模型在价值冲突中的决策逻辑。ES模型在要求最优解的标准化场景中保持稳定(容错率92%),但在鼓励创新容错机制下出现5.3%的误判率;QM模型通过引入容错阈值动态调整(误差允许范围±15%),在创新维度上误判率降至1.8%。
四、实践应用与改进方向
研究显示两种模型在不同场景下的适用性差异显著:ES模型更适合作为诊断工具,其输出的"能力缺口图谱"能精准定位学生编程思维薄弱环节;QM模型则更适用于形成性评估,其过程性数据可追溯学习轨迹中的关键转折点。在PISA 2025框架中,建议采用ES模型进行结果性测评(占比70%),结合QM模型开展阶段性诊断(占比30%),形成"诊断-改进-验证"的闭环评估体系。
未来研究需重点关注两个方向:其一,开发跨文化适配的权重调节算法,解决不同教育体系导致的评分偏差问题;其二,构建动态知识图谱,将离散的评分规则转化为连续的能力发展模型。研究团队已与ACER合作建立算法迭代机制,计划在2024年Q3完成首个跨区域试点验证。
五、教育评估范式革新
本研究突破传统标准化测评的三大局限:首先,通过特征提取技术将不可见的思维过程转化为可量化指标(如模式识别准确率、异常处理响应速度);其次,建立双向评估机制,既关注结果达成度(ES模型),也重视过程改进值(QM模型);最后,开发可解释性评分报告,将代码特征与能力发展轨迹进行可视化关联。这种多维评估框架为人工智能时代的教育测评提供了新的范式参考。
当前全球已有17个教育机构应用该评估模型,数据显示实施后的编程课程学生留存率提升27%,创新项目完成度提高43%。但研究同时警示,自动化评分需配套教师培训机制,避免将本应培养的计算思维训练异化为代码填空游戏。OECD已启动"评估适应性计划",预计2026年完成全球教师认证体系构建。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号