《Frontiers in Psychology》:A multi-criteria evaluation of online learning platforms for student engagement and academic performance: an Analytic Hierarchy Process
编辑推荐:
引言:在线学习平台已成为高等教育的重要组成部分,但其有效性取决于多种教育和技术特征。本研究旨在从研究生视角确定评价在线学习平台的四项准则的相对重要性。方法:研究人员向50名具有在线学习环境先前经验的研究生发放结构化问卷。研究人员基于层次分析法(Analytic
引言:在线学习平台已成为高等教育的重要组成部分,但其有效性取决于多种教育和技术特征。本研究旨在从研究生视角确定评价在线学习平台的四项准则的相对重要性。方法:研究人员向50名具有在线学习环境先前经验的研究生发放结构化问卷。研究人员基于层次分析法(Analytic Hierarchy Process, AHP),通过两两比较评价内容质量(Content Quality)、用户界面(User Interface)、可及性(Accessibility)和互动性(Interactivity)。该研究聚合个体判断、计算优先权重,并检验两两比较的一致性。结果:内容质量获得最高归一化权重(0.416;41.6%),其次为用户界面(0.297;29.7%)、互动性(0.147;14.7%)和可及性(0.140;14.0%)。结果表明,受访者在评价在线学习平台时赋予内容质量和用户界面更大的相对重要性。研究结果说明,研究生在评价在线学习平台时对教育内容、界面可用性、互动和可及性赋予不同程度的重要性。研究结果为评估平台特征提供了定量基础,并可能有助于教育机构和平台开发者设计和评价在线学习环境。需要对更大、更多样化的样本开展进一步研究,以检验这些优先次序是否适用于不同机构和教育情境。
论文主体解读:该研究关注在线学习平台(online learning platforms)在高等教育中的有效性评价。研究背景方面,在线学习平台在COVID-19疫情期间迅速扩展,可跨地点和设备提供教育资源与学习活动,但其效果不仅取决于数字资源可及,还取决于教育内容质量、平台界面可用性、可及性(Accessibility,不同设备、地点、网络条件和学习者需求下访问并使用资源的能力)以及学生互动机会。传统课堂中教师可通过观察评估学生参与(student engagement,认知、情感和行为投入),在线环境则依赖学习管理系统(Learning Management System, LMS,如Moodle)的导航记录等数据识别参与风险。疫情中突然转向在线学习暴露了保持学生参与和学业表现(academic performance,本研究指平台特征对学习的感知相关性,而非客观成绩)的挑战,减少面对面互动和个性化反馈可导致动机下降和结果欠佳。评估在线学习平台最关键方面复杂,已有研究虽用层次分析法(Analytic Hierarchy Process, AHP,一种将复杂决策分解为层级并进行两两比较的决策方法)评价教育技术,但多集中于西方或本科情境,且未系统验证归一化和一致性。该研究因此在中国高等教育情境中,以多学科研究生为对象,采用方法透明的AHP确定内容质量(Content Quality)、用户界面(User Interface)、可及性和互动性(Interactivity)四准则的相对重要性,并提供定量评价依据。原文明确该研究不直接测量考试成绩、绩点或课程完成等客观学习结果,而考察研究生对可能支持参与和学习的平台特征的感知重要性。
研究人员开展的研究为:使用结构化问卷对Guangxi Minzu Normal University的50名研究生进行调查;样本覆盖工程、管理、教育和社会科学,邀请68人,50人完成,响应率73.5%;参与者需具有在线学习经验,多数至少1年,使用过Moodle、Coursera和Google Classroom。问卷基于Saaty的1–9量表进行四准则两两比较,个体判断矩阵以几何平均聚合,计算归一化优先权重,并用一致性比率(Consistency Ratio, CR)检验判断一致性。研究得出内容质量权重最高,其次用户界面,互动性和可及性较低;CR可接受,权重结构具有方法学可靠性。其意义在于为教育机构和平台开发者设计、评价在线学习环境提供定量基础,并强调优先强化内容质量和界面设计,再提升可及性和互动性。
关键技术方法(不超过250字):采用研究者开发的结构化AHP问卷,对Guangxi Minzu Normal University的50名研究生进行两两比较;样本来自工程、管理、教育和社会科学,邀请68人,完成50人,响应率73.5%,参与者具有至少1年在线学习经验并使用Moodle、Coursera、Google Classroom。使用Saaty 1–9量表构建个体比较矩阵,以几何平均聚合,列归一化后行平均得权重;计算λ
max、一致性指数(Consistency Index, CI)和CR,RI=0.90,并做±1步敏感性检查。
研究结果:4.1 Pairwise comparison and weights of criteria:通过50名研究生聚合判断的两两比较和归一化计算,四准则权重分别为内容质量0.416(41.6%)、用户界面0.297(29.7%)、互动性0.147(14.7%)、可及性0.140(14.0%),总和1.000;表明受访者相对更重视内容质量和用户界面。4.1.1 Pairwise comparison matrix:通过AHP 1–9量表构建矩阵,对角线为1;用户界面相对互动性为3,互动性相对内容质量为0.5等,形成聚合比较矩阵。4.1.2 Calculating priority vectors:通过列归一化、行平均和再归一化获得优先向量;权重总和为1.000,确认归一化。4.2 Consistency ratio (CR) calculation:通过特征值法得λ
max=4.1031,CI=(λ
max?1)/(n?1)=0.0344,RI=0.90,CR=0.0344/0.90=0.038<0.10,判断一致性可接受;几何平均验证得近似权重。结论是内容质量和用户界面为最重要准则,可及性和互动性次之。
讨论总结:4.3 Discussion中,讨论部分认为内容质量最高与Moore and Kearsley、Hattie等观点一致;用户界面第二与Surjono et al.、Zhang et al.等一致;可及性第三与Seale、Barteit et al.等一致;互动性最低与Croxton一致,但与部分西方研究强调互动不同,原文归因于学习文化、平台熟悉度和课程设计等情境差异。原文讨论还提出机构应优先高质量、更新及时、与目标一致的内容和直观界面,支持辅助技术、低带宽等可及性,再将测验、论坛等互动作为补充。需要指出,讨论部分出现内容质量0.54、用户界面0.475、可及性0.3125、互动性0.2的权重表述,与结果部分和摘要报告的0.416、0.297、0.147、0.140不一致;本解读以结果部分和摘要的归一化权重为准。4.4 Limitations of the study指出:样本为单校50名研究生便利抽样,推广受限;学业表现为感知而非客观成绩;Moodle、Coursera、Google Classroom仅作代表性平台讨论,未作为AHP替代方案计算排序。结论部分翻译:可接受的一致性比率确认了所得优先次序的可靠性。研究结果表明,内容的结构、清晰度和教学价值,结合简洁、用户友好的界面,是影响在线学习平台有效性的最重要因素;支持公平参与的可及性特征仍然重要,互动性有积极贡献但总体权重相对较低。修正后的结果增强了分析的有效性,并为后续实证验证提供了透明基础。未来研究应在更大、更多样的样本中重复该程序,以确认权重结构的稳定性,并将这些见解推广到其他教育情境。结论还指出,本研究将AHP扩展到非西方高等教育多样研究生群体,提供文化与制度因素影响平台设计偏好的实证证据,展示透明计算和验证的一致性比率;建议大学和平台开发者在扩展互动功能前优先投资教学内容设计和用户界面质量;未来可采用多大学概率抽样、纳入领域专家并比较学生与专家判断,应用模糊AHP或集成AHP TOPSIS(Technique for Order Preference by Similarity to Ideal Solution,逼近理想解排序法)处理判断不确定性并评价具体平台,开展跨机构、跨国家和纵向研究。