《Medical Teacher》:Twelve tips for building institutional readiness for program-level assessment transformation
编辑推荐:
项目级评估(Program-level assessment, PLA)方法在健康专业教育中日益普及,旨在加强课程连贯性、整合纵向反馈并支持项目层面的学习保障。然而,可持续的项目级评估转型所需的机构条件往往被假定而非系统性地发展。本文扩展了先前主要关注评估设计
项目级评估(Program-level assessment, PLA)方法在健康专业教育中日益普及,旨在加强课程连贯性、整合纵向反馈并支持项目层面的学习保障。然而,可持续的项目级评估转型所需的机构条件往往被假定而非系统性地发展。本文扩展了先前主要关注评估设计的指导,将机构准备度定位为成功实施的核心。借鉴组织准备理论(Organizational Readiness Theory, ORT),该理论将准备度概念化为一种以变革承诺和变革效能为特征的共同组织状态,研究人员提出了十二条实用建议,用于诊断、排序和维持项目级评估转型。这些建议围绕四个准备度领域组织:结构、文化、教学和评估,并辅以一个发展连续体,将该框架将准备度理论操作化为分阶段实施的可行指导。
论文解读文章
研究背景与意义
在健康专业教育领域,碎片化的、基于课程的评估模式以及生成式人工智能等新兴挑战,促使学界呼吁采用项目级评估(PLA)方法,以实现整个项目的学习、反馈与进阶的协调统一。PLA 指的是在项目中刻意协调评估,以产生证明项目学习成果达成的有效证据,并支持连贯的学习与反馈模式。这反映了一种系统性的评估观,即评估在课程中被有意协调,以支持随时间推移的连贯进阶和学习保障。通过将评估置于项目层面而非孤立的课程中,PLA 使学生学习的纵向发展和展示成为可能。
尽管评估整合和纵向反馈系统在文献中已被广泛讨论,但关于机构如何发展协调和维持 PLA 转型所需的组织能力的研究却关注较少。现有指导主要集中在评估设计特征上,包括三角验证、反馈架构和基于委员会的决策,而对实施所需的组织条件关注有限。因此,评估转型常被视为主设计问题,而非组织变革过程。实证研究表明,实施挑战更多源于未充分发展的结构、文化和组织条件,而非评估设计本身的缺陷。这些问题包括孤岛式所有权、评估素养参差不齐、工作负担压力以及对集体决策的抵触。这表明 PLA 转型本质上是一个机构准备度问题,必须被刻意诊断、发展和维持。
本研究发表于《Medical Teacher》,旨在通过引入组织准备理论(ORT),填补机构在诊断准备度、排序转型或在复杂组织情境中维持变革方面缺乏指导的空白。研究将机构准备度操作化,提出了一个包含结构、文化、教学和评估四个相互关联领域的框架,并通过十二条建议为分阶段实施提供可行指导。
关键技术方法
研究人员采用了理论应用与框架构建的方法。具体而言,研究借鉴了组织准备理论(ORT),该理论将准备度概念化为一种以变革承诺和变革效能为特征的共同组织状态,其形成受任务需求、资源可用性和情境因素的影响。在此基础上,研究人员将 ORT 应用于 PLA 情境,推导出四个准备度领域,并将实施决定因素映射到影响变革承诺和变革效能的组织条件中。通过这种理论映射,研究人员构建了十二条建议的发展连续体,这些建议按诊断、排序和适应情境变量三个阶段组织,旨在逐步在这些领域内操作化变革机制。
研究结果
第一部分:诊断机构准备度——变革承诺与变革效能的变革领域
本部分旨在通过诊断结构、文化、教学和评估领域的机构准备度,为 PLA 转型奠定基础。
- •
建议1:在重新设计评估之前操作化项目级学习成果
研究指出,PLA 依赖于共享、清晰表达且一致解释的项目学习成果,这些成果定义了可信的达成证据。成果的模糊性反映了有限的结构准备度,并削弱了变革效能,因为员工缺乏对设计协调系统的集体能力的信心。因此,机构应将成果转化为可评估的绩效期望,明确发展阶段轨迹,并使用课程地图识别有效进展证据的生成位置。这有助于揭示重复、差距和不一致,从而明确协调评估设计的任务需求,增强变革效能。
- •
建议2:建立分布式的项目级领导与问责制
碎片化的所有权和课程界限的责任感表明,在协调学习项目的评估方面,结构和文化准备度有限。当责任仍局限于课程时,改革常因决策不一致和缺乏共同方向而停滞。可持续转型依赖于协调的治理和集体责任。机构应正式确立分布式的项目级领导,明确角色、决策权和跨项目评估连贯性的问责制。虽然个别“知识经纪人”可以催化改革,但过度依赖非正式倡导者反映了组织的脆弱性并限制了集体能力。因此,领导层应嵌入治理结构,而非仅由个人承担。指定的项目级负责人、课程主任论坛和结构化审查周期可以支持一致性、协调和集体监督。这通过建立共同所有权来增强变革承诺,并通过明确协调需求来强化变革效能。
- •
建议3:诊断围绕评估所有权的文化规范
PLA 经常遇到根植于课程所有权和学术自治假设的阻力。当评估被视为课程所有而非项目治理时,协调可能缺乏合法性,从而阻碍实施。这表明文化准备度有限,因为机构目标与学术规范之间的不一致会破坏对 PLA 的共同承诺。机构应在结构重组前,揭示并检查对项目与课程所有权、自主权及决策权的期望。跨教学团队的结构化对话可以揭示对评估决策(包括评分和审核实践)权威的不同信念。这些讨论应澄清对一致性的期望,同时阐明适当变化的教学原理。项目领导者在将连贯性构建为补充学科身份和学术价值观的共同责任方面发挥关键作用。这通过将价值观与项目级目标对齐来增强变革承诺,并通过使协调决策合法化来提高变革效能,从而支持评估实践的集体所有权。
- •
建议4:评估并建立 PLA 素养
对 PLA 原则的共同理解有限,标志着教学准备度受限,并削弱变革效能。教师必须对核心原则(如纵向进阶、发展性反馈整合)形成共识,并在实践中一致应用。当进阶标准不明确或对跨课程综合证据存在不确定性时,集体能力会被削弱。机构应监测学者的理解程度,以识别解释和执行中的不一致。结构化诊断(如调查、校准研讨会和基于场景的讨论)可以揭示判断和决策的变化。这些见解应为有针对性的教师发展提供信息,以建立共同标准并增强集体能力。这通过增强对实施的信心来提高变革效能,并通过共享对 PLA 原则的理解来强化变革承诺。
- •
建议5:评估整个课程的反馈连贯性
碎片化的反馈实践标志着评估准备度有限。当反馈仍局限于课程且互不关联时,学生难以识别进阶,反馈变得片段化而非累积。这限制了变革效能,因为学生和教育者缺乏解释和使用反馈以支持纵向发展的信心。机构应审计项目中的反馈实践,以识别重复、信号不一致和整合缺口。项目团队应检查反馈是否与项目级成果一致,是否能够重温先前学习,并支持对随时间发展的反思。评估学生是否能在多个时间点展示进阶,以及反馈是否促进能力发展,可以揭示可能被掩盖的弱点。这通过提高对评估信息解释和使用的信心来增强变革效能,并通过强调纵向反馈的价值来强化变革承诺。
第二部分:通过分阶段实施对机构转型进行排序
本部分在诊断准备度条件的基础上,通过分阶段实施来发展变革效能。
- •
建议6:将准备度视为发展性和迭代性的
在诊断结构、文化、教学和评估条件后,机构应将组织准备度视为发展性的而非静态的。等待理想的一致性再启动改革可能会延迟 PLA 实施并强化机构惯性。在复杂的教育系统中,变革通过能动性、结构和文化之间的持续互动而出现,而非仅靠结构调整。机构应在条件部分对齐的地方开始转型,例如领导承诺明显或教师能力正在发展的地方。早期实施周期有助于明确任务需求,揭示情境限制,并通过经验建立信心。将分阶段行动与反思相结合,能够对进展进行动态评估,使共同承诺和集体能力随改革一同演进。这通过迭代实施建立信心来提高变革效能,并通过展示 PLA 随时间推移的可行性和价值来强化变革承诺。
- •
建议7:在引入重新设计之前进行结构审计
对评估架构的可见性有限会制约转型能力。当评估仍在模块化、基于课程的结构中组织时,实现项目级学习成果的证据可能是碎片化的且难以解释。课程级别的汇总可能掩盖不均衡的工作负载分配、高风险任务的集中以及隐藏的进阶瓶颈。这限制了变革效能,因为机构无法准确评估任务需求和系统限制。机构在引入新模型前,应对照项目学习成果进行结构化评估任务审计。此审计应检查时间安排、风险等级、工作负载分配、反馈周期和整个项目的进阶逻辑。可视化地图可以暴露重复、过载和排序缺口。从可见性到合理化再到重新设计的转型排序,通过改善对任务需求和系统条件的评估来增强变革效能,并支持协调的项目级变革。
- •
建议8:在推广前进行早期采用者项目试点
当各项目的组织准备度不同时,全机构范围的推广可能超出集体能力。在没有分阶段准备的情况下引入的大规模强制命令会削弱变革承诺和变革效能,因为教师可能对其集体能力缺乏信心,并质疑改革在当地情境中的可行性。当积极的团队将核心原则适应本地条件并在实践中证明其可行性时,改革会获得动力。机构应在更广泛实施前,在自愿或战略定位的“早期采用者”项目中进行 PLA 试点。例如,单个阶段或专业可以试行协调的评估映射、整合反馈和明确的进阶逻辑。试点作为准备度孵化器,通过生成共享范例、语言和人工制品来减少不确定性并建立集体信心。它们也揭示了情境限制。基于这些见解的分阶段扩展通过证明可行性来提高变革效能,并通过增加 PLA 的感知价值和合法性来强化变革承诺。
- •
建议9:将 PLA 转型与更广泛的课程更新相结合
当 PLA 转型嵌入更广泛的课程更新而非作为独立倡议引入时,其持久性更强。当孤立实施时,评估重新设计可能被视为合规工作,而非对学习的连贯提升,这会削弱变革承诺并限制可持续性。机构应将 PLA 与现有的更新流程(如项目重新设计、认证准备或审查周期)对齐。包括成果映射、合理化评估任务和重新设计反馈结构等活动可以整合,以加强课程与评估之间的一致性。将转型嵌入持续的更新中,增加了感知价值和共享合法性,强化了集体所有权,并将评估改革定位在持续的战略议程内。这通过提高 PLA 的感知价值来增强变革承诺,并通过实现协调实施来强化变革效能。
第三部分:通过情境对齐适应情境变异性
随着实施的推进和准备度的发展,本部分侧重于通过调整影响变革承诺和变革效能的情境因素来维持组织准备度。
- •
建议10:利用评估推动持续改进和问责制
评估实践标志着持续的实施能力,并塑造机构如何从变革中学习。当主要被构建为合规性时,评估有可能变得象征性而非发展性,限制了其对改进的贡献。评估利用理论区分了工具性使用(研究发现用于指导实践)和象征性使用(评估服务于问责功能)。机构应将项目级监控嵌入现有治理周期,以支持持续改进。聚合的进阶数据、反馈连贯性分析和定期的课程地图审查可以整合到项目审查过程中。建立连接评估发现与重新设计的反馈循环,支持适应性学习和迭代优化。这通过提高证据的解释和使用来改善变革效能,并通过共享改进问责制来强化变革承诺。
- •
建议11:根据机构规模和资源调整准备度策略
PLA 转型必须与机构规模和能力相称。基础设施、人员配置和资源的差异可能导致改革雄心与实施能力之间的不一致,从而在期望超过可用支持时限制变革效能并削弱变革承诺。机构规模、治理和资源分配塑造了实施的可行性和轨迹。机构应根据其情境调整策略。较小的机构可以从单一专业内的重点课程地图开始,而较大的院系可能需要由分布式协调和共享数据系统支持的阶段性推广。在资源受限的环境中,早期努力可能优先考虑明确进阶逻辑,然后再扩展到反馈整合和评估。关注情境因素(包括感知的可管理性)是实施成功的核心。这通过将实施需求与可用资源对齐来提高变革效能,并通过在不同情境中保持 PLA 的感知可行性和价值来强化变革承诺。
- •
建议12:优先考虑文化对齐而非模型复制
项目级评估方法源于特定的教育传统,并反映了关于学习者自主性、反馈对话和集体决策的假设。不加适应的复制可能使改革沦为程序性合规而非实质性变革,即使在结构设计看起来连贯的情况下也会削弱变革承诺。机构应审视当地传统、监管框架和学科身份如何塑造评估实践。结构化的教师对话可以揭示关于自主权、权威和进阶标准的假设,从而实现共享期望的协商。在课程所有权根深蒂固的地方,可能在引入协调的项目级结构之前就需要转向集体问责。跨不同情境的证据表明,转型是由文化、学科期望和结构安排之间的相互作用塑造的。将核心原则适应本地情境,通过增强合法性来提高变革承诺,并通过使实施方法与本地规范和期望对齐来支持变革效能。
在此基础上,研究人员提出了一个涵盖四个领域的连续体:结构对齐、文化所有权、教学连贯性和评估整合。十二条建议的分阶段组织与连续体上的进展相一致,诊断性策略、排序策略和适应性策略支持从新兴准备度向既定准备度迈进。这为识别当前准备度和优先考虑评估转型策略提供了实用支架,同时阐明了变革承诺和变革效能如何随着准备度演进而发展。
讨论与结论
论文总结指出,PLA 虽被广泛提倡用于加强健康专业教育的课程连贯性、整合反馈和支持进阶决策,但其实施仍复杂且不平衡,受机构文化、领导力、资源和治理结构的影响。转型努力常将准备度视为变革的先决条件,而非一种必须刻意发展和维持的动态、共同构建的能力。
借鉴 ORT,本文将 PLA 转型重新定义为一个机构变革过程,而非纯粹的技术重新设计。通过在发展连续体和一套实施策略中操作化变革承诺和变革效能,解释了准备度是如何建立的,以及为何实施结果在不同情境中各异。
可持续的改革不仅取决于评估设计,还取决于治理、文化、教学能力和评估之间的一致性。通过诊断机构条件、排序变革并根据情境调整策略,机构可以逐步建立 PLA 的共享承诺和集体能力。因此,组织准备度既作为一种解释性视角,也作为一种实用指南,使机构能够超越片段化的重新设计,迈向连贯、可扩展和可持续的评估转型。