人工智能能否编制多选题?ChatGPT生成与教育者撰写的多选题在研究生护理教育中的比较

《Nursing Reports》:Can AI Write MCQs? A Comparison of ChatGPT-Generated and Educator-Authored Multiple-Choice Questions in Graduate Nursing Education

【字体: 大 中 小 】 时间:2026年08月28日 来源:Nursing Reports 3.1

编辑推荐:

  背景/目标:高质量的多选题(MCQs)对于研究生层次护理项目的有效评估至关重要,然而开发此类题目对教育者而言是资源密集型的。诸如ChatGPT之类的大型语言模型可能生成教育评估内容;然而,关于其在生成研究生层次护理考试题目方面的有效性的证据仍然有限。本研究比较

  
背景/目标:高质量的多选题(MCQs)对于研究生层次护理项目的有效评估至关重要,然而开发此类题目对教育者而言是资源密集型的。诸如ChatGPT之类的大型语言模型可能生成教育评估内容;然而,关于其在生成研究生层次护理考试题目方面的有效性的证据仍然有限。本研究比较了ChatGPT生成与教育者撰写的用于研究生层次护理考试的多选题的感知质量,并探讨了评估者特征与质量评分之间的探索性关联。方法:开展了一项比较性横断面研究,27名国际护理教育者使用一份经专家审查的、评估八个质量领域的评分量表,独立评估了50道多选题(25道由ChatGPT生成,25道由教育者撰写),主要结局指标是两种来源之间感知质量评分的差异。参与者对题目来源设盲。结果:ChatGPT生成的多选题在大多数领域获得的评分名义上高于教育者撰写的题目,但效应量普遍较小(Cohen's d = 0.11–0.33)。在感知难度或干扰项合理性方面未观察到显著差异;经Bonferroni校正多重领域比较后,认知水平、情境相关性和教学一致性方面的差异仍然显著。结论:在结构化提示和专家精炼的支持下,ChatGPT生成的多选题获得的感知质量评分总体上与教育者撰写的题目相当,但在课堂使用前仍需专家审查,且这些结果应视为初步结论。这些发现支持将AI辅助题目开发作为一种补充策略,有待在更大规模、更严谨的研究中加以重复验证。
**论文解读:ChatGPT生成与教育者撰写的多选题在研究生护理教育中的质量比较研究**

**1. 研究背景与问题提出**

在研究生护理教育中,有效且可靠的评估至关重要。研究生阶段的护理课程通常侧重于评估学生的高阶临床推理能力,而非本科阶段所学习的专业知识。多选选择题(MCQs)因其高效性,被广泛用于评估大量学生的知识掌握情况。然而,编写高质量的多选题是一项极具挑战性的任务,需要教师投入大量时间、具备深厚的学科专业知识,并经过多轮审查。常见的错误(如认知水平定位不当、干扰项不 plausible、语言表述不清、与学习目标不一致)往往导致评估的效度和信度受损。随着研究生护理专业学生人数的增加以及课程内容的不断扩展,教育者面临更大的工作量压力,这使得引入人工智能(AI)技术辅助题目开发成为可能。大型语言模型(LLMs)如ChatGPT,在生成教育评估内容方面展现出潜力,但已有研究发现AI生成的问题可能存在内容不准确、干扰项不合理、认知技能评估深度不足等缺陷。此外,现有文献对AI生成题目与教育者撰写题目在研究生护理教育领域的比较研究较少,且很少关注评估者自身特征(如年龄、教学经验)对质量评分的影响。因此,本研究旨在填补这一空白,通过盲法专家评估,系统比较ChatGPT生成与教育者撰写的多选题在多个质量维度上的感知质量,并探索评估者特征与评分之间的关系。

**2. 研究设计与技术方法**

本研究采用比较性横断面设计。研究对象为27名国际护理教育者,他们来自中东、北美、亚洲、欧洲、非洲和澳大利亚等多个地区,涵盖多个护理专业领域。参与者通过目的性抽样招募,要求具有护理研究生学位、目前或近期在研究生护理项目中任教,并具有开发护理课程内容或评估的经验。评估材料为50道多选题,其中25道由ChatGPT(GPT-4)基于研究生护理课程目标和认知水平生成,经过迭代提示和专家精炼;另25道由护理教育者根据相同的课程目标撰写,每人撰写的题目经一次相关性和适当性审查。研究采用了研究者自制的质量评估量表,包含8个领域:认知水平、情境相关性、感知区分潜力、感知难度、干扰项合理性、偏见与包容性语言、清晰度与精确性、教学一致性。评分采用1-5分李克特量表(1=非常差,5=优秀)。评估者对题目的来源保持盲态,所有题目经过统一格式化处理,并以随机顺序呈现。完成质量评分后,参与者还需判断每道题目的来源(AI生成或人工撰写),以测试其鉴别能力。统计分析包括独立样本t检验、单因素方差分析(ANOVA)、卡方检验,并计算效应量(Cohen's d和η2)。对于8个领域的多重比较,应用Bonferroni校正(显著性阈值α=0.00625)。由于评分数据嵌套于评估者和题目之中,所有推断性分析均视为探索性而非确证性。

**3. 主要研究结果**

*3.1 参与者特征*:27名护理教育者中,近一半(48.1%)年龄在45-55岁之间,三分之二(66.7%)拥有博士学位,三分之一(33.3%)具有超过21年的教学经验,74.1%有使用ChatGPT的经验。

*3.2 ChatGPT生成与教育者撰写多选题的质量比较*:ChatGPT生成的题目在大多数领域中获得了名义上更高的评分,平均分在3.6至4.4之间。在认知水平、情境相关性、感知区分潜力、偏见与包容性语言、清晰度、教学一致性和总体质量评分上,ChatGPT生成的题目评分高于教育者撰写的题目。然而,经Bonferroni校正后,仅认知水平、情境相关性和教学一致性三个领域的差异仍然显著。所有效应量均较小(Cohen's d = 0.11-0.33),最大差异出现在情境相关性(d = 0.33)。在感知难度和干扰项合理性方面,两来源之间没有显著差异。

*3.3 评估者年龄与质量评分*:不同年龄组之间的总体质量评分存在显著差异(F = 44.66, p < 0.001, η2 = 0.091)。35-45岁年龄组的评分最高(33.8 ± 5.0),其次是45-55岁组(32.7 ± 6.1),而最年轻组(30.3 ± 5.0)和最年长组(29.0 ± 4.8)评分较低。年龄对评分具有中等效应量。

*3.4 教学经验与质量评分*:教学经验对质量评分没有统计学显著影响(F = 1.69, p = 0.167, η2 = 0.004)。11-20年经验组评分最高(32.6),其次为21年以上组(32.0),6-10年组和0-5年组评分相近(31.8和31.7)。教学经验的影响非常小。

*3.5 感知适用性*:总体而言,87.2%的题目评估认为MCQ适合纳入护理考试,12.8%被认为不适合。这表明专家评估者对两种来源的题目均有较高接受度。

*3.6 来源鉴别准确性*:参与者正确识别题目来源的比例仅为51.4%,与随机水平(50%)无显著差异(χ2(1) = 1.02, p = 0.31)。这表明教育者无法可靠地区分AI生成和人工撰写的题目。

**4. 讨论与结论**

讨论部分指出,本研究的发现挑战了AI生成题目主要适用于事实回忆的假设。通过精心设计的提示,ChatGPT能够生成认知水平和情境相关性评分更高的题目,这表明AI辅助题目开发的潜力。然而,研究强调这些结果并不表示AI能独立产生优于人类的评估内容,而是反映了在系统精炼和专家审查后AI题目的表现。因此,研究支持“教育者监督下的AI辅助题目开发”模式,而非完全自动化生成。

在来源鉴别方面,专家无法超越随机水平区分题目来源,这一发现具有双重意义:一方面,盲法程序确保了质量评估的有效性;另一方面,也预示着AI生成内容与人类撰写内容日益趋同,对学术诚信和政策制定带来挑战。

研究还分析了AI评分较高的可能原因,包括LLM遵循结构化提示的一致性、迭代提示带来的优化,以及AI生成的题目与课程目标和认知水平的更强对齐。但研究也承认,AI题目经历了更频繁的精炼过程,而人工题目仅经过一次审查,这种审查强度的不对称可能解释部分差异。

与文献相比,本研究结果与多数报告AI生成题目质量与人工题目相当或更优的研究一致,但也存在不一致的报道。差异可能源于提示策略、学科领域、评估者经验、AI模型版本及人工审查程度等因素。

评估者特征方面,年龄对评分有适度影响,但最年轻和最年长组的样本量较小,结果应视为假设生成性。教学经验对总体评分无显著影响,但在特定领域可能有差异。

本研究为护理教育提供了实践意义:个体教育者可使用AI起草初稿,然后依据8个质量维度进行审查;大学和护理项目可利用AI辅助生成共享题库,减轻工作负担,但必须将有效提示和强制人工审查纳入教师发展;研究者应利用学生实际表现数据开展心理测量学评估,并采用混合效应模型重复验证。

最后,研究结论指出:ChatGPT能够支持开发与教育者撰写题目感知质量相当的研究生护理多选题,但这一发现基于专家评估而非客观心理测量表现,应谨慎解读。AI可作为协作工具支持而非替代教育者的判断。未来研究应使用更大、更多样化的样本,结合学生表现数据、严谨的心理测量方法和考虑重复测量嵌套结构的统计方法,在不同LLM、卫生专业和教育层次中进一步明确AI在评估开发中的适当角色。

本研究在方法论上具有多项优势,如盲法设计、相同的课程目标、多维评分量表、国际专家组等。局限性包括样本量较小、量表未经外部验证、仅使用GPT-4模型、未使用学生成绩数据评估题目质量、AI题目的来源资源未明确、人工题目作者多个导致异质性、审查强度不对称、以及一名参与者的最高学历为学士而非研究生学历。这些局限性提示研究结果应视为初步探索性结论。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号