基于大语言模型的自动问题生成:综述

《ACM Computing Surveys》:Automatic Question Generation with Large Language Models: A Survey

【字体: 大 中 小 】 时间:2026年08月28日 来源:ACM Computing Surveys 30.4

编辑推荐:

   摘要 AI 摘要 查看此 AI 生成的摘要,您必须拥有高级访问权限。 了解更多 登录 摘要 摘要 摘要 基于测试的学习在促进知识留存方面很有效,但手动创建评估问题仍然耗时且限制了学生的个性化练习。大语言模型(LLMs)的出现为自动题目生成(AQG)引入了新的可能性。受此背景驱

  

摘要 AI 摘要
查看此 AI 生成的摘要,您必须拥有高级访问权限。
了解更多 登录 摘要 摘要
摘要
基于测试的学习在促进知识留存方面很有效,但手动创建评估问题仍然耗时且限制了学生的个性化练习。大语言模型(LLMs)的出现为自动题目生成(AQG)引入了新的可能性。受此背景驱动,本综述全面概述了使用 LLMs 进行 AQG 的情况,重点关注教育应用。遵循 PRISMA 方法论,我们审查了 2023 年至 2025 年间发表的 132 项研究。我们的贡献包括按回答开放程度对问题类型进行分类,分析跨知识领域、教育水平、评估策略和难度控制的 AQG 努力。我们还确定了反复出现的挑战和研究机会。
AI 摘要
AI 生成摘要(实验性)
此摘要使用自动化工具生成,未经文章作者撰写或审查。它旨在支持发现,帮助读者评估相关性,并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要,后者仍然是论文的主要摘要。全文仍是权威的记录版本。点击此处了解更多。
点击此处评论此摘要的准确性、清晰度和实用性。这样做将有助于告知改进和未来重新生成的版本。查看此 AI 生成的通俗语言摘要,您必须拥有高级访问权限。
1 引言
基于测试和以问题为导向的学习长期以来被认为是最有效的方法之一,用于强化知识和长期留存,优于阅读材料等传统方法 [139]。根据 McDermott [92] 的说法,通过主动检索知识,大脑加强了记忆连接,促进更有效和持久的学习。这种做法有助于直接回忆被测试的信息,并增强对相关内容的回忆,有助于学习的迁移。
然而,手动创建问题耗时,导致许多教师依赖有限数量的问题,可能限制学生的练习和参与度。为解决此问题,多年来已探索自动题目生成(AQG)作为解决方案。AQG 的相关性在于其对各个领域的影响,特别是在教育、对话系统和应用于自然语言理解的人工智能(AI)方面 [97]。关于此主题的研究有助于开发数字学习环境,以提高学生培训并协助教师更快地生成活动并减少工作量 [22]。
生成具有适当质量和多样性的问题仍然是一个持续的研究挑战。Lee 等人 [75]、Wang 等人 [136] 指出,既定的 AQG 方法通常基于模板、规则或统计模型,为该领域奠定了基础。虽然在结构化场景中有效,但这些方法在考虑输出变异性以及适应不同教育环境方面面临固有挑战。大语言模型(LLMs)的出现引入了互补能力,提供了一种处理自然语言的概率方法。
自动题目生成旨在简化评估活动的创建,可能允许教师将更多时间分配到直接教学和与学生互动,而不是花费大量时间手动为形成性和总结性评估编写问题 [16]。此外,这些工具旨在通过探索适应不同学习环境和需求的内容方式,来支持评估材料的多样化。
在此背景下,LLMs 已展现出生成连贯和详细文本的能力,表明它们在 AQG 中协助的潜力,取决于用户提示的质量 [69]。然而,由于其概率性质,LLMs 可能生成不正确或误导性的响应,这在制定评估问题时呈现出严重风险 [19]。
由于错误可能损害学生学习,因此识别改善自动生成问题质量的适当方法至关重要。这突出了一项系统性文献综述的相关性,该综述提供了最新技术的全面视图,展示了进展、挑战和开放的研究主题。在文献中,可以找到关于 AQG 的相关综述 [27, 97, 105]。然而,在 2022 年末发布基于 LLM 的工具(如 ChatGPT)之后,此类综述很少。这些工具使先进的自然语言生成能力更容易获得,促使关于其在 AQG 中应用的研究激增。这些技术迅速发展,为生成具有教学相关性、多样性和情境感知的问题引入了新机会。虽然其中一些进展已经在文献中探索过,但尚未被系统地组织和深入讨论。
本文提出了一项广泛而系统的文献综述,关于近期使用 LLM 技术进行 AQG 的努力。我们的研究方法遵循 PRISMA 框架,审查了 2023 年至 2025 年间发表的 132 项研究。这项调查探索了主要学术数据库,并通过定义的纳入标准过滤结果。除了系统的选择过程外,该研究引入了一种结构化的分析方法,将文献组织为主题维度。这些通过策划的数据表随后进行关键讨论,旨在识别优势、局限性、趋势和研究机会。
我们总结主要贡献如下:
— 关于 AQG 的深入文献综述,涵盖 2023 年至 2025 年,包括 LLMs 和基于 LLM 的软件工具的最新进展发布。
— 一种原创的问题类型分类法,组织和定义它们以支持本综述以及未来与 AQG 及其评估相关的研究。
— 从不同角度全面组织并讨论使用 LLMs 进行 AQG 的最新技术状态,包括:(a)按生成问题类型分类;(b)使用的 LLMs;(c)知识领域;(d)应用生成问题的教育水平;(e)用于自动生成问题的评估技术;以及(f)用于控制或分析问题难度水平的方法。
— 识别、分析并深入讨论关于在 AQG 中使用 LLMs 的反复出现的基础研究挑战,突出推进该领域的开放研究机会。
本综述主要针对对自然语言处理(NLP)和生成式 AI 有基础理解的研究人员、教育工作者和实践者。虽然我们提供了教育应用的背景,但关于模型、其架构、生成策略和评估指标的技术讨论假设熟悉该领域的标准术语。对于需要 AQG 基础方法和标准评估指标入门的读者,我们参考 Das 等人 [27],Flor [35],Mulla 和 Gharpure [97]。
我们的分析表明,近年来使用 LLMs 进行 AQG 的文献增长迅速,但在几个维度上仍然碎片化。大多数研究侧重于生成封闭式问题,特别是选择题,因为它们与自动评估对齐。基于 GPT 的模型是使用最广泛的,其次是 T5 和 BERT 变体,反映了少数 LLM 家族在该领域的主导地位。AQG 的使用主要局限于高等教育,而针对小学和中学的研究仍然很少。这种集中限制了对不同教育水平和学习者概况的覆盖。不到 15% 的审查文章报告了在真实课堂环境中的实施。手动专家评估仍然是主要策略,但其对人类审查者的依赖呈现出效率限制。不到一半的审查文章解决了问题难度。这些发现指向一个过渡中的领域,模型能力有令人鼓舞的进展,但在教育整合和方法论稳健性方面仍存在持续差距。
本文其余部分组织如下:第 2 节描述用于进行我们文献综述的方法论。第 3 节分析相关文献综述并突出它们与本研究的不同之处。第 4 节提出建议的问题类型分类法。第 5 节组织并讨论 AQG 的最新技术状态。第 6 节确定文献中报告的与 AQG 相关的挑战并概述开放的研究机会。最后,第 7 节提出结论。
2 方法论
本研究遵循 PRISMA 方法论 [104],适应以解决研究的特定特征,确保与其目标一致。这些适应增强了数据检索和选择的精度,反映了 LLMs 及其在 AQG 中应用的快速演变。
搜索在 Scopus,1 CAPES 期刊门户,2 和 ACM 数字图书馆 3 上进行,辅以 Google Scholar 结果的审查。选择这些数据源是基于它们对相关研究领域的全面覆盖。Scopus 是一个领先的多学科数据库,广泛用于索引高质量的同行评审文章。CAPES 期刊门户作为一个主要聚合器,覆盖广泛的多出版商数据库,如 IEEE 和 Springer。它提供对大量学术资源的访问,特别是来自拉丁美洲机构,确保包含区域重要研究。ACM 数字图书馆专注于计算和 AI 研究,使其与 LLMs 研究高度相关。包括 Google Scholar 是为了捕获可能未在传统数据库中索引的额外灰色文献和会议文章。
为每个数据库开发了定制搜索方程,以优化搜索准确性,利用其各自的查询语法同时保持来源之间的逻辑一致性。表 1 展示了每个数据库使用的具体搜索查询。由于 CAPES 期刊门户不支持高级搜索查询,我们使用了两个独立查询以确保更广泛地检索相关研究。尽可能时,搜索限制在标题、摘要和关键词中以增强精度。使用通配符(例如,“automat*")和更广泛术语的试点搜索进行了,但产生了过多的无关记录。因此,我们在搜索阶段依赖特定关键词。为确保选择相关研究,在人工筛选期间,语境(教育)和方法(LLMs)被用作严格的纳入标准,而不是限制初始搜索字符串。
表 1.数据库/搜索引擎 搜索查询
CAPES 期刊门户 自动题目生成 自动项目生成
Scopus 标题 - 摘要 - 关键词 ((automatic AND question AND generation)OR (automatic AND item AND generation))AND 出版年份 > 2022 AND 出版年份 < 2026 AND(限制为 (语言,"英语") OR 限制为 (语言,"西班牙语")OR 限制为 (语言,"葡萄牙语"))
ACM 数字图书馆 标题:((automatic AND question AND generation)OR (automatic AND item AND generation))OR 摘要:((automatic AND question AND generation)OR (automatic AND item AND generation))OR 关键词:((automatic AND question AND generation)OR (automatic AND item AND generation))
Google Scholar (automatic AND question AND generation)OR (automatic AND item AND generation)
应用于不同数据库以检索文献的搜索查询
研究的选择受明确定义的纳入和排除标准指导,主要侧重于利用 LLMs 进行 AQG、解决教育语境、自 2023 年起发表(当 ChatGPT 等软件工具变得广泛可用并开始影响学术研究时)以及用英语、葡萄牙语或西班牙语撰写的研究。
图 1 展示了研究选择过程。应用搜索参数后,检索到 18,623 条记录,包括 CAPES 期刊门户的 522 条,Scopus 的 650 条,ACM 数字图书馆的 551 条,以及 Google Scholar 的 16,900 条结果。使用 Zotero,一种促进文献组织和重复检测的参考文献管理工具,删除了 67 条重复条目。
图 1.说明系统性审查过程的 PRISMA 流程图。
鉴于记录的高数量,特别是来自 Google Scholar,它产生了大量低特异性结果,实施了一个严格的过滤过程。两名研究人员手动进行了标题和摘要的初步筛选,应用了关于 AQG 相关性、LLM 使用和教育语境的排除标准。在仅凭摘要无法确定相关性的情况下,对引言和结论部分进行了有针对性的审查,以验证研究的具体贡献。这一筛选过程将数据集减少到 265 项潜在相关研究。
从这个子集中,18 项研究因无法访问而被排除。剩余的文章进行了全文审查,其中排除标准以特定的顺序重新审视:首先,移除与 AQG 无关的研究(n=8);其次,排除没有 LLM 应用的研究(n=87);最后,丢弃与教育主题脱节的研究(n=20)。对于文献综述,仅考虑与 AQG 的相关性,没有额外的排除标准。因此,132 项研究被纳入最终分析。虽然搜索范围包括英语、葡萄牙语和西班牙语,但最终选择完全由用英语撰写的文章组成。表 2 展示了在整个研究过程中应用的纳入和排除标准的综合概述。
表 2.纳入标准 排除标准
? 利用 LLMs 进行 AQG 的研究。? 缺乏与 AQG 的相关性。
? 应用于教育语境的研究。? 缺乏 LLM 应用。
? 发表于 2023 年至 2025 年之间。? 与教育主题脱节。
? 用英语、葡萄牙语或西班牙语撰写。? 全文无法访问。
? 同行评审文章和会议论文。? 重复条目。
纳入和排除标准
132 项选定研究的时间分布表明该领域正在迅速扩张。

出版物数量从 2023 年的 42 篇增加到 2024 年的 81 篇,几乎翻倍,这反映了在教育环境中更广泛采用大语言模型(LLMs)后研究的激增。数据集还包括 2025 年的 9 项研究,反映了截至第一季度末可用的文献。为了减轻潜在的偏见,实施了几项措施,以确保更严格的选择过程。使用多个数据库以增强代表性并减少特定数据库的偏见,同时应用一致的搜索策略以保持数据检索的统一性。明确定义的纳入和排除标准有助于最小化选择偏差,并进行了双重审查流程以提高准确性并减少个别研究人员的偏见。此外,纳入多语言来源确保了对研究格局更广泛的覆盖。图 2 总结了研究的逻辑结构。为了清晰起见,图中的每个元素都标记为 A 到 F 的字母,用作引用此类元素的参考。该过程始于基于 PRISMA 的系统方法选择 132 篇文章(图 2 中的 A),如前所述。这些文章被分为两组:12 篇综述文章和 120 项探索性研究。我们在调查定位(图 2 中的 B)中检查这 12 篇综述,以概述先前调查的贡献和局限性,并将本研究(第 3 节)的范围和原创性置于背景中。问题类型分类法(图 2 中的 C)基于结构性开放性定义了教育问题格式的分类法(第 4 节)。该分类法作为第 5 节和第 6 节开发的分析程序的参考。

图 2. 研究的逻辑结构。

从那时起,我们的研究采用结构化、数据驱动的方法来组织和解释这 120 项探索性研究。在分析分组(图 2 中的 D)中,提取关键信息并根据五个分析维度进行组织:问题类型、基于 LLM 的方法、教育领域、评估策略和难度控制。这些维度指导讨论与分析(图 2 中的 E)中主题表格的手工构建,支持模式、主要方法和新兴趋势的综合(第 5 节)。最后,挑战与机遇(图 2 中的 F)总结了一系列反复出现的困难和开放的研究方向,详见第 6 节。这种逻辑组织实现了跨分析维度的综合综合,使我们的研究能够超越分类,为该领域识别优势、局限性和新兴方向做出贡献。

3 分析相关文献综述

本节分析先前对 AQG 各种方法进行了文献综述的研究。本分析旨在识别这些研究之间的共同点和区别,同时突出它们的贡献以及我们当前研究的原创性。通过检查这些先前的努力,我们在更广泛的研究格局中有效地定位了我们的调查,展示了我们的研究如何不同于现有的综述。一些研究在生成的问题类型和涉及的知识领域方面具有相似性。例如,Al Shuraiqi 等人 [5] 和 K?yak 和 Emekli [71] 调查了用于健康教育的自动选择题生成(AMCQG)方法。虽然 Al Shuraiqi 等人 [5] 提供了各种方法的调查,包括基于本体方法、NLP、机器学习(ML)和 LLMs,但 K?yak 和 Emekli [71] 采取更有针对性的方法,通过对 ChatGPT 在选择题(MCQ)生成中的作用进行快速审查。两项研究都强调专家评估的必要性,以确保准确性和教学效果。在更广泛的 MCQ 生成背景下,Al Shuraiqi 等人 [5]、Henry 等人 [53]、Khandait 和 Bhura [65]、K?yak 和 Emekli [71]、Madri 和 Meruva [87] 以及 Awalurahman 和 Budi [11] 检查了 AQG 的不同方面。Madri 和 Meruva [87] 调查了 MCQ 生成技术,特别关注干扰项质量和评估挑战。类似地,Awalurahman 和 Budi [11] 提供了关于自动干扰项生成(ADG)的系统文献综述(SLR),映射趋势并突出差距,例如需要多语言 ADG 研究和改进的干扰项质量控制。与此同时,Henry 等人 [53] 通过系统审查基于变压器的 AMCQG 方法扩展了先前的研究,确定了数据集标准化和评估中的关键挑战。这些研究共同突出了 MCQ 生成中的进展和持续存在的问题,从干扰项质量到 LLM 集成。更广泛地说,Khandait 和 Bhura [65] 以及 Mulla 和 Gharpure [97] 提出了 AQG 方法论的综合综述。Khandait 和 Bhura [65] 探索了各种基于 NLP 的 AQG 方法,包括序列到序列模型和神经网络,同时识别了语义理解和评估技术中的挑战。Mulla 和 Gharpure [97] 将 AQG 方法分类为独立问题生成、视觉问题生成和对话问题生成,概述了语法正确性、领域适应和评估指标方面的差距。两项研究都强调了 ML 和深度学习(DL)在增强 AQG 中的作用。他们还强调了问题多样性和自动评估方法论方面的局限性。

评估仍然是 AQG 研究中的关键关注点,正如 Gorgun 和 Bulut [42, 43] 所讨论的那样。在 [42] 中,作者批评了现有的评估框架,强调需要高效、自动化的评估技术。在 [43] 中,他们调查了 AQG 评估方法,提出了一种分类法,将基于指标、基于人类和混合的方法进行分类。两项研究都强调了 AQG 评估中的不一致性以及需要更可靠的心理测量和计算评估方法。在神经方法的背景下,Al Faraby 等人 [4] 提供了神经问题生成(NQG)的调查,识别了数据集可用性、问题难度控制和评估鲁棒性方面的挑战。这项研究强调了情境感知 NQG 的相关性以及需要超越词汇相似度指标的更具教学意义的评估标准。与此同时,Tuhpatussania 等人 [129] 提供了关于印尼语教育文本的自动问答生成(AQAG)的 SLR,分析了编码器 - 解码器模型和变压器等方法论,同时强调了缺乏印尼语教育内容的开放数据集。Circi 等人 [25] 提出了关于自动项目生成(AIG)的叙述性综述,将其置于更广泛的 AQG 领域背景下,并突出了其对结构化评估模型的相关性。在他们的分析中,作者将 AIG 和 AQG 定义为同义词,广泛指代从各种输入生成问题的过程。然而,他们指出 AIG 是教育测量中习惯上偏好的术语,其中问题被明确称为“项目”,以强调其心理测量有效性与特定构念的一致性,而 AQG 则经常在整个研究格局中用作可互换的术语。这项研究考察了基于模板的 AIG 方法的主导地位,同时讨论了 LLMs 的新兴作用以及干扰项生成和难度校准中的持续挑战。近年来进行的 AQG 文献综述展示了最新技术的重大进步。表 3 总结了 2023 年至 2025 年间发表的所有分析综述。十二项中的五项主要引用截至 2022 年发表的文章,另外三项包括截至 2023 年的引用。只有四项研究引用了截至 2024 年发表的研究:三项专门关注 MCQ 生成 [11, 53, 71],一项(简洁的 SLR)在较窄的分析范围内涵盖了多种类型的问题 [129]。

表 3. 近期 AQG 文献综述的特征总结,排除评估提案、挑战讨论和研究机遇,因为所有研究都涵盖了这些方面

| 参考 | 问题类型 | LLM 焦点 | 按问题类型的文献 | 按 LLM 的文献 | 难度水平 | 参数化问题 | 最新引用 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| Mulla and Gharpure [97] | 封闭,半开放,开放 | ? | | ? | | | | 2022 |
| Circi et al. [25] | MCQ,半开放 | | | | | | | 2022 |
| Al Faraby et al. [4] | 封闭,半开放,开放 | | | ? | ? | | | 2022 |
| Al Shuraiqi et al. [5] | MCQ | | | ? | | | | 2023 |
| Madri and Meruva [87] | MCQ | | | | | | | 2022 |
| K?yak and Emekli [71] | MCQ | ? | | | | | | 2024 |
| Gorgun and Bulut [42] | 无 | | | | | | | 2023 |
| Henry et al. [53] | MCQ | ? | | | | | | 2024 |
| Gorgun and Bulut [43] | 无 | | | ? | ? | | | 2023 |
| Awalurahman and Budi [11] | MCQ | | | ? | | | | 2024 |
| Tuhpatussania et al. [129] | 封闭,半开放,开放 | ? | ? | | | | | 2024 |
| Khandait and Bhura [65] | MCQ | | | | | | | 2022 |
| 本研究 | 封闭,半开放,开放 | ? | ? | ? | ? | ? | 2025 |

除了参考文献的时间限制外,这些综述之间的另一个共同方面是,它们都在一定程度上解决了与生成问题评估相关的问题。除了 [129] 的简洁 SLR 外,这些研究中没有一项基于生成问题的类型系统地组织文献,也没有提及参数化问题,即允许修改其提示以创建新实例的问题,这有助于为大规模应用构建题库。此外,在分析的十二项综述中,只有两项探索了与问题难度水平相关的策略,并且两者都完全依赖于截至 2022 年发表的文章。我们的研究完全解决了所有这些差距。此外,我们当前的原创文献综述通过对 2023 年至 2025 年间发表的 120 篇文章进行深入分析,专注于教育背景下使用 LLMs 的 AQG,从而与这些综述区分开来。我们的贡献涵盖了最新技术的最新进展,系统地组织、分析和讨论这些努力,以促进该领域的未来研究。

4 问题类型分类法

Luckesi [86] 将学习评估理解为一种连续和有意的过程,旨在诊断学生的情况,以支持促进其教育发展的决策。对于作者来说,评估是基于相关数据做出价值判断,以促进扩大学习机会的教学干预。这种观点与 Libaneo [81] 的观点密切相关,Libaneo [81] 认为评估是教学实践的重要组成部分。根据 Libaneo [81] 的说法,评估是一项复杂的任务,涵盖教学、诊断和监测功能,依赖于能够验证学业成绩的工具。两位作者都承认通过测量获得的数据的相关性。他们强调,此类数据必须根据教师的经验和学生所处的背景进行解释。从这个角度来看,评估数据的教学解释需要对工具本身进行批判性检查,这证明了使用问题类型分类法作为构建和评估评估实践的分析框架的合理性。这种分类在不同领域得到了广泛开发,为分析评估结构提供了基础。例如,在教育研究中,Day 和 Park [28] 提出了一种分类法,将阅读理解类型与相应的问题格式联系起来,从字面理解和重组到推理、预测、评估和个人反应。他们的框架明确地将认知需求与是/否、真/假、"wh"疑问句、替代项和选择题项目等格式联系起来,展示了不同的问题结构如何提供不同水平的解释参与。在教育心理学中,Anderson 和 Krathwohl [9] 修订了 Bloom 分类法 [17],以根据认知过程对问题进行分类,将重点从问题格式转移到回答所需的心理复杂性。补充这一观点,Haladyna 等人 [52] 综合了关于选择题编写实证和理论研究,提出了基于证据的指导方针,区分有效和有缺陷的项目构建,特别强调有效性、可靠性以及课堂评估项目设计中嵌入的认知需求。在 NLP 和话语分析领域,分类法服务于更具结构和语义目的。Graesser 和 Person [46] 基于人类辅导的逻辑开发了一种包含 18 个探究类别的分类法,专注于问题如何作为信息寻求机制发挥作用。类似地,Li 和 Roth [77] 引入了一种用于问题分类的层次语义分类法,它已成为计算语言学中广泛引用的参考文献,用于训练自动化系统识别查询的“答案类型”(例如,人类、实体或数字)。虽然这些既定的分类法主要解决认知水平、项目质量或语义意图,但本研究中采用的分类法特别关注响应格式的结构性开放性,将教学需求与生成模型的技术能力对齐。教育中的分类法通过防止随意的评估设计并确保与学习目标一致,促进教学意图性。通过提供标准化的语言,他们促进评估者之间的一致性,澄清正在评估的构念,并支持从低水平回忆到高级认知需求的进展。在这个既定传统中,按照功能特征组织问题类型有助于系统设计与预期学习成果相一致的评估工具。虽然开放、封闭和半开放结构之间的区别在教学实践中已被广泛认可,但基于这些类别开发分类法为评估当前 AQG 系统的输出多样性和评分可行性提供了必要的分析框架。本研究中提出的分类法的开发基于对教育环境中常用问题类型的分析,考虑其结构、功能和认知需求。项目被分为三种主要类型:开放、封闭和半开放,基于学生回答的自由度和所需技能。采用了一种基于定性的探索性程序。首先,我们分析了三个广泛使用的学习管理系统(LMSs),Canvas、Blackboard 和 Moodle。

目标是识别这些平台支持的问题类型以及教师在评估活动中最常使用的格式。这种分析允许识别常见的结构和配置模式。在第二阶段,根据第 2 节描述的方法论选取的研究语料库,连同关于教育评估和问题设计的开创性研究(特别是 Day 和 Park [28]、Libaneo [81] 以及 Luckesi [86]),被用来识别文献中描述的问题类型和评估结构。对这些来源的文本分析使得能够在 LMS 平台中观察到的实践与评估设计的理论框架之间进行比较。基于数字平台的技术视角和学术文献的理论视角之间的汇合,问题按结构、所需回答类型和开放程度进行了分类。这种比较支持了我们定义分类法的提议和组织。

图 3 展示了由此产生的分类法,它在实际适用性与概念严谨性之间取得了平衡。

图 3. 基于开放程度和回答格式的教育背景下的问题类型。

封闭式问题通过结构化格式提供客观答案,在设计/功能上有所不同,根据教学目标实现不同的评估。多项选择题(MCQs)允许选择一个或多个正确答案,有时涉及计算,在评估概念理解、批判性分析和公式应用方面非常有效。是非题(布尔问题)快速高效地评估对直接内容的理解。匹配题要求学生连接两个列表中的项目,允许评估他们对概念之间关系的理解。数值题要求输入精确值,带或不带公式,非常适合测量计算的准确性和数学程序的使用。

半开放问题占据中间地带,学生必须生成答案而不是选择,但预期回答被限制在特定术语、短语或关键词。这种格式消除了像多项选择那样偶然猜测的可能性,同时确保答案足够可预测,可以由算法评估(例如,精确匹配或关键词检测)。带变体的简答题要求简洁输入,同时允许同义词或等效表达。它们非常适合评估具有有限语言多样性空间的概念知识。填空题专门评估内容掌握和构建信息的能力,可能包含文本、数值或视觉元素。

开放式问题允许学生以书面形式阐述他们的想法,没有预设的回答格式。论文题需要扩展回答,通常是一段或多段,旨在评估论证、反思和连贯组织想法的能力。简短书面回答由简洁文本组成,通常在两到五行之间,用于总结信息、定义概念或提供客观解释。它们有助于评估清晰度和对核心内容的掌握。论证或话语分析题要求学生批判性地评估想法、观点、图表或陈述。这使教师能够评估学生在不同情境下推断、证明和应用分析思维的能力。

表 4 进一步阐明了该分类法,展示了与每种识别出的问题类型相对应的示例。这种映射有助于可视化不同格式如何与回答的开放程度和问题的结构相关联。如前所述并在示例中所示,分为开放式、半开放式和封闭式反映了每个项目的结构配置,以及预期回答的性质,从客观选择到自由阐述,这支持了评估任务中不同水平的表达性和评估深度。

表 4. 分类、问题类型、示例

封闭式
多项选择:以下哪项正确描述了光合作用的一个特征?(a) CO2 释放,(b) 氧气消耗,(c) 葡萄糖产生,(d) 氮气吸收
是非题(布尔问题):(真)水在海平面 100°C 沸腾。(假)水在 10°C 冻结。
匹配:将元素与其各自的分类匹配:(1) H2O – () 分子化合物 (2) NaCl – () 离子盐 (3) O2 – () 简单物质
数值:计算一个物体在 20 秒内行驶 100 米的平均速度。答案:5 m/s

半开放式
带变体的简答题:使用可再生能源的一个好处是什么?答案:它们减少污染 / 它们是可持续的 / 它们不会耗尽自然资源
填空:水是由两个原子和一个原子组成的物质。答案:分子,氢,氧

开放式
带理由的封闭题:钙元素属于哪个组?(a) 碱金属,(b) 碱土金属,(c) 过渡金属,(d) 非金属。说明你的答案。
论文:解释温室效应如何导致全球变暖,讨论原因和环境后果。
简短书面回答:解释质量和体积如何与密度概念相关。将答案限制在五行以内。
话语分析:根据提供的漫画,批判性地分析消费与环境之间的关系,突出主要的隐含论点。

按分类和回答格式组织的问题类型示例,遵循提出的分类法

当结合使用时,这三种类别支持综合评估,平衡客观性、深度和表达性推理。例如,Onal 和 Kulavuz-Onal [103] 从应用和跨学科的角度定义了问题类型,使用 ChatGPT 为高等工程应用语言学课程生成评估任务。他们不是提出正式的抽象类别,而是通过生成任务的结构来说明类型,包括 MCQs、案例研究、数学问题和语言学分析练习。每种任务类型都根据其教学目的进行了讨论。MCQs 测试事实和概念知识,案例研究促进情境化应用,数学问题评估定量推理,语言任务鼓励基于语用惯例的真实数据分析。作者展示了每种格式如何通过特定的提示词量身定制给 ChatGPT,展示了针对各种教育目的的灵活性和适应性。

在此基础上,提出的分类法有助于澄清不同问题类型不仅与回答格式相关,还与评估策略相关。封闭式项目以客观、标准化的回答为特征,特别适合自动评分,常用于数字评估。半开放问题结合了结构与受限制的阐述,允许学生输入足够可预测的答案以供自动评分。反过来,开放式格式需要更多的解释性方法,因为它们涉及依赖于情境理解和定性分析的论述性回答。通过建立这些类别及其与评分方法的对应关系,该分类法为将评估设计与教学意图和可用技术资源相协调提供了实用参考。

5 自动问题生成

本节全面分析了最近关于使用大语言模型(LLMs)进行自动问题生成(AQG)的研究。基于前面引入的分类法(第 4 节),我们通过多个视角检查了文献,包括问题类型、模型实现、应用领域、评估策略和处理问题难度的方法。目的是突出关键趋势,识别反复出现的挑战,并概述未来工作的方向。

5.1 问题类型

第 4 节引入的分类法为组织本研究中分析的问题类型提供了基础。虽然它最初是为了支持教学设计和评估计划,但在本节中,它作为分析透镜,用于映射和解释最近关于使用 LLM 进行 AQG 的研究中问题类型的使用。

表 5 展示了根据提出的分类法对 AQG 相关文献的组织。每一行对应一种特定的问题类型,列出的参考文献表示使用 LLM 自动生成该类型问题的研究。数据中出现了几个模式。首先,MCQs 似乎是所审查文献中最突出的问题类型。这种格式广泛应用于不同的教育水平和领域,如测验、练习和正式评估。其频繁采用可能是由于其多功能性及其适合自动评分,这与 AQG 研究中通常追求的效率目标非常吻合。

表 5. 分类、问题类型、参考文献

封闭式
多项选择:[1, 2, 3, 6, 7, 8, 10, 13, 16, 19, 20, 21, 22, 23, 26, 29, 30, 32, 33, 34, 36, 37, 38, 40, 45, 47, 48, 50, 51, 55, 60, 61, 64, 66, 68, 69, 70, 72, 73, 74, 75, 76, 82, 83, 85, 89, 95, 99, 100, 102, 103, 109, 110, 111, 112, 113, 114, 117, 118, 122, 128, 133, 134, 135, 137, 138, 141, 142, 146]
是非题(布尔问题):[3, 6, 7, 8, 33, 36, 45, 75, 85, 95, 132, 133]
匹配:[3, 30, 33, 67]
数值:[19, 58, 59, 90, 108, 130]
不适用:[126]

半开放式
带变体的简答题:[1, 12, 15, 18, 20, 33, 36, 38, 39, 41, 49, 54, 56, 57, 61, 62, 63, 78, 79, 80, 95, 98, 101, 107, 115, 117, 120, 121, 125, 127, 131, 133, 136, 137, 140, 143]
填空:[1, 3, 6, 7, 14, 30, 33, 36, 38, 44, 45, 56, 75, 91, 95, 132, 133, 137]
不适用:[93, 126]

开放式
带理由的封闭题:[19, 130]
论文:[24, 37, 40, 88, 103, 124]
简短书面回答:[8, 24, 31, 37, 40, 45, 56, 60, 63, 75, 84, 88, 94, 95, 96, 103, 106, 109, 116, 117, 119, 124, 125, 136, 144, 145]
话语分析:[24, 37, 40, 88, 103, 124]
不适用:[3, 6, 7, 30, 123, 126]

根据提出的分类法,按问题类型组织所审查的文献

在更广泛的层面上,封闭式问题是所审查研究中最常见的目标分类。半开放问题是第二受探索的组,而开放式问题被解决得较少。这种分布符合预期,因为封闭和半开放格式更有效地支持自动评分,使它们与由 LLM 驱动的大规模教育应用的实用需求相一致。

在半开放式和开放式类别中,两种类型因其反复出现而脱颖而出:带变体的简答题和简短书面回答。这些格式特别适合回答"wh"类问题(例如,谁、什么、何时、何地、为什么、如何),这些问题经常用于教育评估。它们在 AQG 文献中的广泛使用表明了对它们的教学效用和评估潜力的认可,因为它们允许学生简洁地表达理解和推理,同时保持相对易于评估。

总体而言,研究在分类法上的分布表明,AQG 文献明显偏好那些促进自动评估且能更高效扩展的问题类型。同时,更具表达性格式的存在反映了对扩展基于 LLM 的问题生成的教学范围和支持更丰富的学习评估形式的努力。

5.1.1 参数化问题。

另一个与自动评估目标紧密相关的重要方面是参数化问题的使用。虽然前面讨论的分类法根据结构开放性组织问题类型,但值得注意的是,参数化技术可以应用于所有这些类别:封闭式、半开放式和开放式均适用。与其定义一种新格式,不如说参数化是修改现有结构以实现变化,因此将其视为问题生成的属性而不是独立的分类类别更为合适。

在教育背景下,问题参数化指的是通过修改特定元素同时保留潜在结构来生成多个问题变体。这种技术对于涉及计算、解决问题或应用公式的问题特别有效,因为它允许对数值、上下文或语言参数进行受控调整,而不改变目标认知技能或概念内容。表 6 通过展示具有可变输入的问题模型,该模型产生相同潜在结构的不同实现,举例说明这种方法。

表 6. 组件、示例

问题模板:[country] 的首都是什么?
参数:[country] ∈{ France, Brazil, Japan }
生成实例:法国的首都是什么?巴西的首都是什么?日本的首都是什么?

参数化问题模板和生成实例示例

所审查的研究揭示了在使用 LLM 进行 AQG 的参数化方面的多样化方法范围。例如,K?yak [69] 通过具有可替换变量(如临床主题和难度级别)的结构化提示词进行直接参数化,使得基于固定模板的 MCQs 受控变化。在此基础上,K?yak 等人 [72] 引入了 Hybrid AIG 方法,通过将年龄、性别和症状等变量系统结合,将手动编写的问题转换为可参数化模板,确保逻辑一致性和临床有效性。

在另一个方向上,Sayin 和 Gierl [114] 提出了一种认知模型,对语义和语言特征进行参数化,包括文本结构和可读性,允许生成语义不同但在复杂性上教学等价的阅读理解项目。同样,Jiao 等人 [62] 将难度、主题和方程等参数纳入自然语言数学问题的生成。他们的方法利用基于能量模型和专家系统评估的指导,进行问题重构和受控变化,以确保概念连贯性和实际适用性。

最后,在 [90] 中,作者提出了一种混合策略,将结构化模板与由大型语言模型(LLMs)驱动的 linguistic reformulation(语言重构)相结合,在不损害意义或可解性的前提下实现了文本多样性。这些研究表明,参数化如何作为一种强大策略,用于平衡自动生成问题中的变化与控制。通过系统调整关键参数(无论是数值、上下文还是语言学参数),LLMs 可以被引导以产生多样且连贯的问题,甚至产生用于计算期望答案的源代码。这种技术的灵活性使其在构建大规模题库和支持跨教育领域的差异化教学方面具有特别价值。然而,尽管具有潜力,参数化的显式使用目前文献中仍相对罕见。在本综述中,少于 5% 的已审查研究展示了参数化问题生成的具体实现。这表明,尽管参数化在内容多样性和教学鲁棒性方面具有明显优势,但在涉及 LLMs 的 AQG 研究中,它仍然是一个未被充分探索且记录不足领域。

5.2 基于 LLM 的方法

LLMs 在 AQG 研究中扮演着日益突出的角色,为高效、上下文感知和语义丰富的问题生成提供了新的可能性。它们处理大规模文本数据、保持上下文连贯性并生成类人响应的能力,有助于形成更具适应性和教学价值的 AQG 方法。这些模型的集成实现了内容创建的自动化,并提升了跨多种教育情境下生成项目的多样性和质量。

此类模型整合到 AQG 方法中的一种主要方式是增强和多样化问题生成过程。诸如 GPT 和 T5 等模型可以从非结构化文本或结构化知识表示中生成各种类型的问题 [3, 37, 48]。一些系统探索多语言能力并支持特定领域的应用 [37, 94]。在某些情况下,这些模型会生成问题的多种变体以提高项目多样性 [48]。

此类模型也用于答案生成,为生成的问题提供正确响应 [83]。此外,几个系统使用语言模型生成答案解释或理由,这有助于阐明正确选择背后的推理 [69, 82]。

另一个频繁的应用是干扰项的生成。这些模型已被用于创建与正确答案语义相似且与上下文连贯的选项 [13, 85]。一些研究利用基于语义相似性的排序或过滤机制来优化干扰项生成 [68]。

一些 AQG 方法允许对生成项目的结构和风格进行更多控制。问题格式转换已被探索,以利用 LLMs 在填空题和多项选择题(MCQs)之间进行转换 [50]。

语言模型还支持内容提取和摘要,帮助在生成问题之前从输入文档中选择或浓缩相关片段 [36, 94]。

逐步推理模拟的使用已被探索以提高问题和答案的教学价值。通过诸如思维链提示(chain-of-thought prompting)等方法,模型生成有助于数学和逻辑等领域的中间推理步骤 [19]。

在评估背景下,此类模型已被应用于语义和上下文分析。例如,基于 BERT 的相似性度量被用于评估干扰项的连贯性以及问题与源材料之间的一致性 [10, 68]。一些研究使用 LLMs 进行自动评估,其中模型对生成项目的质量或清晰度提供判断 [44]。

预训练语言模型也被探索用于学生答案的自动评估。在阅读理解和短答任务中,模型将学生响应与参考答案进行比较,并提供分数或定性反馈 [137]。

关于难度,此类模型被用于难度估计或控制,要么通过调整生成提示,要么通过分析问题的词汇和语义特征 [127]。在某些情况下,难度通过基于规则的框架和预定义约束来控制,例如词汇阈值、数学要求或结构化课程模板 [59, 62]。

困惑度计算也被用作问题流畅性和语言质量的代理指标。使用语言模型计算出的较低困惑度得分通常与更自然和可读的问题相关联 [18, 24]。

已审查的研究表明,这些模型支持 AQG 在广泛任务中的应用,如问题和答案生成、干扰项创建、内容摘要、项目评估和难度估计。这些功能有助于开发用于教育、形成性和评估重点应用的更灵活和高效的问题生成系统。

除了识别 LLMs 在 AQG 工作流中的不同用途外,我们还考察了在已审查文献中最常采用哪些模型和实现。表 7 展示了应用于 AQG 任务的广泛 LLM 变体,涵盖了从像 GPT、BERT 和 T5 这样的通用模型到多语言和特定领域的适应。这些变体通常反映了对语言覆盖范围(例如 mT5, AraBERT)、指令微调(例如 Flan-T5, ChatGPT)或架构简化(例如 DistilBERT, FastT5)的适应。

表 7. 模型变体及相关实现与参考文献

| 模型 | 变体及相关实现 | 参考文献 |
| :--- | :--- | :--- |
| BERT | BERT (12), DistilBERT (2), RoBERTa (2), IndoBERT (2), BERT-Shared (1), BERTSum (1), BertForSequenceClassification (1), bert-base-uncased (1), bert-large-uncased (1), mrm8488/bert2bert-spanish-question-generation (1), roberta-base-squad2 (1), ALBERT (1), AraBERT (1), SlovakBERT (1), SBERT (1), IndoBERTFormer (1) | [1, 6, 7, 10, 16, 32, 33, 37, 54, 60, 62, 68, 91, 93, 98, 100, 101, 111, 121, 127, 131, 134, 141, 146] |
| BART | BART (11), BART Base (2), MBART (2), BART Large (1), BARTPho (1), IndoBART (1), IndoBARTFormer (1), MBARThez (1), mBART Large (1) | [1, 15, 20, 24, 31, 37, 40, 56, 83, 88, 108, 109, 121, 123, 134, 144, 145] |
| T5 | T5 (29), mT5 (5), T5 Small (5), T5 Base (4), Flan-T5 (4), T5 Large (2), mT5 Base (2), Leaf (2), Flan-T5-XXL (2), T5-3B (1), T5-Pegasus (1), FastT5 (1), Flan-T5 Base (1), Flan-T5 Large (1), Flan-T5 Small (1), Flan-T5-XL (1), Flan-T5-ppl (1), mT5 Small (1), valhalla/t5-based-e2e-qg (1), AraT5 (1), RuT5 (1), ViT5 (1), PTT5 (1), EduQG (1), Slovak T5 (1) | [1, 3, 6, 8, 12, 16, 18, 20, 22, 23, 29, 33, 34, 36, 38, 39, 41, 45, 50, 57, 61, 62, 67, 79, 83, 84, 85, 88, 90, 93, 95, 98, 99, 100, 101, 106, 108, 109, 111, 112, 116, 120, 122, 123, 124, 125, 126, 127, 132, 133, 134, 138] |
| GPT | GPT-2 (9), GPT-3 (9), GPT-3.5 (21), GPT-3.5-turbo (14), GPT-4 (20), text-davinci-003 (5), IndoGPT (2), GPT-4-turbo (1), GPT-4o-mini (1), InstructGPT (1), text-davinci-002 (1), ChatGPT Plus (1), ChatGPT-3.5-turbo (1), RuGPT3 (1), IndoTransGPT (1), Bing Chat (1) | [1, 2, 6, 13, 14, 15, 16, 19, 21, 22, 26, 30, 32, 33, 34, 36, 37, 38, 41, 47, 48, 49, 51, 55, 56, 57, 58, 59, 63, 64, 66, 69, 70, 72, 73, 74, 75, 76, 78, 80, 82, 83, 84, 85, 88, 89, 90, 94, 96, 102, 103, 107, 108, 110, 113, 114, 115, 117, 118, 119, 121, 122, 128, 130, 131, 135, 136, 137, 140, 142, 143, 144] |
| LLaMA | LLaMA 3-8B (2), LLaMA (1), LLaMA 2 Chat-70B (1), LLaMA 2 Chat-13B (1) | [40, 44, 110, 113] |
| Mistral | Mistral 7B (2) | [15, 90] |
| Pegasus | Pegasus (2) | [88, 90] |
| Claude | Claude 3 Opus (1) | [110] |
| LaMDA | LaMDA (1) | [13] |
| Macaw+ | Macaw+ (1) | [102] |
| Sabiá | Sabiá-medium (1) | [107] |
| Falcon | Falcon 7B (1) | [15] |

已审查文献中使用的 LLMs 及其变体和相关实现(格式为(出现次数)),包括相应的参考文献。

图 4 提供了它们整体分布的视觉总结。基于 GPT 的模型出现次数最多(89 次),其次是 T5(71 次)、BERT(30 次)和 BART(21 次)。其他模型,包括 LLaMA、Pegasus 和 Mistral,出现频率较低,但仍说明了在这个领域对开放权重和指令微调模型的实验。

图 4. 已审查文献中 LLMs 变体及相关实现的总出现次数。

实现的多样性突显了 LLMs 的灵活性,并表明 AQG 中的模型选择通常受有效性、微调能力和易用性之间权衡的指导。每个模型都利用独特的编程接口(API),这是在选择所需功能时的关键因素。

5.3 知识领域和教育水平

AQG 展现了相当大的知识和教育多样性。提案已涌现于各个学科,包括计算机科学、医学、心理学、数学、化学、语言学习和一般科学,受众涵盖从小学教育到大学项目的各个层次。表 8 通过根据相关的知识领域对已审查研究进行分组,总结了这一学科范围,并列出了特定学科及其出现频率。值得注意的是,通用系统占主导地位,同时也对计算教育、语言学和 STEM 等领域保持一致的兴趣。这反映了 AQG 系统设计旨在支持的教育目标的多样性。

表 8. 按知识领域划分的已审查文献参考文献,显示特定学科的分布(格式为(出现次数))

| 知识领域 | 学科 | 参考文献 |
| :--- | :--- | :--- |
| 通用目的 | 通用目的 (42) | [3, 6, 7, 12, 13, 15, 20, 22, 29, 31, 33, 36, 38, 44, 45, 49, 50, 54, 55, 57, 60, 61, 63, 67, 68, 78, 79, 80, 89, 93, 95, 96, 106, 107, 111, 124, 125, 133, 140, 143, 145, 146] |
| 语言学与语言 | 阅读理解 (15), 英语 (7), 汉语 (2), 应用语言学 (1), 德语 (1), 日语 (1) | [10, 14, 16, 23, 24, 37, 39, 56, 75, 82, 85, 91, 103, 109, 113, 114, 116, 121, 122, 127, 131, 134, 136, 137, 141] |
| 计算教育 | 计算教育 (4), Python 编程 (3), 人工智能 (2), 数据库 (2), CS1 (2), Java 编程 (2), 操作系统 (2), CS0 (1), CS2 (1), 数据科学 (1), 编程 (1), SQL 编程 (1), 模式识别 (1) | [2, 8, 32, 41, 47, 48, 51, 83, 84, 98, 101, 110, 115, 118, 119, 120, 126, 128, 135, 144] |
| STEM | 科学 (7), 数学 (7), 几何 (1), 物理 (1), 化学 (1), 工业工程 (1), STEM (1) | [16, 18, 19, 30, 34, 58, 59, 62, 76, 88, 90, 94, 99, 100, 103, 108, 123, 130, 138] |
| 健康教育 | 健康教育 (9), 生物学 (2), 解剖学 (1), 生理学 (1), 高血压 (1), 生命科学 (1), 护理 (1), 传统中医 (1) | [1, 21, 26, 40, 48, 64, 66, 69, 70, 72, 73, 74, 102, 112, 116, 132] |
| 人文与社会科学 | 历史 (3), 心理学 (1), 公民教育 (1), 社会科学 (1) | [16, 40, 88, 132, 142] |
| 环境与地球科学 | 地理 (3), 环境研究 (1), 自然科学 (1) | [40, 88, 112, 117] |
| 商业与经济学 | 业务流程建模与符号 (1), 经济学 (1) | [88, 123] |

尽管范围广泛,但相对较少的研究(少于已审查文献的 15%)将其工作扩展到了真实的教育环境中。大多数 AQG 研究仍局限于使用基准数据集或专家评审进行模型开发和评估,在实际课堂环境中的实施有限。

在将 AQG 应用于真实教育环境的研究中,几个值得注意的例子突显了情境和教育水平的多样性。在小学阶段,Utami 等人 [130] 引入了 Geo-QG 系统,利用增强现实生成个性化的几何文字问题,并在印度尼西亚与五年级学生一起实施。类似地,一个游戏化的 Moodle 插件通过自动生成的多项选择题评估了五年级学生 [13]。人工智能生成的阅读理解问题被部署为土耳其八年级学生国家标准化考试的一部分 [114],并且 AQG 被整合到小学汉语教学中 [136]。

在中学和高中水平,英语开放式填空问题在日本一所高中实施 [91],而为准备 A-Level 考试的预科学生生成了化学、物理和数学的多步计算问题 [19]。Lee 等人 [75] 与初中和高中英语教师一起评估了 LLM 生成的阅读理解问题,而 Andersson 和 Picazo-Sanchez [10] 为日语能力测试创建了问题,针对具有不同熟练程度的成人学习者。

在高等教育中,医学领域看到了广泛的应用。Co?kun 等人 [26]、K?yak 等人 [70] 和 Laupichler 等人 [74] 在临床培训、药物治疗考试和神经生理学评估等情境下,用 ChatGPT 生成的问题测试了本科医学生。Lin 和 Chen [82] 用中文大学生学习的软件工程课程使用了人工智能生成的阅读理解问题。Ling 和 Afzaal [83] 在本科和研究生水平的三门计算课程中应用了 AQG。其他例子包括化学课程 [30]、心理学教育 [142] 和计算机科学教学 [96]。一个大规模、高风险的应用也发生在多邻国英语测试中,其中 LLM 生成的问题被整合到操作评估中 [14]。

除了课堂应用之外,几项研究通过技术和概念进步对 AQG 的教育潜力做出了重大贡献。例如,Grévisse 等人 [48] 在医学和计算机科学中生成了特定领域的问题,并用专家评审人员进行了评估。Meissner 等人 [94] 专注于高等教育的数学,使生成内容符合课程目标和专家评估。利用领域对齐材料探索了先进计算学科(如人工智能和数据库编程)的努力,以确保教学的相关性 [41, 101]。

此外,Hadzhikoleva 等人 [51] 利用布鲁姆分类法为数据库课程定制了问题,以评估高阶思维,编程问题由大学教师生成和审查 [115]。尽管未在学生中实施,但这些努力增进了我们对于 AQG 系统如何与课程目标和学科期望对齐的理解。很大一部分 AQG 研究遵循通用设计方法(图 5)。这些系统通常旨在实现领域无关性,优先考虑广泛的适用性和语言流利度,而非课程特定性。例如,有些模型专注于从任意文本生成问题,而不针对特定的教育背景 [3, 22, 38, 60, 106]。虽然这种通用性支持平台无关的实现,并在多个学科和教育层次上具有广泛的适用性,但当需要课程对齐或学习者建模时,它也可能限制生成内容的即时教学法相关性。

图 5。综述文献中按知识领域和教育层次统计的出现次数,包括适用于各种情境的通用案例。

这一趋势反映了 AQG 起源于自然语言处理,其评估由 SQuAD 或 HotpotQA 等指标和基准驱动 [3, 38]。虽然这些系统在语法正确性和语义连贯性方面表现出色,但除非与具体的学习目标挂钩,否则其教学法价值往往未经测试。从教育角度看,有效的出题生成需要整合内容知识、教学设计和学习者建模。因此,与其将通用性视为唯一目标,未来的 AQG 研究若能更深入地参与教育实践的复杂性,将更有益处。我们相信,与教育工作者合作,将出题生成与学习者的认知和教学法需求对齐,能够设计出灵活且具有教学意义的系统。

图 5 展示了通用方法的显著性以及 AQG 研究在各教育情境中的分布。图 5(a) 显示大多数研究未绑定特定领域,通用系统构成了最大的群体,其次是语言学和计算领域的反复努力。图 5(b) 显示了类似的模式,通用系统在各教育层次中也十分频繁。尽管如此,大多数提案集中在高等教育,而小学、初中和高中层次仍相对缺乏代表性。表 9 进一步详细说明了这种分布,列出了与每个阶段相关的参考文献。

表 9. 按教育层次划分的综述文献中的参考文献

| 教育层次 | 参考文献 |
| :--- | :--- |
| 高等教育 | [2, 8, 10, 14, 18, 21, 24, 26, 30, 32, 33, 34, 41, 47, 48, 50, 51, 66, 67, 68, 69, 70, 72, 73, 74, 82, 83, 84, 94, 96, 101, 102, 103, 110, 115, 116, 118, 119, 126, 128, 137, 142, 144] |
| 通用 | [3, 7, 12, 15, 20, 29, 31, 36, 37, 38, 44, 45, 49, 54, 55, 57, 60, 61, 63, 78, 79, 80, 89, 93, 95, 100, 106, 107, 111, 121, 122, 124, 125, 127, 131, 133, 140, 143, 146] |
| 初中 | [16, 39, 40, 56, 62, 75, 76, 88, 108, 112, 114, 117, 132, 134, 135, 136, 138] |
| 高中 | [19, 22, 39, 40, 56, 62, 75, 76, 85, 88, 90, 91, 108, 132, 134, 138, 141] |
| 小学 | [13, 16, 39, 58, 59, 62, 76, 108, 109, 130, 134, 136, 138] |

尽管 AQG 提案涵盖了所有教育层次,但其在高等教育中的集中以及通用系统的普遍存在,表明当前研究努力与更广泛的教育需求多样性之间存在差距。这种差距在早期教育和义务教育中尤为明显,在这些阶段,教学法约束和学习目标通常更具结构性和情境依赖性。

5.4 评估

确保自动生成问题的质量是建立其可靠性、教学法相关性和实际应用性的基础。随着 AQG 越来越多地出现在教育工具和评估设计中,对严格评估方法论的需求也随之增长。评估生成内容不仅仅是一个技术检查点。它是保障学习成果、促进对自动生成过程的信任以及使生成的问题与教学目标对齐的关键。

反映这种复杂性,AQG 中的评估方法在途径、范围和应用时间上差异很大。一些指标通过在部署前分析语言和语义特征来评估问题,而另一些则需要收集课堂实施后收集的学生反应数据。表 10 提供了本节讨论的主要评估类别的高级概述,为读者提供了综述文献中采用的多种方法论途径的初始参考框架。

表 10. AQG 研究中主要评估方法类别的概述

| 类别 | 测量内容 | 应用时间 |
| :--- | :--- | :--- |
| N-gram 指标 (BLEU, ROUGE, METEOR) | 基于词级精确率和召回率的生成文本与参考答案之间的词汇重叠。 | 部署前(快速自动评分) |
| 语义相似度 (BERTScore) | 使用上下文嵌入捕捉超越精确词汇匹配的含义的语义对齐。 | 部署前(语义分析) |
| 流利度指标 (困惑度) | 基于语言模型概率分布的语言流利度和自然性。 | 部署前(流利度评估) |
| 心理测量模型 (IRT, CTT) | 从学生表现数据得出的潜在项目属性,如难度和区分度。 | 部署后(反应统计分析) |
| 评分者间信度 (Kappa) | 评估问题质量的多个人类评估者之间的一致程度。 | 可变(取决于研究设计) |
| 排名质量 (NDCG) | 基于相关性判断和位置的排名项目列表的质量。 | 部署前或部署后(排名评估) |

这些类别并非互斥,许多研究结合多种评估方法以加强其发现。例如,自动指标可用于初步筛选,随后进行结构化专家审查,并在课堂实施后进行心理测量分析。

表 11 按评估策略类型对综述文献进行分类,列出了代表性参考文献和最常用的方法。它突出了特定技术的普遍性,例如自动指标中的 BLEU 和 ROUGE,以及手动方法中的基于专家的评估。

表 11. 按类型划分的评估方法,附有综述文献中相应的参考文献及最常用方法,格式为(出现次数)

| 类别 | 参考文献 | 最常用的三种方法 |
| :--- | :--- | :--- |
| 文本相似度指标 | [3, 6, 7, 10, 12, 15, 16, 18, 20, 24, 29, 31, 34, 37, 38, 40, 44, 45, 49, 54, 56, 57, 59, 62, 63, 64, 66, 67, 78, 79, 80, 83, 85, 88, 89, 90, 98, 99, 101, 108, 109, 110, 112, 116, 117, 120, 121, 122, 123, 124, 125, 132, 134, 138, 140, 141, 143, 144, 146] | BLEU (42), ROUGE (41), METEOR (23) |
| 基于语言模型的评估 | [16, 18, 30, 34, 36, 38, 50, 59, 62, 79, 93, 99, 101, 110, 113, 117, 126, 128, 131, 140] | 困惑度 (7), 基于提示 (6), 语义相似度评估 (2) |
| 比较评估 | [2, 3, 13, 32, 33, 38, 50, 91, 103, 107, 108, 110, 116, 122, 123, 127, 137] | 基于基准 (14), QRelScore (2), NDCG@10 (1) |
| 统计和心理测量分析 | [13, 19, 26, 30, 32, 36, 39, 44, 58, 68, 70, 75, 76, 82, 83, 113, 114, 118, 119, 127, 130, 137, 141, 142] | 经验评估 (13), 项目反应理论 (4), 经典测试理论 (3) |
| 结构化评估方法 | [1, 2, 8, 10, 14, 15, 16, 19, 21, 23, 24, 30, 31, 32, 33, 34, 36, 38, 40, 41, 44, 47, 48, 49, 50, 51, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 66, 67, 70, 72, 73, 74, 75, 76, 78, 79, 80, 82, 83, 84, 88, 89, 90, 91, 94, 96, 98, 102, 103, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 118, 122, 124, 127, 130, 131, 132, 133, 135, 136, 137, 142, 143, 144, 145] | 专家评估 (81), 干扰项评估 (4), 基于评分标准 (3) |
| 文本质量和连贯性评估 | [6, 13, 18, 34, 62, 64, 99, 107, 113, 135] | 多样性 (3), 语法分析 (3), 连贯性分析 (2) |
| 结构和语言复杂性指标 | [6, 22, 61, 124, 126] | 词错误率 (3), Brunet 指数 (1), 基于依存句法分析图 (1) |
| 计算和基于代码的评估 | [101, 111, 115, 126] | CodeRunner 测试 (1), 交叉熵误差函数 (1), MSE 损失 (1) |

表 11 展示了一个被广泛采用的评估类别,“文本相似度指标”,它量化了生成问题与参考问题之间词汇或语义重叠的程度。BLEU 和 ROUGE 是最常报告的方法之一,出现在约三分之一的综述研究中。METEOR、F1 分数和 BERTScore 也常用于捕捉更细粒度的相似性方面,如同义、改写和短语对齐。

虽然这些指标提供了快速执行和可比性,但它们主要关注表面层面对齐,可能无法完全捕捉教学法或功能质量。这些技术可以在交付问题之前应用,从而允许高效地自动过滤低质量输出。

为了补充这一点,大量研究采用了“结构化评估方法”,其中人类专家或教育工作者根据预定标准评估生成的项目。其中,基于专家的评估尤为突出,出现在近 70% 的分析研究中。这种普遍存在反映了对专家判断的强烈依赖,以评估生成问题的教学法合理性、清晰度和对齐情况。然而,这种依赖引发了对大规模场景可行性的担忧。手动评估耗时且资源密集,这可能削弱 AQG 背后的核心动机之一:能够高效提供多样化的评估材料。在大规模评估情境或自适应测试环境中,减少对人工专家审查的依赖成为一个重大挑战。

其他结构化评估方法包括“基于评分标准评分”、干扰项分析和评分者间一致性措施,如 Fleiss 的 Kappa 和 Cohen 的 Kappa [23, 54, 75]。虽然这些方法提供了更系统的评估程序,但它们需要人工干预,且没有大量协调就无法快速扩展。

一些研究结合了“统计和心理测量分析”来评估问题的区分力和可靠性,使用点二列相关、项目反应理论 (IRT) 和经典测试理论 (CTT) 等技术 [26, 70, 76]。这些方法依赖于学习者反应数据,意味着它们只能在问题实际使用之后应用。它们对于深入分析问题表现很有价值,但涉及更高的成本和延迟的反馈。

“比较评估”也很常见,特别是在比较不同的 AQG 技术或模型配置时。这些评估使用标准数据集,如 SQuAD 或 HotpotQA,并报告如 BLEU、ROUGE 或 NDCG@10 等指标以建立可复制的基准 [15, 29]。作为一个类别,它提供了对相对有效性的见解,但通常依赖于基准特定的格式或资源。

最近的一些研究探索了“基于语言模型的评估”,其中 LLM 不用于问题生成,而是用于评分和评估输出质量。这些包括基于提示的评分、语义相似度分类或从 Sentence-BERT 或 GPTScore 等模型得出的分数 [34, 44, 99]。这些方法可以在问题部署前使用,并提供了大规模自动评估的潜力,尽管关于它们与人类判断的一致性仍存在疑问。

其他调查专注于“文本质量和连贯性评估”,采用困惑度、语法检查或流利度措施来评估生成内容的表面和结构质量 [18, 99]。这些方法通常很轻量,可以集成到早期管道中以过滤掉格式不佳的问题。

其他研究强调了“计算和基于代码的评估”,特别是在涉及逻辑或代码执行的领域。例如,Chan 等人 [19] 通过执行代码来验证多步编程问题的正确性。其他方法跟踪训练损失或交叉熵误差等指标,以在生成过程中进行低层一致性和调试 [111, 115]。这些应用在生成期间或生成后不久,不需要学习者交互。

少数研究应用了“结构和语言复杂性指标”,如词错误率、类型 - 标记比或句法树深度(例如 Yngve 深度)来评估生成问题的语言属性 [124, 126]。这些技术可以在使用前自动计算,在多语言环境或专注于语法变异和风格时特别有用。

我们发现 AQG 中的评估远非单一。相反,它涉及自动化工具、专家判断和经验测试之间的丰富互动。随着出题生成技术的发展,未来的工作必须探索这些方法如何结合、简化或适应不同的教育情境,而不损害可靠性或教育完整性。

5.5 难度级别

管理自动生成问题的难度级别是 AQG 的核心关注点,特别是在将问题复杂性与学习者画像或教学目标对齐时。几项研究探讨了使用多种策略控制、调整或检测难度级别的机制。

表 12 展示了这些贡献的总结概述。这将综述研究按方法类型进行分类,从心理测量模型和基于语言模型的评估到认知框架和结构化人类评估。

它突出了每个类别中最常用的技术,包括基于提示的控制、布鲁姆分类法和项目反应理论(IRT)。

表 12. 按类型分类的难度相关方法,包括参考文献和所审查文献中常用的方法,格式为(出现次数)

| 类别 | 参考文献 | 最常用的三种方法 |
| :--- | :--- | :--- |
| 文本相似度指标 | [13, 37, 64, 114] | BERTScore (1), 余弦相似度 (1), 同义词使用 (1) |
| 基于语言模型的评估 | [13, 24, 55, 58, 59, 62, 69, 76, 80, 82, 94, 115, 118, 130] | 基于提示的 (11), 基于机器学习的 (1), 困惑度奖励 (1) |
| 比较评估 | [10, 91, 108] | 基于基准的 (1), 上下文分数 (1), 差距分数阈值化 (1) |
| 统计和心理测量分析 | [10, 26, 32, 62, 68, 70, 74, 82, 83, 114, 119, 127, 131, 137, 141, 142] | 项目反应理论 (5), 实证评估 (4), 题目难度指数 (3) |
| 结构化评估方法 | [8, 48, 59, 61, 62, 64, 75, 83, 84, 88, 89, 103, 112, 114, 118, 137] | 专家评估 (15), 学生评估 (1) |
| 文本质量和连贯性评估 | [10, 37, 113] | 文本信息量 (2), 可回答性 (1), 语法复杂性 (1) |
| 语言特征提取 | [62, 63] | 命名实体识别 (1), 词性标注 (1), 公式复杂性控制 (1) |
| 认知和教学框架 | [2, 24, 32, 50, 51, 62, 63, 67, 82, 94, 98, 114, 117, 127, 132, 135, 136, 137, 144, 146] | 布鲁姆分类法 (11), Anderson 和 Krathwohl 的分类法 (1), 习得年龄 (1) |

基于语言模型的评估以及认知或教学框架尤为突出,表明强烈依赖大语言模型 (LLMs),并在教育理论的指导下影响难度。人类专家的结构化评估也被广泛使用,表明定性审查仍然是确保教学一致性的核心。另一方面,涉及文本相似度指标、语言特征提取或使用整理数据集进行基准测试的技术出现频率较低,通常支持其他方法,而不是作为主要机制。

正如表 12 所示,一种常见策略是通过提示参数进行显式控制。例如,Hadzhikoleva 等人 [51] 和 K?yak [69] 提出的系统允许教育者在提示中直接指定所需的难度级别(例如,简单、中等、困难)。这种方法允许灵活生成,但通常缺乏系统性验证。相比之下,K?yak 等人 [70] 将基于提示的控制与使用经典测试理论 (CTT) 的事后验证相结合,表明从学生表现数据中获得的难度指数与提示中声明的级别一致。

其他研究整合了像布鲁姆分类法这样的认知框架作为难度的代理指标。在 [50] 中,问题被标记为四个布鲁姆水平(记忆、理解、应用和分析),并使用最少所需句子数 (MRS) 指标来捕捉结构复杂性。同样,Mulla 和 Gharpure [98] 引入了一种认知水平分类器,在问题生成之前分配布鲁姆水平,确保不同的 LLMs 针对特定的认知类别进行微调。这些策略反映了通过分类对齐使难度控制形式化的日益增长的趋势。

几项研究应用心理测量模型进行更细粒度的分析。例如,Kumar 等人 [68] 使用拉什模型和项目反应理论 (IRT) 中的双参数逻辑模型 (2PL) 来分类问题难度。这使得能够解释区分度和信息量等题目特征。同样,Tomikawa 等人 [127] 利用 IRT 分数来条件化问题生成,并实施了一个计算机化自适应测试 (CAT) 框架,以使问题适应个别学习者。

结合控制和验证的混合系统也已出现。Chung 等人 [24] 提出的 Handover QG 架构利用了具有双解码器的强化学习,其中一个倾向于简单的常识性问题,另一个处理复杂的考试式题目。通过基于熵和困惑度的奖励函数优化的切换机制,引导模型生成适当难度的问题。

语义和语言特征用于难度估计。在 [37] 中,分析了句子长度、语法复杂性和词汇多样性等语言指标。Kauchak 等人 [64] 将基于 BERT 的语义相似度指标与人类评分相结合,以评估问题相对于源文本的认知需求。这些方法表明,较低的表面相似度可能与较高的复杂性相关。

实证评估仍然至关重要。在 [114] 中,一个认知模型约束了生成题目的语义和结构特征,心理测量措施证实了难度级别的一致性。同样,Hwang 和 Utami [59] 将问题复杂性与课程级别对齐,并通过专家评分验证了感知难度,表明基于提示的变化可以反映挑战性的有意义差异。

一些调查探索了程序或架构解决方案。Kulshreshtha 和 Rumshisky [67] 提出的推理电路框架将多跳问题生成分解为结构化的推理步骤,从而能够直接控制逻辑复杂性。在一种相关的方法中,Liang 等人 [80] 使用排序的示例和思维链提示来引导 LLMs 完成 progressively harder tasks( progressively 更困难的任务)。

一个关键发现是,少于半数的审查研究提出了控制、调整或检测难度的显式机制,这表明这仍然是自动问题生成 (AQG) 中一个相对未充分探索的方面。这一综合提供了关于难度管理如何被解决的比较视角,并有助于识别文献中的主导趋势和未充分探索的领域。

6 挑战与开放研究机会

本节检查所审查文献中确定的开放研究方向如何与影响 LLMs AQG 的未解决问题相关联。这一分析旨在阐明这些方向如何与已知的障碍相交,引导未来的调查走向未充分探索的领域和研究主题。为了支持这一讨论,表 13 总结了所选研究中提到的最常见挑战,基于对其重复性和相关性的手动验证。

表 13. 所审查文献中反复出现的挑战

| 反复出现的挑战 | 参考文献 |
| :--- | :--- |
| 确保问题与内容之间的语义对齐 | [1, 31, 68, 79, 84, 112] |
| 生成多样且语法正确的问题 | [37, 39, 45] |
| 生成看似合理且无歧义的错误选项 | [16, 22, 29, 40, 47, 61, 63, 64, 66, 100, 111, 118, 122, 141] |
| 确保生成问题的上下文相关性 | [20, 26, 60, 103, 106, 109] |
| 控制或调整问题的难度级别 | [60, 63, 127, 131] |
| 评估问题质量的指标和方法的局限性 | [15, 127] |
| 针对较低学习水平的问题多样性低 | [2, 117] |
| 模型在处理复杂或多步骤问题时的局限性 | [12, 40, 48, 89] |
| 需要精炼的提示工程以改进结果 | [69, 74, 103] |
| 从短文本或有限上下文中生成问题 | [1, 55] |
| 依赖人类专家确保问题质量 | [30, 69, 144] |
| 低资源语言中的特定挑战 | [57, 89] |

所审查文献中反复出现的挑战

LLMs AQG 中的几个持续问题,如表 13 所总结,继续塑造研究格局,并反映在所审查文献中提出的研究方向中。例如,确保生成问题与源内容之间语义对齐的难度仍然是经常提及的担忧,因为它涉及生成准确反映源材料预期含义且不引入事实不一致或无关元素的问题。相应的研究机会包括增强生成项目的语义深度和特异性 [31],通过模型调整提高连贯性 [36],以及探索结合自动化和专家知情策略的混合评估方法 [37]。

语言多样性和语法正确性的局限性导致了持续的研究线索。几项研究指出需要通过生成参数扩展词汇变异 [2],提高生成问题的流畅性和自然性 [54],以及纳入如新颖性和批判性思维等更高层次的评估维度 [38]。这些开放的研究途径旨在使生成的问题不仅更准确,而且更具教学丰富性。

生成看似合理且无歧义的干扰项,这是多项选择题格式的一个核心方面,是另一个未解决的问题。文献讨论了这一问题与诸如推进干扰项生成方法 [50]、模拟更真实的替代方案 [10] 以及开发模型以从看似合理性和琐碎性方面评估干扰项质量 [85] 等努力的关系。

生成问题与其周围上下文的相关性仍然是开放的关注点。相关研究描述了这一难度与基于检索的生成机制的局限性 [76]、将问题与结构化知识源对齐的挑战 [126] 以及处理噪声或不熟悉输入时的模型不稳定性 [39] 有关。

关于问题难度维度,几个提出的研究方向旨在改进生成项目复杂性的控制和调整。这些包括用于生成特定难度内容的校准管道 [22]、适应教育年级水平的系统 [62],以及允许难度微调的基于约束的方法 [114]。同时,当前评估方法的局限性促使呼吁更可靠的自动指标以更好地反映人类判断 [1, 38],以及提议采用更广泛的、多指标评估策略 [37]。

其他反复出现的研究差距涉及生成内容的认知范围狭窄。该领域的机会包括扩展问题生成系统对布鲁姆分类法中更高阶认知水平的覆盖 [2, 98],以及改进复杂或多步骤推理问题的生成 [67, 78]。在这种情况下,提示工程经常被指出需要进一步研究,特别是关于有效提示的设计和交互式细化过程的集成 [32, 70]。

所审查的文献强调了与实际或特定领域局限性相关的开放问题。这些包括从短文本或有限上下文中生成问题 [31, 39],依赖人类专家确保问题质量 [18, 37],以及低资源语言场景带来的特定困难。在这些情况下,已注意到针对如阿拉伯语和印度尼西亚语等语言的研究机会 [6, 7, 12, 37],以及增强此类环境中的语法流畅性 [57]。

表 13 中总结的反复出现的挑战与讨论的研究机会之间的对齐,突显了未解决的问题如何继续塑造 LLMs AQG 中的持续提案。表 14 展示了这种组织,遵循手动验证的提取和分类过程。

表 14. 所审查文献中确定的研究机会的组织

| 研究机会 | 参考文献 |
| :--- | :--- |
| LLM 生成问题的质量评估 | [1, 6, 8, 10, 12, 14, 15, 16, 18, 20, 21, 22, 23, 29, 30, 31, 32, 33, 34, 37, 38, 39, 44, 45, 48, 49, 50, 55, 56, 57, 58, 59, 63, 66, 67, 68, 69, 72, 73, 76, 78, 79, 80, 84, 88, 89, 90, 91, 93, 96, 98, 99, 100, 101, 103, 108, 110, 111, 113, 117, 118, 121, 122, 123, 127, 128, 130, 132, 135, 136, 141, 143, 144, 146] |
| AQG 的自适应和个性化教育应用 | [1, 3, 12, 13, 16, 20, 24, 26, 29, 36, 37, 39, 44, 48, 50, 54, 55, 56, 59, 61, 62, 63, 64, 67, 68, 73, 76, 83, 88, 91, 93, 94, 95, 96, 98, 102, 112, 113, 115, 116, 121, 122, 124, 125, 127, 130, 131, 133, 134, 140, 144] |
| 关于 AQG 的教育影响和个性化的实证研究 | [1, 12, 13, 16, 18, 23, 24, 26, 29, 33, 34, 38, 39, 41, 45, 48, 49, 50, 55, 58, 59, 60, 62, 63, 66, 69, 70, 73, 74, 75, 76, 82, 83, 85, 91, 94, 95, 99, 100, 101, 102, 103, 113, 114, 119, 121, 126, 127, 128, 130, 131, 132, 133, 135, 138, 142, 144, 145, 146] |
| 真实教育环境中的实证评估和测试 | [14, 18, 21, 23, 26, 31, 32, 33, 39, 45, 47, 48, 49, 51, 55, 56, 57, 61, 62, 63, 64, 69, 72, 75, 79, 80, 83, 85, 89, 90, 91, 93, 100, 101, 103, 108, 112, 113, 115, 116, 118, 121, 122, 126, 131, 134, 135, 137, 138, 142, 144] |
| AQG 在不同领域的泛化和扩展 | [1, 2, 6, 7, 10, 13, 15, 20, 22, 31, 32, 33, 34, 36, 37, 41, 44, 47, 50, 51, 54, 55, 56, 60, 67, 68, 69, 70, 72, 74, 75, 78, 79, 82, 83, 84, 85, 88, 89, 90, 94, 98, 100, 101, 102, 103, 106, 108, 109, 110, 112, 114, 115, 117, 119, 120, 122, 123, 124, 125, 126, 127, 131, 132, 133, 134, 135, 136, 137, 138, 140, 141, 142, 143, 145, 146] |
| 基于 LLM 的问题生成的技术进步 | [2, 3, 6, 7, 8, 10, 12, 13, 14, 15, 16, 18, 21, 22, 24, 26, 29, 30, 32, 33, 34, 38, 41, 44, 47, 48, 51, 54, 56, 60, 61, 64, 66, 68, 69, 70, 73, 74, 75, 76, 80, 82, 84, 85, 88, 89, 93, 94, 96, 98, 99, 100, 106, 108, 109, 110, 111, 113, 114, 116, 118, 119, 120, 123, 125, 128, 136, 140, 141, 142, 143] |

这些主题代表了文献中一致认可的开放研究问题领域,要么明确作为未来工作的建议方向,要么通过研究中讨论的局限性和差距隐式体现。LLM 生成问题的质量评估涵盖了与评估自动生成问题的相关性、连贯性和整体质量相关的开放问题。AQG 的自适应和个性化教育应用包括自动定制问题生成以适应个别学习者、教育水平或教学目标的机会。

关于自动出题(AQG)在教育影响和个性化方面的实证研究指出,需要进行纵向或情境敏感的研究,以评估问题生成系统如何影响学习成果。真实教育环境中的实证评估与测试凸显了缺乏基于真实用户的大规模或课堂基础评估。自动出题(AQG)在多样化领域的泛化与扩展反映了将 AQG 方法适应不同学科领域、模态或未充分探索情境时的挑战。基于大语言模型(LLM)的问题生成的技术进步汇集了改进底层语言模型和生成技术的提议,包括提示设计、架构优化以及整合外部资源。

7 结论 手动创建高质量的教育问题耗时费力,且往往限制了学生可用的评估资源的多样性和数量。因此,自动出题(AQG)已成为一个重要的研究领域。早期的方法通常依赖模板、手工规则或统计模型,在生成问题的多样性、适应性以及情境契合度方面存在挑战。大语言模型(LLM)的近期进展通过生成更连贯且情境敏感的内容,解决了其中部分挑战。然而,其概率特性可能导致错误或误导性的输出,这在生成教育评估时构成了严重风险。这一背景强化了对全面文献综述的需求,以梳理基于 LLM 的自动出题(AQG)的现状。尽管该领域发展迅速,尤其是在 ChatGPT 等工具发布之后,但涵盖这些近期发展的系统调查仍然稀缺。

这项系统文献综述考察了利用 LLM 进行自动出题(AQG)的近期发展,特别关注教育情境。通过回顾 2023 年至 2025 年间发表的 132 项研究,我们旨在理解近期进展如何促进问题生成的自动化,使其与教学目标和评估需求相一致。作为我们的贡献之一,我们提出并定义了一种基于回答格式和开放程度的问题类型分类法。随后,所回顾的文献根据生成的问题类型、采用的 LLM 方法、探索的教育情境、使用的评估策略以及分析或控制问题难度的方法进行了组织和讨论,为该领域提供了结构化的综合总结,并突出了未来研究的方向。

我们的分析表明,该领域已显著扩展,但在关键维度上仍存在不均衡。大多数研究优先关注封闭式格式(尤其是多选题)的生成,基于 GPT 的模型占主导地位,其次是 T5 和 BERT 变体。应用主要集中在高等教育领域,对其他教育阶段的关注有限,且仅有少量研究报告了真实的课堂部署。人工专家评估仍然是最常用的评估方法,尽管其在效率方面存在局限性。参数化生成技术很少被探索,问题难度的处理仅出现在不到半数的研究中,且通常依赖教学框架而非实证建模。这些发现反映了 LLM 所推动的进展,以及其在教育评估中有效应用所面临的持续挑战。

除了综合近期发展外,本研究还提供了一个概念和组织基础,可指导关于利用 LLM 进行自动出题(AQG)的持续研究。所提出的分析结构可协助未来研究识别空白、选择适当的问题类型,并以更大的方法论清晰度评估生成策略。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号