《International Journal of Educational Technology in Higher Education》:What students ask matters: LLM interaction depth, task quality, and immediate recall in higher education
编辑推荐:
大规模语言模型(Large Language Model, LLM)正在迅速变革高等教育,然而关于交互模式如何影响学习的证据仍然有限。本研究考察了在受控学习会话中,与LLM的解释寻求式对话是否与任务质量及即时回忆相关。22名研究生完成了一项前测、一项LLM辅助
大规模语言模型(Large Language Model, LLM)正在迅速变革高等教育,然而关于交互模式如何影响学习的证据仍然有限。本研究考察了在受控学习会话中,与LLM的解释寻求式对话是否与任务质量及即时回忆相关。22名研究生完成了一项前测、一项LLM辅助的神经经济学案例任务以及一项即时后测。细粒度的交互日志捕获了逐轮遥测数据,从而能够提取深度(Deep,即“为什么/如何/解释”类提示所占比例)、容量(Volume)和节奏(Pacing)特征。结果显示,前测至后测成绩有显著提升(Cohen's dz = 2.12,p < .001)。在任务质量回归模型中,深度在基线知识和容量之外与任务质量呈正相关(β = 6.27,p = .006),表明解释寻求提示每增加一个标准差,与0–100分制上约额外6分相关。深度与即时回忆无关(β = ?0.014,p = .728);相反,增益分数与基线知识密切相关,这与前测分数较高的学生提升空间减少一致(β = ?0.161,p < .001)。研究结果表明,在LLM支持的学习中,表现质量与短期回忆之间存在分离。这与认知心理学的证据一致,即精加工(elaboration)能改善理解,而提取练习(retrieval practice)能巩固保持。在教学上,这种分离表明,如果理解收益要转化为回忆,面向深度的对话可能需要与有意的记忆强化活动(如自我测试或间隔提取)相结合,尽管本研究设计并未直接测试这些活动。在方法上,本研究贡献了一种可复制的、保护隐私的仪器化流程,将对话遥测与学习成果联系起来。局限性包括单组设计、样本量小(n = 22)、仅进行即时测试以及基于关键词的深度代理指标。未来研究应随机化辅助风格、纳入延迟保持测试,并通过语义编码完善深度测量。
**论文解读:LLM交互深度、任务质量与即时回忆的分离**
**一、研究背景与目的**
大规模语言模型(Large Language Model, LLM)如ChatGPT和Gemini正在迅速融入高等教育,学生广泛使用这些工具完成学习任务。现有研究主要关注任务成绩或学生感知(如满意度、自信心),很少追踪交互过程并评估知识保持效果。学界对“LLM究竟是促进深度学习还是会诱发认知卸载”存在争议。已有实验表明,无限制的答案提供可能损害后续测验表现,而提示式或脚手架式辅助则可能减轻负面效应,但大部分研究仅报告单一绩效指标,很少在同一设计中并列考察任务质量与知识回忆。此外,交互日志很少被用于预测建模,交互深度(学生寻求解释、理由或因果机制的程度)与知识回忆之间的关系多停留在理论推想层面。
本研究旨在通过受控的、带数据采集的学习环境,考察学生与LLM的交互模式如何与即时学习收益及知识回忆相关,特别关注解释寻求式提示是否与更高的任务质量和更好的即时回忆相关。研究基于ICAP框架(交互-建构-主动-被动,Interactive-Constructive-Active-Passive)和提取练习理论,设置了五个研究问题:组内学习收益、交互深度与任务质量、交互深度与知识回忆、先前知识的调节作用、互动参与画像。
**二、研究方法与技术手段**
研究采用单组前测-后测设计,样本为英国某大学的22名研究生(商科背景)。参与者完成三个连续阶段:10分钟前测(5道神经经济学多选题)、60分钟LLM辅助案例任务(使用定制Streamlit应用接入Gemini 1.5 Flash,完成500–800词案例分析和嵌入聊天界面)、10分钟后测(6道结构平行但内容不同的选择题)。神经经济学被选为任务主题,因其超越商科核心课程,可减少先前知识混淆。技术方法上,研究使用基于正则表达式的关键词编码将包含“why/how/explain/justify”等词的提示识别为解释寻求提示,计算深度(解释寻求提示数/总提示数)、容量(总轮次)、节奏(每分钟提示数)。任务质量由独立评分员按五个标准盲评(概念覆盖、准确度、因果推理、整合、清晰性)。数据分析采用普通最小二乘(Ordinary Least Squares, OLS)回归(HC3稳健标准误)、配对t检验、协方差分析(ANCOVA)、k-means聚类,并以Elastic Net和随机森林进行稳健性检验。
**三、研究结果**
**Descriptive overview(描述性概述)**
描述性统计显示,前测成绩偏低且变异较大(M = 0.31,SD = 0.18),后测成绩显著提高(M = 0.80,SD = 0.17),增益均值为0.49。任务质量总分较高(M = 81.09,SD = 10.48)。
**Within-person learning (RQ1)(组内学习)**
配对t检验表明前测到后测有显著提升,t(21) = 9.93,p < .001,Cohen's d
z = 2.12(95% CI [1.54, 2.70]),Wilcoxon符号秩检验一致支持该结果。这表明在LLM支持的学习会话内发生了显著的即时学习。
**Depth and task quality (RQ2)(深度与任务质量)**
层次回归分析显示,基线知识不能预测任务质量(β = ?0.24,p = .913)。加入深度后模型拟合提升(ΔR2 = .252)。在控制容量的简约模型中,深度与任务质量显著正相关(β = 6.27,p = .006),即解释寻求提示每增加一个标准差,任务质量约提高6.3分(0–100制)。容量仅呈边缘趋势(β = 4.16,p = .051)。
**Depth and knowledge recall (RQ3)(深度与知识回忆)**
以ANCOVA(后测为结果)和增益分数两种规格进行回归。深度、容量和节奏在控制基线知识后均不能预测后测分数或增益(所有p ≥ .469;深度:β = ?0.014,p = .728)。增益模型中,基线知识呈强烈负关联(β = ?0.161,p < .001),表明前测分数较高的学生提升空间较小。交互特征对即时回忆无独立贡献。
**Moderation by prior knowledge (RQ4)(先前知识的调节)**
在任务质量、后测和增益模型中分别加入前测×深度交互项,均未达到显著性水平(所有p > .11)。简单斜率分析提示,深度对任务质量的估计效应在低基线知识学生中较大(前测?1 SD:β = 9.58,p = .050),在均值处中等(β = 4.75,p = .104),在高基线知识学生中接近零(前测+1 SD:β = 0.00,p = .989)。该模式应视为探索性结果。
**Engagement profiles (RQ5)(参与画像)**
基于深度、容量和节奏的k-means聚类识别出四个画像(k = 4,轮廓系数 = 0.396),组大小分别为8、8、3、3。描述性比较显示,深度较高且容量适中的聚类(Cluster 0)和深度中等且节奏较慢的聚类(Cluster 3)有更高的中位增益和任务分,但Kruskal–Wallis检验未显示聚类间增益存在显著差异(H = 1.16,p = .763),这可能受小组规模限制。
**Robustness checks(稳健性检验)**
Elastic Net和随机森林复制了主要回归模式:对任务质量而言,深度特征重要性最高(0.41),其次为容量(0.22)和前测(0.08);对回忆结果,交互特征重要性接近零,而前测在增益模型中占主导(0.68)。OLS诊断显示残差行为可接受、无强影响离群点(Cook's D < 0.5)、多重共线性低(VIF < 2)。
**Summary of findings(发现总结)**
研究得出五个核心发现:一是会话内即时学习收益显著(d
z = 2.12);二是交互深度与任务质量显著正相关(β = 6.27,p = .006);三是深度与即时回忆无关(β = ?0.014,p = .728);四是基线知识的调节效应未达到统计显著;五是参与画像在增益上不存在统计显著的组间差异。
**四、讨论与结论**
讨论部分指出,任务表现与回忆之间的分离表明LLM辅助学习中理解与保持受不同机制驱动。深度化交互可能通过引发因果解释、概念区分和论证整合而提升任务质量,这与ICAP框架和建构主义预测一致;而即时回忆更依赖于提取练习,LLM按需提供流利解释可能降低学习者的编码努力,符合认知卸载理论。先前知识的调节作用虽不显著,但低基线学生的深度效应可能更强,提示脚手架式解释对新手具有补偿性。实践上,教育者应设计提取需求,如闭卷简答、概念图回忆或有反馈的自我测试,并将脚手架与检查点分离,防止“能力错觉”。方法论上,本研究展示了在隐私保护前提下将对话遥测与学习结果链接的可复制流程,推进了过程感知的学习分析。
**研究结论**:本研究提供了证据表明,与LLM的解释寻求互动与更高质量的应用任务表现相关,而一旦考虑基线知识,对即时回忆没有可检测的益处。这些发现挑战了“更好的提示自动产生更好的学习”这一假设,并支持一种更细分的解释:LLM可以通过脚手架和精加工在会话中增强推理和综合,但保持可能需要引发提取练习和独立重建的教学设计。通过将隐私保护的会话遥测与客观结果联系起来,本研究推进了LLM中介学习的过程感知评估,并提供了可操作指导:利用LLM进行解释和意义建构,但设计学习序列时,使记忆通过提取获得,而非外包给会话流畅性。