《Applied Cognitive Psychology》:The Thinking Behind the Prompt: Evidence From Collaborative Student Problem Solving With Generative Artificial Intelligence
编辑推荐:
生成式人工智能(Generative Artificial Intelligence, GenAI)工具正渗透教育,但认知倾向是否调节其收益仍不清楚。在本研究中,研究人员考察了认知反思(Cognitive Reflection)与不确定性不耐受(Intoler
生成式人工智能(Generative Artificial Intelligence, GenAI)工具正渗透教育,但认知倾向是否调节其收益仍不清楚。在本研究中,研究人员考察了认知反思(Cognitive Reflection)与不确定性不耐受(Intolerance of Uncertainty, IU)是否调节既往GenAI经验与协作任务有效性之间的关系。具体而言,中等教育(n = 114)和高等教育(n = 57)学生分布在若干小组中,在可自由选择并使用GenAI工具的条件下完成一项神秘解谜任务。以人为中心的分析未识别出认知—态度剖面,因为解仅坍缩为按认知反思测试(Cognitive Reflection Test, CRT)得分定义的三个组。在探索性比较中,高CRT组报告的任务后提示自我效能(post-task prompting self-efficacy)高于低CRT组,尽管未检测到表现差异。认知反思未在组水平调节经验—有效性联系,不确定性不耐受也未预测AI依赖行为。因此,认知倾向似乎与使用AI的主观体验关系更密切,而非与客观任务结果关系更密切。
研究背景与问题:GenAI在教育中的应用日益增多,元分析报告其对学业成绩具有中到大效应,但个体用户之间的收益差异显著。部分用户倾向于不加批判地接受AI输出,相关研究将其描述为“元认知懒惰”,即表现提升未伴随知识获得或迁移的加深。双过程理论区分快速自动的Type 1加工与缓慢费力的Type 2加工,认知反思被视为抑制直觉性错误答案并调动分析性加工的稳定倾向;不确定性不耐受则指将模糊或不确定情境体验为威胁的倾向。既有研究多采用变量中心方法,预设预测变量独立且线性作用,可能遮蔽个体内部共现的认知—态度配置;以人为中心的方法(person-centred analysis,如潜在剖面分析Latent Profile Analysis, LPA)在AI互动文献中仍少被使用。由此,研究人员考察认知反思与IU是否构成GenAI辅助协作问题解决的边界条件,包括其与策略性提示、信任与验证、经验—有效性联系、自评能力曲线效应及认知剖面的关系。研究结论是:认知倾向主要关联使用AI的主观体验,而非客观任务表现。其意义在于提示AI素养教学需认知差异化,评估应纳入过程性与自我效能指标,并为双过程理论在AI互动中的适用边界提供证据。
关键技术方法(≤250字):研究采用横断面观察设计,样本来自一所高等教育机构和若干私立补充教育中心,通过便利抽样获得171名参与者并组成45个小组;其中中等教育114人、本科49人、研究生8人。每组在单次约60–90分钟会话中完成协作数字神秘解谜任务,可自由选择GenAI工具,提示日志经LBET框架编码。测量包括CRT、IUS-6、GAAIS、TAM与PSES;任务有效性由平台按解谜准确性、完成时间、证据解释和推理质量计算。分析采用组水平回归、调节模型、多项式回归与LPA。
研究结果:3.1描述统计显示,CRT得分0–1者占71.9%,仅28.1%得2–3分;IU均值与常模相当;部分态度量表离散度受限;不同工具选择下神秘任务有效性无显著差异。3.2.1认知反思与策略性提示:组水平回归未发现平均CRT与C&M比例(高阶提示比例)相关(B = 0.03,p = 0.566),CRT组间方差极低,H1被拒绝。3.2.2不确定性不耐受、信任与验证:在有GenAI经验者中,IU与信任、验证行为均无显著关联,H2被拒绝。3.2.3经验—有效性调节:组水平模型中交互项不显著,CRT未调节经验与任务有效性的关系,H3被拒绝。3.2.4自评能力与有效性:自评能力与有效性相关近零,二次项未改善模型,无曲线关系证据,H4被拒绝。3.2.5有效性与自我效能调节:任务有效性与组平均PSES强相关(B = 0.041,p < 0.001),但CRT主效应及交互项不显著;替代权重方案下结论稳健,H5被拒绝。3.2.6以人为中心结构:LPA解坍缩为CRT三组(高、中、低CRT组),IU与AI态度未见分离;探索性比较发现高CRT组PSES高于低CRT组(p = 0.010,d = 0.57),但组水平表现与C&M比例无差异,H6未获支持。3.3补充分析:组规模与提示数量相关,纳入协变量后主结论不变;调整后较大组任务后自我效能略低,但未通过Bonferroni校正。
讨论总结与结论翻译:讨论指出,以人为中心分析未发现超越CRT得分的认知—态度配置;最值得关注的是高CRT组自我效能更高而表现无差异,说明GenAI的任务级收益可能跨越认知谱系,差异主要体现在主观回报。高CRT者可能更审慎、更具自我觉察,并将成功更多归因于自身判断,从而强化掌握体验;低CRT者可能需要显性脚手架。组水平CRT与策略性提示无关,可能受协作动力、单次任务时长及LBET未编码提示迭代、AI回应批判与选择性整合等限制,不能据此否定理论联系。IU与信任/验证无关,可能因任务无真实后果,且AI系统可靠性的“不确定性”与IU原构念所测的社会人际不确定性不同,需领域特异工具。实践上,应为所有学习者显性教授提示构建、批判评估与迭代改进,并纳入过程性与自我效能评估;理论上需说明社会配置与归因成分。局限包括CRT信度低与测量衰减、横断面设计、组内依赖与自选小组、单项目测量、推广性有限及单次设计。结论翻译:在本研究中,研究人员追问认知倾向是否决定协作小组如何使用GenAI以及他们从体验中获得什么。在组水平,对客观结果的答案是否定的;没有倾向预测策略性提示或依赖行为,没有倾向调节经验—有效性联系,自评能力与任务有效性无关系。以人为中心的分析除CRT得分本身外未发现认知—态度配置。在探索性比较中,三个CRT组在任务后提示自我效能上存在差异,尽管其表现无法区分。因此,在此类协作情境中,认知倾向似乎更多影响学习者如何体验AI辅助工作,而非其小组表现如何。对实践而言,研究结果支持认知差异化的AI素养教学。对研究而言,结果主张采用能够追踪个体提示行为及其随时间发展的设计。