《COMPUTERS and EDUCATION》:Uncovering Emotion Dynamics Across Human–AI Interaction Modes in Programming: Evidence from Facial Expression and Electrodermal Activity
编辑推荐:
•在依赖AI、不依赖AI以及人机混合的三种模式下,研究了人们的情感表现。•混合模式下的皮肤电导反应频率高于依赖AI的模式。•不同模式下的面部表情比例没有显著差异。•序列分析显示,在同一模式下存在探索性的面部表情转换。引言生成式AI(GAI)在编程领域的应用日益广泛,这改变了初学者
- •
在依赖AI、不依赖AI以及人机混合的三种模式下,研究了人们的情感表现。
- •
混合模式下的皮肤电导反应频率高于依赖AI的模式。
- •
不同模式下的面部表情比例没有显著差异。
- •
序列分析显示,在同一模式下存在探索性的面部表情转换。
引言
生成式AI(GAI)在编程领域的应用日益广泛,这改变了初学者解决问题、调试代码和开发应用程序的方式(Ma等人,2024年;Yilmaz和Karaoglan Yilmaz,2023年)。然而,GAI支持编程的教育价值并不仅仅在于AI能否提供正确答案或提高任务效率。更重要的是学习者在与AI互动的过程中如何运用AI。学习者与AI的互动方式可能各不相同:有些人可能严重依赖AI生成的解决方案,有些人则更倾向于独立工作,还有人则通过与AI的合作来迭代地开发和改进解决方案(Xu等人,2024年)。在同一个更大项目中的先前研究中,作者(2026年)通过多模态行为轨迹分析了学习者的编程过程,并确定了三种与AI互动的模式:依赖AI的模式、不依赖AI的模式以及人机混合的模式。依赖AI的模式的特点是将大量编程任务交给AI完成,例如将任务描述复制到AI聊天框中或直接采用AI生成的解决方案,而很少进行自主思考;不依赖AI的模式则是尽量减少对AI的依赖,学习者主要依靠自己的理解和策略来完成编程任务;人机混合模式则是学习者主动解读、评估并将AI生成的信息与自己的思考过程相结合。这三种模式反映了在编程问题解决过程中,认知活动在人类和AI之间分配的差异。
然而,仅凭行为和认知差异并不能完全说明学习者在这些模式下的参与程度。为了更好地理解学习者如何体验和应对这些人机交互的形式,还需要考察他们在编程过程中的情绪体验(Ma等人,2025年)。情感包括神经生理过程的变化、认知评估、主观体验、动机成分以及身体表现(Scherer,2005年)。学习者在解决问题和调试代码时常常会经历各种情绪,如沮丧、困惑、好奇和愉悦(Coto等人,2022年)。这些情绪及其变化在编程中尤为明显,并且会影响到代码的质量(Bosch和D’Mello,2017年)。先前的研究表明,适度的困惑和挑战性压力可能有助于深度学习,而过度的沮丧或焦虑则可能阻碍学习进展(Mangaroska等人,2022年)。
在AI辅助学习的背景下,学习者的情感体验具有重要的信息价值,因为它们可以反映学习者的学习状态,例如他们是否深度参与到任务中、只是浅层次地依赖AI,或者在面对困难时需要额外的支持。例如,缺乏AI的参与可能会引发强烈的负面情绪;而那些高度依赖AI的学习者可能会因为任务进展更加顺利而感受到稳定的积极情绪(Ngwenyama等人,2025年)。Ma等人(2025年)发现,学生在AI辅助编程中的情绪受到AI生成答案是否对他们有帮助的影响。有帮助的回答往往能引发积极情绪,而无帮助的回答则可能导致困惑和反复尝试。因此,研究不同人机交互模式下的情感表现有助于揭示AI是作为促进深刻学习的支持工具、解决问题的捷径,还是在困难任务中未被充分利用的资源。这些见解也能帮助教育工作者判断学习者是否需要额外的支持和指导。
尽管研究人员已经开始研究AI辅助编程中的情感问题,但现有的研究主要依赖于自我报告的调查或回顾性访谈(例如Eshraghian等人,2024年;Gardella等人,2024年;Ma等人,2025年)。这些方法能提供关于学习者认知评估、动机成分和主观体验的宝贵信息,但由于回忆偏差的存在,可能无法捕捉到问题解决过程中的情绪动态。为了解决这一问题,本研究考察了作者(2026年)提出的三种人机交互模式下的情感差异。具体来说,本研究采用了面部表情分析和事件相关数据分析(EDA)两种方法来捕捉情绪的强度和类型(Russell,1980年)。面部表情反映了所经历情绪的类型(Ekman,1992年),而EDA则反映了与情绪相关的生理反应强度(Benedek和Kaernbach,2010年)。通过结合这两种方法,本研究旨在全面了解学习者在不同人机交互模式下的情绪体验,为GAI支持编程教学的设计提供依据。使用多模态数据和学习分析有助于更深入地了解复杂的学习过程(Cukurova等人,2020年)。本研究主要探讨了以下研究问题(RQs):
在不同的编程人机交互模式下,面部表情有何差异?
在不同的编程人机交互模式下,面部表情的转换方式有何不同?
在不同的编程人机交互模式下,皮肤电导活动(EDA)有何差异?
章节片段
编程中的人机交互
在当今社会,编程能力在教育、工作和日常生活中发挥着重要作用。它使人们能够使用数字工具高效地解决复杂问题(Medeiros等人,2019年)。然而,由于其复杂性,编程对初学者来说具有挑战性(Cheng等人,2024年;Fincher和Robins,2019年)。为应对这一挑战,主流的编程教育不仅强调教学方法的持续改进,还越来越多地利用新的技术'
参与者
2024年10月至2026年2月期间,新加坡一所自主大学的150名本科生参与了这项实验室研究。为了招募来自不同年级和专业的学生,我们在全校范围内的多个交流渠道(包括学生论坛和消息群组)发布了招募信息,以覆盖不同专业和年级的学生。参加者需要具备Python编程的初步经验。
不同人机交互模式下面部表情比例的差异
表3展示了三种人机交互模式下面部表情的Kruskal–Wallis检验结果。结果显示,愤怒、恐惧、快乐、中立、悲伤或惊讶这七种面部表情在模式间没有显著差异(所有Holm调整后的p值>0.05)。因此,在进行多重比较校正后,没有一个面部表情类别显示出统计学上的显著差异,也没有进行任何确认性的成对比较。
不同人机交互模式下的面部表情转换模式
图2展示了统计结果
讨论
本研究探讨了在编程过程中,三种不同人机交互模式下面部表情比例、表情状态之间的转换以及情感唤醒程度的变化。研究发现主要有三点:首先,七种面部表情类别在三种模式下都没有显著差异;其次,三种转换模式都存在相互关联的转换关系,例如愤怒 ? 厌恶、恐惧 ? 惊讶以及中立 ? 悲伤;而依赖AI的模式中还存在额外的转换模式。
结论
本研究考察了在AI辅助编程过程中,依赖AI、不依赖AI以及人机混合模式下面部表情比例、表情状态之间的转换以及情感唤醒程度的差异。经过多重比较校正后,七种面部表情类别在模式间没有显著差异。在同一模式内的转换关系中,存在三种相互关联的转换对:愤怒 ? 厌恶、恐惧 ? 惊讶以及中立 ? 悲伤。
数据和资料的可用性
出于保密协议和伦理考虑,本研究使用的数据不会公开。这些数据将按具体情况提供给其他研究人员。
CRediT作者贡献声明
高霞朱:负责写作、审稿与编辑、验证、项目管理、调研、资金获取以及概念构思。钟天龙:负责写作、审稿与编辑、初稿撰写、数据可视化、方法论设计、数据分析以及概念构思
未引用的参考文献
Bosch和D’Mello,2017年;Graesser和D’Mello,2012年。
资助
本研究得到了教育部(MOE)学术研究基金(AcRF)第一级(项目编号RG62/24)的支持。
利益冲突声明
作者声明在此项工作中不存在任何潜在的利益冲突。
钟天龙是国立台湾科技大学的跨学科研究生项目的博士候选人,他的研究兴趣包括AI促进的思维、跨学科学习、学习分析、计算思维和学习科学。
Tianlong Zhong|Gaoxia Zhu