软件工程课程项目中大语言模型使用的实证分析

《ACM Transactions on Computing Education》:An Empirical Analysis of LLM Usage in Software Engineering Course Projects

【字体: 大 中 小 】 时间:2026年10月21日 来源:ACM Transactions on Computing Education 4.0

编辑推荐:

   摘要摘要大语言模型(LLMs)的最新进展对软件工程研究与实践,以及软件工程教育产生了重大影响。在软件工程(SE)教育中,先前的研究主要通过问卷调查、访谈或短期观察来考察学生对LLM的使用情况,这限制了对其实际开发活动的可视化程度。因此,学生关于LLM使用的认知与其实际开发实践

  

摘要

摘要

大语言模型(LLMs)的最新进展对软件工程研究与实践,以及软件工程教育产生了重大影响。在软件工程(SE)教育中,先前的研究主要通过问卷调查、访谈或短期观察来考察学生对LLM的使用情况,这限制了对其实际开发活动的可视化程度。因此,学生关于LLM使用的认知与其实际开发实践之间如何匹配仍不清楚。
为解决这一差距,我们分析了三年内一名高级软件工程课程中158名学生收集的课程项目数据,结合学生的经验分享报告、问卷调查回复和活动日志。我们通过联合分析来自问卷调查和报告的感知使用与有用性、通过VS Code活动日志捕捉的实际开发活动,以及基于不同LLM支持水平评估结果的项目表现,来考察LLM的集成情况。通过结合这些分析,我们将学生报告的LLM使用与实际开发活动联系起来,并评估其与SE课程项目学习成果的关系。
我们的结果表明,学生频繁使用LLM进行代码相关任务,并普遍认为它们很有帮助,随着课程项目的推进,频繁使用率上升,而随着项目复杂度的增加,感知也随之变化。活动日志分析揭示了LLM使用中的分化模式,反映了日益增加的依赖性和保持开发独立性的刻意努力。三年来,集成LLM支持并未导致最终项目成绩(以需求满足度衡量)出现统计学上的显著差异,尽管获得LLM支持的学生产生了显著更大的软件系统,表现较差的团队也显示出轻微收益,这表明LLM可能有助于减少编程熟练度对项目结果的影响。我们的发现突出了LLM在SE课程项目中集成的益处与矛盾,并建议未来的SE课程设计可纳入超越实现导向需求的更复杂和更具挑战性的SE任务,同时提供关于提示工程的明确教育,支持学生理解快速生成的LLM辅助代码,并帮助学生避免在开发过程中过度依赖LLM工具。

AI摘要

AI生成的摘要(实验性)

本摘要由自动化工具生成,未经本文作者撰写或审阅。提供此摘要是为了支持发现、帮助读者评估相关性,并协助来自邻近研究领域的读者理解该工作。旨在补充作者提供的摘要,后者仍为论文的简要概述。全文仍为权威版本记录。点击此处了解更多信息。

点击此处对本摘要的准确性、清晰度和实用性发表评论。这将有助于改进和未来的重新生成版本。

查看此AI生成的简明语言摘要需要高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号