iJudge:一个用于在分布偏移条件下评估人类与LLM代码作者身份检测的风格可控教育数据集
《Information and Software Technology》:iJudge: A style-controlled educational dataset for evaluating human–LLM code authorship detection under distribution shift
【字体:
大
中
小
】
时间:2026年10月21日
来源:Information and Software Technology 4.6
编辑推荐:
摘要
背景:检测源代码是由人类编写还是由大语言模型(LLMs)生成的,对于编程评估和软件溯源分析越来越重要。然而,当检测器依赖无法在不同编程情境间迁移的低级风格线索时,所报告的高准确率可能是具有误导性的。
目标:本研究在受泄漏控制的分布偏移条件下评估人类与LLM代码的区分
摘要
背景:检测源代码是由人类编写还是由大语言模型(LLMs)生成的,对于编程评估和软件溯源分析越来越重要。然而,当检测器依赖无法在不同编程情境间迁移的低级风格线索时,所报告的高准确率可能是具有误导性的。
目标:本研究在受泄漏控制的分布偏移条件下评估人类与LLM代码的区分能力,重点关注风格受控的教育编程场景。我们考察了训练混合方式、模型家族和任务适配如何影响鲁棒性以及所依赖的信号。
方法:我们引入了iJudge,这是一个经过筛选的数据集,包含从机构在线评测系统收集的真实学生Python提交记录,该系统运行在统一的风格/质量标准下。利用iJudge、CodeChef扩展版和CoDet–M4,我们定义了一套统一的协议,并报告了完整的训练×测试矩阵以及分布外(OOD)汇总结果。我们在冻结探测和任务适配设置下评估了支持向量机(SVM)、XGBoost、基于编码器的代码预训练模型(CodePTMs)(UniXcoder和CodeBERT)以及基于解码器的代码大语言模型(CodeLLMs)(Qwen2.5-Coder-1.5B和StarCoder2-3B),并辅以归因分析。
结果:鲁棒性强烈依赖于训练分布和混合设计。单一来源训练可实现较高的域内性能,但往往跨池迁移性较差。重新平衡主导来源可改善特征模型和神经模型的均匀性。经过任务适配的基于解码器的CodeLLMs取得了最强的整体性能,但仍对来源覆盖率和混合平衡较为敏感。对手工特征的特征级归因以及对定性词元级诊断的分析表明,纳入iJudge可以将所依赖的信号从布局/词汇线索转向更具迁移性的句法和结构信号。
结论:iJudge补充了现有的代码作者身份数据集,提供了一种风格受控的教育评估环境。结果表明,可靠的人类-LLM代码检测需要跨池评估、审慎的混合设计,以及将其作为评估支持的谨慎使用,而非作为不当行为的独立证据。
引言
AI辅助的代码生成已成为软件开发中重大的生产力提升工具,其主要目标是高效地生成正确且可维护的软件。然而,在编程教育中,目标有所不同:学生被期望学习解决问题的方法和编程技能,评估旨在反映个体的掌握程度。这种不匹配创造了一种日益增长的软件工程需求,即需要溯源导向的信号来帮助区分提交内容展示的学习者能力与其作为产物的输出结果。
本文聚焦于由大语言模型(LLMs)(例如GPT-4和Gemini)产生的源代码,研究人类与LLM的二元区分任务。可靠的检测可以支持多种工作流,包括编程评估、软件取证以及在分布偏移下对溯源信号鲁棒性的评估。在教育场景中,这一挑战尤为具体,因为评估通常结合在不受控条件下完成的课外作业与在时间/资源受限条件下进行的监考考试。因此,教师面临一个实际问题:当代码在无人监督的情况下提交时,它在多大程度上反映了学生自身的解决问题的过程?更广泛地说,这促使我们发展检测器,使其信号在编程情境、风格约束和任务分布发生现实变化时仍然可靠。
在我们的设置中(跨越三个学年共$n=186$人),课外实验成绩与监考考试成绩之间的相关性有限(Pearson $r\approx0.38$,Spearman $\rho\approx0.40$)。大约28%的学生落在高实验/低考试区域(实验成绩$\geq90\%$但考试成绩$\leq40\%$),且课外实验表现出天花板效应(许多学生得分$\geq95\%$)。相应的散点图见附录(图S1)。我们强调这一观察是描述性的,并未推断LLM使用或不当行为;然而,它促使我们超越基于重叠的抄袭检测进行溯源导向的评估[1], [2]。
一个核心挑战是,如果模型利用了低级别的风格线索(例如空白、命名惯例或冗长程度)——这些线索容易被操纵或反映了格式习惯而非解决问题逻辑的差异——那么高检测准确率可能是具有误导性的。对风格操纵的鲁棒性是作者身份归属领域公认的问题[3]。因此,在无约束评估设置下的性能可能无法迁移到风格期望被标准化或刻意匹配的设置中。
现有人类-LLM代码检测研究和数据集提供了重要的基础,但留下了两个相关的缺口。首先,许多评估设置由不受约束的代码来源构成,其中人类和LLM解决方案可能在格式、命名、冗长程度或脚手架惯例上存在差异。这种差异可能创建捷径信号,从而在域内膨胀准确率,同时削弱在风格受控设置中的迁移性。其次,教育在线评测环境作为一个鲁棒性测试平台的研究相对较少,尽管它们在实际中非常重要,并且通常对提交施加共同的风格/质量期望。这些缺口促使我们构建一个数据集和评估协议,明确测试当表面风格变异被压缩以及训练和测试池在编程情境、任务分布和来源混合方面存在差异时,检测器是否仍然鲁棒。
为填补这一缺口,我们引入了iJudge,一个经过筛选的数据集,包含泰国北柳皇家理工大学(King Mongkut's Institute of Technology Ladkrabang)真实学生的Python提交。iJudge是在统一的PEP 8导向的风格/质量标准下收集的(由基于lint的反馈支持),一致地应用于人类和LLM生成的提交。这一设置压缩了不受控的格式变异,并支持评估检测器是否依赖更具迁移性的句法和结构信号。我们还通过向竞赛数据集添加匹配的LLM生成解决方案构建了CodeChef扩展版。结合CoDet–M4 [4],这些Python代码池在受泄漏控制的跨池评估条件下支持全文件二元人类-LLM检测的分布偏移评估。混合人类-LLM编辑工作流,例如由LLM生成骨架后由学生手动修改的代码,超出了本文二元表述的范围,将其作为局限性和未来研究方向进行讨论。
研究问题。本研究由以下研究问题指导:
- RQ1:跨池鲁棒性。在受泄漏控制的跨池评估协议下,人类-LLM代码检测器在教育、竞赛和多领域Python代码环境中泛化能力如何?
- RQ2:训练混合设计。在分布偏移下,单一来源训练、异质池化和主导来源平衡如何影响鲁棒性?
- RQ3:模型家族与适配效应。在冻结探测和任务适配下,基于特征的分类器、基于编码器的CodePTMs和基于解码器的CodeLLMs是否显示出相同的分布偏移模式?
- RQ4:所依赖的信号。当风格受控的教育代码被纳入训练时,可解释的特征归因和定性词元级诊断在布局、词汇、句法和结构线索上如何变化?
基于这些问题,我们在以下方面评估检测器:(i) 模型家族(基于特征的分类器、基于编码器的CodePTMs和基于解码器的CodeLLMs);(ii) 适配设置(冻结探测与全量微调或参数高效的任务适配);(iii) 训练制度(单一来源与带重新平衡的混合);以及 (iv) 泛化设置(域内与跨池)。我们评估经典模型(在140个手工特征上进行SVM和XGBoost)、基于transformer的编码器(在冻结探测和全量微调下的UniXcoder和CodeBERT)以及两个基于解码器的CodeLLMs(在冻结探测和任务适配下的Qwen2.5-Coder-1.5B和StarCoder2-3B)。我们进一步使用归因分析来解释所依赖信号在特征级和定性词元级的变化。
贡献。本工作做出四项贡献:
- 风格受控的教育数据集。我们引入了iJudge,一个经过筛选的真实学生Python提交数据集,在统一的PEP 8导向风格/质量标准下收集,并通过向数据集添加匹配的LLM生成解决方案构建CodeChef扩展版以支持受控比较。
- 受泄漏控制的跨池评估协议。我们提供了一套统一的协议来在异质Python代码池上评估人类-LLM检测器,并报告了完整的训练×测试矩阵及面向OOD的汇总指标。
- 系统的检测器比较与鲁棒性发现。我们在冻结和任务适配设置下评估了强大的基于特征的基线、基于编码器的CodePTMs和基于解码器的CodeLLMs的鲁棒性,表明训练分布和混合设计是跨池泛化的主要驱动因素。
- 特征级与定性归因证据。我们分析了XGBoost在手工代码特征上的特征级归因以及UniXcoder在固定评估分布上的词元级解释。结果表明纳入iJudge可以将所依赖的信号从布局/词汇线索转向更具迁移性的句法和结构信号,而基于解码器的CodeLLMs的隐藏状态归因仍作为未来工作的方向。
片段
相关工作
识别源代码来源的研究涉及多个在实践中常被混淆的脉络。我们首先回顾来自编程教育的证据,说明为什么基于相似性的抄袭检测对于LLM辅助的代码是不够的(2.1节)。然后我们总结了代码文体学和风格操纵鲁棒性的基础(2.2节),随后讨论了近期的人类-AI代码检测工作和基准数据集(2.3节)。最后,我们讨论了学习的代码表示。
数据集
我们在分布偏移条件下使用三个互补的数据集评估人类-LLM代码区分,这些数据集代表不同的编程情境和约束。我们使用:(i) CodeChef扩展版,基于竞赛编程解决方案构建的CodeChef基准[2]的扩展;(ii) CoDet–M4 [4],一个大规模的多语言基准数据集,涵盖多个LLM家族、领域和任务;以及 (iii) 我们提出的iJudge数据集,包含多年真实学生提交。
数据收集与预处理
为提高数据集间的可比性并减少虚假捷径,我们检查了潜在的偏见来源并应用了统一的预处理管道。我们首先量化现有基准(CodeChef)中的来源特定特征,其中格式和命名差异可能无意中简化了人类-LLM区分。然后我们描述如何筛选iJudge以更好地反映具有统一风格/质量制度的教育环境,最后介绍预处理步骤。
方法
我们概述了在CodeChef扩展版、CoDet–M4和iJudge上进行人类-LLM代码区分的管道。5.1节规范了一套统一的、受泄漏控制的评估协议(分组拆分、适用时的时间分层,以及仅在训练分区内进行的验证)。然后我们比较两大类检测器:(i) 使用140个手工文体学和结构特征配合XGBoost和线性SVM的可解释基于特征的基线;以及 (ii) 神经代码……
结果
我们在5.1节规定的统一、受泄漏控制的协议下报告人类-LLM代码区分性能。除非另有说明,所有值均为保留测试拆分上的宏F1分数。结果在完整的训练×测试矩阵上报告,涵盖五个测试池(iJudge、CodeChef扩展版、CoDet–M4、PB-Mix和ALL)和四种训练配置(iJudge、PB-Mix、ALL和ALL-PB-Balanced)。为总结跨池迁移性,我们额外报告OOD-Mean,即……
讨论
本研究强调了人类-LLM代码区分中报告的高准确率可能掩盖了在分布偏移下存在的显著脆弱性。通过在异质池上评估完整的训练×测试矩阵并报告面向OOD的汇总结果,我们表明泛化不仅取决于模型容量,还取决于:(i) 代码产生的风格制度,(ii) 训练混合的构建和平衡方式,以及 (iii) 模型适配是否得到充分多样化的支持……
局限性
我们总结了限定结论范围的局限性和效度威胁。这些担忧主要涉及:(i) 语言和任务类型覆盖,(ii) 生成器多样性和时间漂移,(iii) 检测器主干网络和适配范围,(iv) 二元作者身份框架,(v) 残留的来源特定伪影和规避,以及 (vi) 可解释性分析的范围。
语言与任务类型范围。所有实验均在Python代码上进行。这一范围使得一致的……
结论与未来工作
本文研究了在分布偏移下的人类-LLM代码区分,重点关注在教育、风格受控环境中的场景——这在现有的评估资源中代表不足。我们引入了iJudge,一个经过筛选的真实学生提交数据集,从一个机构在线评测系统收集,其中Python代码在统一的PEP 8导向风格/质量标准下评估。使用iJudge与CodeChef扩展版和CoDet–M4,我们建立了一套统一的、受泄漏控制的……
CRediT作者贡献声明
Chayatorn Chuon:可视化,验证,软件,方法论,调查,数据筛选,概念化。Patteera Leechat:可视化,验证,软件,方法论,调查,数据筛选,概念化。Sirion Vittayakorn:撰写–审阅与编辑,撰写–初稿,可视化,验证,监督,项目管理,概念化。
伦理声明
机构审查委员会确定本研究不构成人体受试者研究;数据集不包含可识别的私人信息。
利益冲突声明
作者声明他们不知道任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Chayatorn Chuon 是泰国曼谷北柳皇家理工大学信息技术学院数据科学与商业分析专业的高年级本科生(预计2026年毕业)。他的研究兴趣集中在机器学习和自然语言处理,目前的工作涉及用于自动推理和人机交互应用的AI系统。
Chayatorn Chuon | Patteera Leechat | Sirion Vittayakorn
北柳皇家理工大学信息技术学院,泰国曼谷10520
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号