审计生成式人工智能(GenAI)—学生成绩声明于公开数据集:嵌套控制、冻结阈值与声明标签

《Information》:Auditing GenAI–Student Grade Claims on Public Datasets: Nested Controls, Frozen Thresholds, and Claim Labels

【字体: 大 中 小 】 时间:2026年08月27日 来源:Information 4.3

编辑推荐:

  公开生成式人工智能(GenAI)—学生数据集引发了关于人工智能(AI)强度、使用风格与成绩之间争议性关联的讨论,然而许多分析将预测准确度或显著系数视为充分证据,却忽略了先前学业成就、共结局泄漏检查以及绝对效应量阈值。本文提出一种构造审计协议,将关联声明存活性视

  
公开生成式人工智能(GenAI)—学生数据集引发了关于人工智能(AI)强度、使用风格与成绩之间争议性关联的讨论,然而许多分析将预测准确度或显著系数视为充分证据,却忽略了先前学业成就、共结局泄漏检查以及绝对效应量阈值。本文提出一种构造审计协议,将关联声明存活性视为可复现的标注任务:特征角色分类法、禁用特征闸门、嵌套折叠外ΔR2实质性阈值,以及操作化标签(稳定、消失、伪影生成——后者仅定义未在此正向观测),预测模型用作工具而非科学产物。在公开ai_student_impact_dataset上(视作构造审计沙盒,可能为合成或工程化数据;不做校园总体或因果声明),采用五种子Ridge主导运行验证上述规则而非估计GenAI效应:全部八个主强度与风格声明在锁定绝对闸门下均非实质(AI联合ΔR2相较于先验平均绩点提升);而厨房水槽OLS显著性对照则为库存未晋升的系数打星。仅报告式随机森林检查显示风格与联合块 clearance 可依赖建模工具;库存标签在锁定度量下仍为Ridge主导。该协议因此在绝对闸门失败时扣留GenAI–GPA声明,并给出六步笔记本工作流,使教育研究人员无需复现完整验证日程即可套用同等检查。
研究背景方面,生成式人工智能(Generative Artificial Intelligence, GenAI)已进入学生日常作业,但教育数据挖掘(Educational Data Mining, EDM)界缺乏能在嵌套控制、禁用特征闸门与绝对效应量阈值下裁决“AI使用→成绩”关联声明的可复现方法。公开Kaggle式微表常诱发三类失效模式:共结局泄漏(co-outcome leakage)、遗漏先前学业成就(prior achievement)、大样本p值剧场(large-n p-value theater)。现有EDM预测竞赛多优化折叠外准确度,把“更多AI小时”当作普通预测变量,无法区分强度(intensity)与使用风格(usage style)两类异质构造,亦不冻结分析计划。该研究由此开展一项构造审计协议(construct-audit protocol)验证:在公开ai_student_impact_dataset沙盒(非校园样本、可能为合成数据、不做因果声称)上,预先冻结特征角色分类、有限声明清单C1–C10、嵌套规格N0–N5与NX、绝对ΔR2闸门及Ridge主导标注工具,用五种子折叠外(out-of-fold, OOF)流程检验八条主关联声明是否存活。结论为:在先验学期GPA(Pre_Semester_GPA)吸收后,AI强度块与风格块联合ΔR2均低于锁定块闸门0.010,八条主声明全数非实质(库存标签vanished);厨房水槽OLS对照打出12/19颗星但绝不改写标签;随机森林(Random Forest, RF)在风格与联合对比上可越过闸门,但协议规定库存标签维持Ridge主导不变;NX泄漏诊断ΔR2≈0.001远低于闸门,artifact-born标签仅定义未实例化。该文发表于《Information》,意义在于给出一套CPU可行、可复现、允许“空稳定集”作为成功结果的关联声明标注食谱,使教育研究者能用六步工作流拒绝无实质AI–GPA声称。
关键技术方法方面,研究人员采用公开微表ai_student_impact_dataset(单位为学生行,零缺失,主要结局为Post_Semester_GPA,Skill_Retention_Score与Burnout_Risk_Level仅入NX泄漏巢不作主矩阵特征)。冻结特征角色分类:强度块含Weekly_GenAI_Hours、Tool_Diversity、Paid_Subscription;风格块含Primary_Use_Case、Perceived_AI_Dependency、Prompt_Engineering_Skill;控制块含Pre_Semester_GPA、Traditional_Study_Hours、Major_Category、Year_of_Study、Institutional_Policy、Anxiety_Level_During_Exams。嵌套巢N0–N5与NX按块进入;主度量池化五种子Ridge折叠外ΔR2,锁定绝对闸门为块0.010、连续LOFO(leave-one-feature-out)0.005、类别集0.005、比较C9用ΔΔR20.002;标签stable/vanished/artifact-born由规则判定,等价ΔRMSE作旁证不放松闸门;对照为皮尔逊/Spearman双变量、N0单预测OLS、厨房水槽OLS打星;第二工具RF与HistGradientBoosting仅作报告式一致性检查;置换零分布(seed 42,200次块列洗牌)标定闸门高于噪声;自助1000次OOF行重采样给声明CI。
研究结果各节如下。第4.1节检(i)巢R2非巢实质:Ridge先验GPA单块R2≈0.485(基线均值0.000),N2达0.491,N3/N4/N5较N2增量ΔR2分别≈0.0021/0.0017/0.0026,均低于0.010;RF N5 R2≈0.552、HistGB≈0.561,高预测R2与低AI块ΔR2共存。第4.2节检(ii)(iii)库存标签对箔星:C1–C8在Ridge主导下全数vanished,最大单特征LOFO为use-case集≈0.00420、prompt-skill集≈0.00127;块对比N2→N3均值ΔR2≈0.0021、N2→N4≈0.0017;厨房水槽OLS打星12/19但被忽略;C9获style_exceeds_intensity标签(均值ΔΔR2≈0.0004,CI排零)但不晋升C4/C8。第4.3节续检(ii)先验吸收C10:AI联合ΔR2≈0.0026败于0.010闸门,Pre-GPA对均值ΔR2≈0.485远越0.010,AI联合提升仅占Pre-GPA提升约0.75%。第4.4节续检(iii)箔星无实质:置换零95分位N2→N3≈5.7×10-3、N2→N4≈3.6×10-3,皆?0.010。第4.5节检(iv)第二工具不重标:RF N2→N3 ΔR2≈0.0019(与Ridge同败),N2→N4≈0.0121、N2→N5≈0.0138越闸门而Ridge未越;标签锁Ridge主导,RF越闸记为一致性张力。第4.6节检(v)探索层不覆盖全局:NX ΔR2≈0.001未演示artifact-born;Direct_Answer_Generation层内hours LOFO≈0.0061越单特征0.005,其余四层失败,不覆写全局C1 vanished。
讨论部分总结:验证展示协议按规判别而非给出“GenAI无关成绩”的田野零;空稳定集与C10主导同为合法成功。实践上六步笔记本(估计卡、冻闸门、嵌套Ridge、查表标签、箔对照、可选RF不重标)可供课程/院系审计使用;政策面仅作负控制——先验GPA吸收后AI块败闸即不足以批准干预。迁移性上分类法骨架可跨域复用但数值闸门不自动转移;局限含单文件近决定论Pre→Post结构、AI字段为模式代理非心理测量量表、artifact-born未正向实例化、C9可能受独热自由度干扰、LASSO一致性未跑。结论节翻译:本文贡献为公开GenAI–学生微表的构造审计食谱,非更强GPA预测器亦非校园裁决;在单一沙盒上食谱按规行事——嵌套ΔR2闸门而非巢R2或系数星决定库存,第二工具与探索层不能静默改写标签;教育研究者可先从六步笔记本始,标签仅为冻结工具下预测关联非GenAI对成绩之因果效应;迁移至独立语料为决定性下一步,此前声称属方法论——绝对闸门失败时规则可扣留GenAI–GPA库存标签。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号