AI 队友时代的安全:关于 GitHub 上智能体拉取请求的实证研究
《Information and Software Technology》:Security in the age of AI teammates: An empirical study of agentic pull requests on GitHub
【字体:
大
中
小
】
时间:2026年09月26日
来源:Information and Software Technology 4.6
编辑推荐:
**摘要**
**背景**:自主编程智能体越来越多地被部署为现代软件工程中的AI团队成员,独立编写修改生产代码的拉取请求(PR)。先前的实证研究主要考察了它们的生产率和接受率,而自主智能体在软件安全中的作用以及人工审查的动态过程在很大程度上仍未被探索。
**目标**:本研
**摘要**
**背景**:自主编程智能体越来越多地被部署为现代软件工程中的AI团队成员,独立编写修改生产代码的拉取请求(PR)。先前的实证研究主要考察了它们的生产率和接受率,而自主智能体在软件安全中的作用以及人工审查的动态过程在很大程度上仍未被探索。
**目标**:本研究旨在系统地刻画自主编程智能体在实践中的软件安全贡献,这些与安全相关的贡献如何被审查和接受,以及哪些可观察信号与PR拒绝相关联。
**方法**:我们利用AIDev数据集对智能体编写的PR进行了大规模实证分析,该数据集包含来自热门GitHub仓库的超过33,000个精选PR。我们使用关键词过滤策略识别与安全相关的PR,随后进行人工验证,最终确认了1293个与安全相关的智能体PR。然后,我们分析了不同自主智能体、编程生态系统和代码变更类型下的普遍性、接受结果和审查延迟。此外,我们应用定性开放编码来识别反复出现的安全相关操作和潜在意图,并检查审查元数据以识别与PR拒绝相关的早期信号。
**结果**:与安全相关的智能体PR占智能体活动的一个有意义份额(约4%)。智能体并非仅关注漏洞修复,而是最频繁地执行支持性的安全加固活动,包括测试、文档、配置和改进的错误处理。与非安全PR相比,与安全相关的智能体PR表现出更低的合并率和更长的审查延迟,反映出更高程度的人工审查,且在不同智能体和编程生态系统之间存在差异。PR拒绝与复杂性和冗长性关联更紧密,而非与安全主题本身相关,且基于文本的训练模型优于结构化特征和基于提示的LLM基线。
**结论**:自主编程智能体在真实世界仓库中已经执行了相当数量的安全相关工作,但这些贡献受到人工维护者的更加谨慎的审查。对智能体编写代码的安全审查超越了单纯的漏洞内容,受到语境和认知因素的影响。
**引言**
大型语言模型(LLM)在日常生活应用和辅助任务中越来越普遍,这得益于基于Transformer的架构和大规模训练的进展[1][2][3][4]。这些进展使得模型具有前所未有的规模(通常包含数十亿甚至数万亿个参数),并在广泛的自然语言和代码相关任务中展现出强大的能力[3]。因此,软件工程(SE)正在进入一个新的阶段,日益由AI团队成员塑造:这些自主的、任务驱动的智能体能够在有限的人类监督下执行复杂的软件开发活动,如功能实现、调试、测试和代码审查[5][6]。
自主编程智能体现在已被部署到现代软件工程工作流程中,它们独立编写大规模修改生产代码的拉取请求(PR)。LLM在推理、工具使用和自主规划方面的最新进展使这些智能体能够执行多步骤开发任务、与版本控制系统交互,并以极少的干预提交PR[7][8]。因此,智能体编写的PR不再局限于实验性演示,而是越来越多地出现在真实世界的GitHub仓库和开源项目中[9][10]。
关于LLM和自主智能体在软件工程中的先前实证研究主要关注面向生产力的结果,包括代码生成质量、任务完成率、接受率和开发者效率[9][11][12]。这些研究表明自主智能体可以加速开发工作流程并对大型代码库做出有意义的贡献。然而,仅凭生产率并不能完全衡量可信度,尤其是在安全关键的语境中,微妙的缺陷可能会引入潜在的漏洞,而非立即的功能故障[13][14][15][16]。
软件安全对自主编程智能体提出了独特的挑战。与安全相关的代码变更往往需要对威胁模型、权限边界、加密使用、配置语义和向后兼容性进行细致入微的推理,而先前的研究表明LLM在些领域可能表现出不一致的理解、脆弱的推理或过度自信[13][17]。此类变更中的错误可能逃避测试套件和静态分析工具的检测,从而在不产生可观察故障的情况下削弱系统的安全态势。尽管存在这些风险,自主编程智能体在安全相关软件开发中的作用仍然知之甚少。
现有的实证研究对这一问题领域提供了有限的洞察。大多数分析将智能体编写的拉取请求视为一个大体同质的类别,而没有区分与安全相关的变更和例行的维护任务(如重构、依赖更新或格式化修复)[9][12][18]。与此同时,基于LLM的安全评估研究主要集中在孤立的任务上,如漏洞检测、安全代码生成、形式验证或问答,而非研究安全工作在现实开发工作流程和人工审查过程中的展开方式[13][19][20]。虽然这些努力有助于理解模型的能力,但它们对自主智能体在实际中如何为安全做出贡献以及这些贡献如何被人工开发者审视提供了有限的可见性。
因此,我们缺乏对以下问题的系统性理解:(i)自主编程智能体进行安全相关开发的频率;(ii)它们在实践中的安全工作的类型;(iii)智能体编写的安全变更中所反映的操作和意图;(iv)人工开发者在代码审查期间如何评估和审视此类工作。解决这些空白对于评估GenAI使能的软件系统的可信度和治理至关重要,因为自主编程智能体正日益嵌入到真实世界的开发工作流程中。
在本工作中,我们首次对真实世界的GenAI使能的GitHub仓库中的安全相关智能体拉取请求(Agentic-PRs)进行了大规模实证研究。为进行这项研究,我们使用了AIDev数据集[21],该数据集包含由五个广泛部署的自主编程智能体在不同仓库、编程语言和软件生态系统中编写的33,596个精选PR。我们从该语料库中系统地识别安全相关的智能体PR,使用规则过滤策略应用于PR标题和描述,然后进行人工审核。我们沿多个互补维度分析每个安全相关的智能体PR。首先,我们衡量普遍性,量化自主智能体进行安全相关开发的频率相对于其整体活动的比例。第二,我们通过分析不同智能体、生态系统和安全相关变更类型下的合并和拒绝模式来研究安全结果。第三,我们分析智能体采取的安全操作及其背后的意图。第四,我们研究人工审查行为,通过分析审查延迟和合并决定作为安全相关智能体PR中审查员审查力度的保守的、基于结果的代理指标,并将其与人工编写的PR进行比较。最后,我们通过分析轻量级的、早期可用的信号,如PR大小、标题和描述长度以及安全敏感术语,来研究感知风险的早期指标,以评估哪些特征与PR拒绝相关联。
在整个研究过程中,我们采用了将定量测量与定性解释相结合的分析流程。特别是,我们用人工验证的安全相关智能体PR子集的开放编码来补充大规模统计分析,以刻画反复出现的安全操作和潜在意图。定性编码中的分歧通过讨论来解决,以确保解释的一致性。综合而言,这种方法使我们能够系统地刻画自主编程智能体在实践中如何参与安全关键的开发任务,以及人工开发者在真实世界的代码审查中如何评估和审视此类贡献。
本文其余部分组织如下。第2节介绍了必要的背景,并将我们的工作与自主编程智能体、拉取请求和软件安全的现有文献进行定位。第3节描述了我们的实证研究设计,包括数据集、安全相关性识别和分析程序。第4节呈现了回答每个研究问题的结果。第5节讨论了我们的发现的意义、局限性和未来工作方向。最后,第6节总结了本文。
**章节摘要**
**背景与相关工作**:本节介绍了必要背景以将我们的研究置于语境中,并相对于LLM在软件工程中的应用、软件安全评估以及拉取请求和代码审查的实证研究的先前工作进行定位。
**方法**:本节描述了用于回答我们研究问题的方法论。如图1所示,我们的工作遵循结构化的多阶段实证过程。首先,我们通过基于关键词的过滤随后进行人工验证来识别与安全相关的智能体PR。第二,我们进行大规模定量分析以研究安全相关贡献的普遍性、结果以及人工审查和审视的模式。最后,我们执行定性开放编码和预测分析。
**结果**:在本节中,我们呈现对研究问题的回答。
**讨论**:在本节中,我们综合我们的发现并讨论其对智能体安全参与、人工审查动态以及安全敏感软件工程中自主编程智能体设计的影响。
**结论**:在本文中,我们首次对真实世界的GitHub仓库中与安全相关的智能体拉取请求进行了大规模实证研究。通过分析五个自主编程智能体编写的安全相关PR,我们展示了安全相关工作构成了智能体活动的一个有意义但属于少数份额的部分,并且往往通过支持性的安全加固而非窄范围的漏洞修复来表达。我们发现安全相关的智能体PR受到更高程度的人工……
**CRediT作者贡献声明**:
Mohammed Latif Siddiq:撰写——审阅与编辑,撰写——初稿,软件,方法论,形式分析,数据整理,概念化。Xinye Zhao:撰写——审阅与编辑,撰写——初稿,验证,形式分析,数据整理。Vinicius Carvalho Lopes:撰写——审阅与编辑,撰写——初稿,验证,形式分析,数据整理。Beatrice Casey:撰写——审阅与编辑,撰写——初稿,验证,形式分析,数据整理。
**知情同意**:不适用。
**伦理批准**:不适用。
**临床试验编号**:不适用。
**利益冲突声明**:作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。
Mohammed Latif Siddiq | Xinye Zhao | Vinicius Carvalho Lopes | Beatrice Casey | Joanna C.S. Santos
计算机科学和工程系,圣母大学,印第安纳州,美国46556
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号