技术视角:将大型语言模型与补全引擎结合用于自动程序修复

《Communications of the ACM》:Technical Perspective: Fusing Large Language Models with Completion Engines for Automated Program Repair

【字体: 大 中 小 】 时间:2026年04月02日 来源:Communications of the ACM

编辑推荐:

  基于大语言模型的神经符号AI在程序修复中的创新应用,提出结合代码补全引擎的Repilot系统,通过动态过滤无效token和预测复杂标识符,显著提升补丁生成质量与可编译性,为AI辅助软件工程奠定新范式。

  在过去的十年中,人工智能(AI)在软件工程(SE)领域得到了广泛应用,实现了诸如代码编写、摘要生成和修复等复杂任务的(部分)自动化。AI在SE领域的成功应用主要归功于三个因素:首先,开源项目(如GitHub上托管的项目)中积累了前所未有的大量与软件相关的数据,目前这类项目的数量已超过5亿个;其次,深度学习(DL)技术的进步,例如Transformer等新型架构的引入;最后,价格合理的强大硬件的出现,使得DL技术更加实用。 让我们来探讨一些实例,看看DL模型如何自动化SE任务,特别是论文中讨论的程序修复任务。自动程序修复旨在自动修复有缺陷的代码。用于此任务的训练数据可以从开源项目中收集,这些数据以修复错误的代码提交(commit)的形式存在,即开发者修复错误的代码变更。这些数据包含了代码的有缺陷版本和修复后版本(分别对应提交前后),可以用来训练DL模型:(i)识别有缺陷代码的编码模式;(ii)了解典型的代码修复操作(补丁)。此外,最近的大型语言模型(LLM)通过分析大量源代码,能够学习到什么是自然的编码方式,从而建议修改那些可能表示有缺陷实现的不自然代码片段。采用这种方法,LLM甚至不需要标记有缺陷和干净的代码样本即可进行自动程序修复。 尽管基于LLM的程序修复已经取得了显著成果,但应用于代码的LLM仍面临一个根本性挑战:它们将代码视为一系列符号(token)进行处理,而不是结构化且具有语义约束的实体。这意味着许多由LLM生成的补丁无法满足基本的编译要求。解决这一限制对于使AI辅助的软件修复在实践中发挥作用至关重要。Wei等人在论文中探讨了这一问题。他们提出的基本思路是将LLM与代码补全引擎结合使用。代码补全引擎是一种能够解析不完整代码并建议语义上有效的补全内容的工具,主要依赖语法规则和静态分析。 所提出的方法名为“Repilot”,它以一个受到单一错误影响的程序作为输入。该错误必须通过修改(重写)代码中连续的部分语句来修复,这部分语句是通过故障定位确定的。Repilot会请求LLM逐个符号地重写有缺陷的代码部分:每当需要生成一个符号时,LLM会输出一个包含最可能符号及其对应概率的列表。然后通过查询代码补全引擎来调整概率列表,将无效符号的概率设置为0。最终选择列表中概率最高的符号进行生成。代码补全引擎还用于更准确地预测补丁中所需的复杂标识符(例如,可能由不常见单词组成的长标识符),这对基于LLM的程序修复来说是一个具有挑战性的场景。 通过证明Repilot在修复错误数量和生成可编译补丁方面显著优于现有最佳方法,这项工作为神经符号AI(neuro-symbolic AI)作为软件工程研究的关键方向提供了有力支持。神经符号AI结合了神经网络的学习能力和符号系统的结构化推理能力,从而弥合了统计学习与基于规则的约束之间的差距,构建出既灵活又逻辑严谨的模型。所有涉及源代码的任务都可能从神经符号方法中受益,从而实现自动化。例如,代码生成和补全可以通过符号组件进行约束,以减少无效代码的产生;在自动重构过程中,神经网络部分可以提出改进的代码设计,而符号部分则可以排除那些无法保持代码行为的方案;即使在自动测试方面,符号组件也能为LLM提供关于未检测到的代码分支的反馈,从而优化测试用例的生成。 对于任何对AI与软件工程交叉领域感兴趣的人来说,这篇论文为使AI驱动的程序修复更加实用、可靠和高效迈出了重要一步。同时,它还揭示了神经符号AI的强大功能,并为未来AI辅助代码相关任务的创新奠定了基础。 Gabriele Bavota(gabriele.bavota@usi.ch)是瑞士卢加诺意大利语大学(USI)信息学系的正教授,他在该校软件研究所工作,并领导SEART研究小组。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号