在隔离环境中编码?评估大语言模型在代码适配过程中解决上下文适应问题的能力

《Proceedings of the ACM on Software Engineering》:Coding in a Bubble? Evaluating LLMs in Resolving Context Adaptation Bugs during Code Adaptation

【字体: 大 中 小 】 时间:2026年07月06日 来源:Proceedings of the ACM on Software Engineering

编辑推荐:

  摘要AI总结要查看此由AI生成的总结,您需要拥有高级访问权限。了解更多登录摘要摘要代码适配是软件开发中一项基础但具有挑战性的任务,它要求开发者为新的应用环境修改现有代码。其中一个关键难题就是解决上下文适配错误(CtxBugs),即原本在原始环境中正确的代码在目标环境中会违反某些约

  

摘要

摘要

代码适配是软件开发中一项基础但具有挑战性的任务,它要求开发者为新的应用环境修改现有代码。其中一个关键难题就是解决上下文适配错误(CtxBugs),即原本在原始环境中正确的代码在目标环境中会违反某些约束条件。与普通的错误不同,CtxBugs无法通过局部修复来解决,需要通过跨上下文分析来识别语义上的不一致。忽视这些错误可能会导致适配过程中出现严重问题。尽管大型语言模型在自动化处理与代码相关的任务方面展现出巨大潜力,但它们解决CtxBugs的能力仍然是制约其在代码适配领域实际应用的一个重大且尚未被充分研究的障碍。
为弥补这一缺陷,我们提出了CtxBugGen,这是一个用于生成CtxBugs以评估大型语言模型的新框架。该框架的核心理念是利用大型语言模型在缺乏上下文约束时倾向于生成看似合理但实际上与上下文无关的代码这一特点。该框架通过四步流程来生成CtxBugs,以确保其相关性和有效性:(1)从现有研究中选取四种经过验证的、具备上下文感知能力的适配任务;(2)通过针对特定任务的规则对代码进行修改,从而在确保其合理性的同时引发CtxBugs;(3)在不施加任何上下文约束的情况下,通过向大型语言模型发出提示来生成多种可能的代码变体;(4)通过在目标环境中进行语法对比和测试,筛选出有效的CtxBugs。基于CtxBugGen构建的测试基准,我们对四种当前最先进的大型语言模型进行了实证研究。研究结果表明,这些模型在解决CtxBugs方面的表现并不理想。表现最好的Kimi-K2模型在Pass@1测试中的准确率为55.93%,仅能解决52.47%的CtxBugs。存在CtxBugs会使大型语言模型的适配性能下降多达30%。故障分析显示,大型语言模型常常忽视CtxBugs,并在其输出结果中重复出现这些错误。这表明大型语言模型过度关注所复用代码的局部正确性,而忽略了其在目标环境中的兼容性。我们的研究揭示了大型语言模型在跨上下文推理能力方面的一个关键弱点,同时也强调了需要开发新的方法来提升它们的上下文感知能力,以实现可靠的代码适配。本文的代码实现包可在https://github.com/ztwater/CtxBugGen地址获取。

AI总结

AI生成的总结(实验性内容)

此总结是通过自动化工具生成的,并非由文章作者撰写或审核。提供此总结是为了便于读者查找相关内容、评估文章的相关性,以及帮助来自相关研究领域的读者理解本文内容。它旨在补充由作者提供的摘要,而作者提供的摘要仍是本文的主要总结内容。全文依然是最具权威性的版本。点击此处了解更多。

点击此处,可以对此总结的准确性、清晰度及实用性发表意见。您的反馈将有助于我们对总结内容进行优化,并生成后续的改进版本。

要查看此由AI生成的通俗语言总结,您需要拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号