神经元修补技术:基于语义的神经元级语言模型修复方法,用于代码生成

《ACM Transactions on Software Engineering and Methodology》:Neuron Patching: Semantic-based Neuron-level Language Model Repair for Code Generation

【字体: 大 中 小 】 时间:2026年03月16日 来源:ACM Transactions on Software Engineering and Methodology

编辑推荐:

   摘要 AI摘要

  
要查看此AI生成的摘要,您必须具有高级访问权限。

摘要

摘要

语言模型(LMs)在软件工程中得到了广泛应用,尤其是在代码生成等任务中,它们被称为代码LMs。这些模型在生成代码方面被证明是有效的,使开发者能够更轻松地自动化编码活动。然而,研究指出一个重要的限制:尽管它们很有效,但LMs生成的代码往往不正确、有错误或无法完全正常运行。解决这一限制对于充分发挥LMs在实际应用中的潜力至关重要。然而,尤其是在只有少量反馈数据的情况下更新LMs是非常具有挑战性的。在这种情况下,热修复技术(hot-fix techniques)可能很有前景,它们可以在数据有限的情况下促进模型的敏捷更新,从而保持可靠性和实用性。在本文中,我们提出了一种名为MINT的新方法,通过神经元目标(MINT)来改进模型。MINT利用语言模型的语义属性以新颖的方式进行神经元级别的修复。此外,通过分析模型潜在表示、错误输出和期望输出之间的关系,MINT确定哪些神经元值得更新。这种方法确保只针对对模型失败至关重要的神经元进行修复,避免不必要的更改,并允许更高效和精确的修复过程。MINT是有效、高效且可靠的,能够通过修补最少数量的神经元来纠正神经模型(对于简短代码通常只需一个神经元,而对于长代码则需要两个或更多神经元)。我们引入了新的度量标准来评估其泛化能力,并开发了一个新的基准测试,可供进一步研究。我们的方法在三个编码任务上进行了评估:行级代码生成、shellcode生成和意图到bash的翻译。实验结果表明,所提出的方法在有效性和效率方面都显著优于现有最佳技术。在ExactMatch得分方面,MINT在5.7%?20.8%的改进,在3.9%?18.5%的改进。在效率方面,MINT比现有最佳技术快32.3%?74.8%。此外,我们分析和讨论了模型修复技术的副作用,包括泛化与特异性之间的平衡,以及连续多次修复后的性能。

AI摘要

AI生成的摘要(实验性)

此摘要是使用自动化工具生成的,未由文章作者撰写或审核。它旨在帮助发现、帮助读者评估相关性,并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要,后者仍然是文章的官方摘要。完整文章是权威版本。点击这里了解更多。

点击这里对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。

要查看此AI生成的简单语言摘要,您必须具有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号