神经元修补技术:基于语义的神经元级语言模型修复方法,用于代码生成
《ACM Transactions on Software Engineering and Methodology》:Neuron Patching: Semantic-based Neuron-level Language Model Repair for Code Generation
【字体:
大
中
小
】
时间:2026年03月16日
来源:ACM Transactions on Software Engineering and Methodology
摘要
摘要
语言模型(LMs)在软件工程中得到了广泛应用,尤其是在代码生成等任务中,它们被称为代码LMs。这些模型在生成代码方面被证明是有效的,使开发者能够更轻松地自动化编码活动。然而,研究指出一个重要的限制:尽管它们很有效,但LMs生成的代码往往不正确、有错误或无法完全正常运行。解决这一限制对于充分发挥LMs在实际应用中的潜力至关重要。然而,尤其是在只有少量反馈数据的情况下更新LMs是非常具有挑战性的。在这种情况下,热修复技术(hot-fix techniques)可能很有前景,它们可以在数据有限的情况下促进模型的敏捷更新,从而保持可靠性和实用性。在本文中,我们提出了一种名为MINT的新方法,通过神经元目标(MINT)来改进模型。MINT利用语言模型的语义属性以新颖的方式进行神经元级别的修复。此外,通过分析模型潜在表示、错误输出和期望输出之间的关系,MINT确定哪些神经元值得更新。这种方法确保只针对对模型失败至关重要的神经元进行修复,避免不必要的更改,并允许更高效和精确的修复过程。MINT是有效、高效且可靠的,能够通过修补最少数量的神经元来纠正神经模型(对于简短代码通常只需一个神经元,而对于长代码则需要两个或更多神经元)。我们引入了新的度量标准来评估其泛化能力,并开发了一个新的基准测试,可供进一步研究。我们的方法在三个编码任务上进行了评估:行级代码生成、shellcode生成和意图到bash的翻译。实验结果表明,所提出的方法在有效性和效率方面都显著优于现有最佳技术。在ExactMatch得分方面,MINT在的改进,在的改进。在效率方面,MINT比现有最佳技术快。此外,我们分析和讨论了模型修复技术的副作用,包括泛化与特异性之间的平衡,以及连续多次修复后的性能。
AI摘要
AI生成的摘要(实验性)
此摘要是使用自动化工具生成的,未由文章作者撰写或审核。它旨在帮助发现、帮助读者评估相关性,并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要,后者仍然是文章的官方摘要。完整文章是权威版本。点击这里了解更多。
点击这里对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。
要查看此AI生成的简单语言摘要,您必须具有高级访问权限。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号