SWE数据构建,全自动完成!

《Proceedings of the ACM on Software Engineering》:SWE Data Construction, Automatically!

【字体: 大 中 小 】 时间:2026年07月06日 来源:Proceedings of the ACM on Software Engineering

编辑推荐:

  摘要AI总结要查看此由AI生成的总结,您需要拥有高级访问权限。了解更多信息登录摘要摘要为GitHub问题解决任务构建大规模数据集对于训练和评估大型语言模型(LLMs)的软件工程能力至关重要。然而,现有的GitHub问题解决数据构建流程既复杂又耗时。我们发现了现有流程中的三个主要局

  

摘要

摘要

为GitHub问题解决任务构建大规模数据集对于训练和评估大型语言模型(LLMs)的软件工程能力至关重要。然而,现有的GitHub问题解决数据构建流程既复杂又耗时。我们发现了现有流程中的三个主要局限:(1)收集的测试补丁往往遗漏二进制文件的变化;(2)手动构建评估环境十分费力;(3)fail2pass验证阶段需要手动检查测试日志并编写自定义解析代码来提取测试状态。在本文中,我们提出了SWE-Factory,这是一种完全自动化的問題解决数据构建流程,旨在解决这些局限。首先,我们的流程能自动恢复缺失的二进制测试文件,并确保测试补丁的正确性。其次,我们引入了SWE-Builder,这是一个基于LLM的自动化系统,可自动构建评估环境。第三,我们提出了一种标准化的、基于退出码的日志解析方法,可自动提取测试状态,从而实现完全自动化的fail2pass验证。在四种编程语言的671个真实GitHub问题上进行的实验表明,我们的方法能够以合理的成本有效构建用于GitHub问题的有效评估环境。例如,使用GPT-4.1 mini,我们的SWE-Builder在671个问题中构建出了337个有效的任务实例,每个实例的成本仅为0.047美元。我们的消融研究进一步证明了SWE-Builder各组成部分的有效性。我们还通过手动检查证明,基于退出码的fail2pass验证方法具有很高的准确性,F1分数达到了0.99。此外,我们还进行了一项探索性实验,研究是否可以利用SWE-Factory提升模型的软件工程能力。在使用我们的方法收集的2,809个Python任务实例上训练了五个模型后,所有模型的软件工程能力都有所提升。例如,经过训练的Qwen2.5-Coder-14B-Instruct在SWE-bench Verified上的解决率从5.8%上升到了21.0%。我们希望我们的方法能够加速构建大规模、高质量的GitHub问题解决数据集,以用于训练和评估。

AI总结

AI生成的总结(实验性)

此总结是使用自动化工具生成的,并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性,以及帮助来自相关研究领域的读者理解本文内容。它是对作者提供的摘要的补充,而作者提供的摘要仍是文章的主要总结。完整文章才是最具权威性的版本。点击此处了解更多。

点击这里,可以对此总结的准确性、清晰度和实用性发表意见。您的反馈将有助于改进未来的生成版本。

要查看此由AI生成的通俗语言总结,您需要拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号