大语言模型能否成为代码摘要评估的新范式?CODERPE方法的多角色评估框架研究
《IEEE Transactions on Software Engineering》:Can Large Language Models Serve as Evaluators for Code Summarization?
【字体:
大
中
小
】
时间:2025年12月12日
来源:IEEE Transactions on Software Engineering 5.6
编辑推荐:
本文针对代码摘要质量评估依赖人工、传统自动指标与人类判断相关性低的问题,提出了一种基于大语言模型(LLM)的多角色评估方法CODERPE(Role-Player for Code Summarization Evaluation)。该方法通过让LLM扮演代码审查者、原始代码作者等不同角色,从连贯性、一致性、流畅性和相关性四个维度对生成的代码摘要进行无参考评估。实验结果表明,CODERPE与人类评估的Spearman相关性达到80.18%,显著优于BERTScore等传统指标10.39%,为代码智能任务的自动化评估提供了新思路。
在软件开发与维护过程中,代码摘要技术通过将代码片段转化为自然语言描述,极大地提升了程序理解和软件维护的效率。随着自然语言处理技术的快速发展,特别是大语言模型(LLM)如GPT-4、Gemini和Llama等的涌现,代码摘要的生成质量得到了显著提升。然而,一个长期存在的挑战是如何有效评估这些自动生成的代码摘要的质量。虽然人工评估被认为是黄金标准,但其劳动密集型的特点使其难以大规模应用。而目前广泛使用的自动评估指标,如BLEU、ROUGE-L、METEOR和BERTScore,主要依赖于生成摘要与参考摘要之间的文本相似度计算,多项研究表明这些指标与人类判断的相关性较低,无法充分捕捉代码摘要的语义准确性和逻辑连贯性。
传统的评估方法存在明显局限。n-gram基于指标如BLEU通过计算共享n-gram的数量来评估文本相似度,但忽略了代码语义的特殊性。嵌入基于指标如BERTScore利用预训练语言模型的嵌入表示进行相似度计算,虽然在一定程度上提升了语义对齐,但仍受限于参考摘要的质量和数量。这些方法都无法全面评估代码摘要的关键质量维度,包括连贯性(代码功能逻辑的清晰表达)、一致性(摘要内容与代码事实的符合程度)、流畅性(语言表达的准确性与可读性)和相关性(对代码核心要素的捕捉能力)。
针对这一挑战,研究人员开展了一项创新性研究,探索大语言模型作为代码摘要评估器的潜力。论文《Can Large Language Models Serve as Evaluators for Code Summarization?》发表在《IEEE Transactions on Software Engineering》上,由Yang Wu、Yao Wan等多位研究者合作完成。研究团队提出了CODERPE(Role-Player for Code Summarization Evaluation),一种基于角色扮演提示的新颖评估方法,旨在通过LLM的多角色模拟来实现更精准、更人性化的代码摘要质量评估。
为了验证CODERPE的有效性,研究团队设计了系统的实验框架。他们使用了三个广泛应用的代码摘要数据集:TL-CodeSum(包含87,136个Java代码-摘要对)、CodeSearchNet(496,688个Java方法及其摘要)和Funcom(210万个Java方法-摘要对)。从这些数据集中随机抽取了300个样本(每个数据集100个)进行评估。同时,研究涵盖了八种代表性的代码摘要模型,包括早期的神经模型(CodeNN、Deepcom、Astattgru)、基于检索的方法(Rencos)、Transformer-based模型(NCS)以及基于大语言模型的先进方法(Codex、CodeT5和ChatGPT)。
评估过程中,研究人员采用了多种LLM作为评估器后端,包括OpenAI的GPT系列(gpt-4o-mini、gpt-4o)和开源模型(DeepSeek-V3、Qwen3-32B),以确保评估结果的全面性和可比性。人类评估作为基准,由15名具有5年以上软件开发经验的专业人员对300个样本的四个质量维度进行0-4分的评分,并通过Kendall's Tau验证评分者间的一致性。
在研究方法的创新方面,作者主要采用了几个关键技术策略。首先是多角色提示设计,让LLM模拟代码审查者、原始代码作者、代码编辑和系统分析师等不同角色,每个角色专注于评估特定的质量维度。其次是链式思维(CoT)提示策略,通过结构化评估步骤引导模型进行推理。第三是上下文学习(ICL),通过提供标注示例增强模型的评估能力。最后是评分表单设计,探索了仅评分、评分-解释和分析-评分等不同输出格式对评估效果的影响。
研究结果部分通过三个核心研究问题系统地展示了CODERPE的性能和优势。
在RQ1关于评估器性能的实验中,结果显示CODERPE显著优于所有传统自动指标。具体而言,当使用gpt-4o-mini作为后端并以原始代码作者角色进行评估时,达到了80.18%的Spearman相关性,比最佳传统指标BERTScore(69.79%)高出10.39个百分点。这一优势在四个评估维度上保持一致,特别是在一致性和相关性方面表现尤为突出。值得注意的是,这些优异的性能是在无参考摘要的场景下实现的,表明LLM能够基于对代码本身的理解进行客观评估。
针对RQ2关于评估设置影响的深入分析揭示了多个重要发现。演示示例数量对性能有显著影响,4-shot设置比0-shot在Kendall's Tau相关性上绝对提升了16.76%。评估轮次的增加主要增强了结果的稳定性而非一致性提升。在提示策略方面,分析-评分表单在相关性维度上表现最佳(τ=61.56%,ρ=85.50%),而链式思维提示反而可能引入不必要的复杂性。基于这些发现,研究推荐针对不同维度采用混合提示策略。
RQ3中对现有模型的重新评估带来了颠覆性发现。与传统自动指标的评价相反,CODERPE显示ChatGPT在四个质量维度上全面领先, coherence达到97.00%,fluency达到97.75%,而NCS模型在这些维度上仅达到43.00%和57.00%。这一结果挑战了基于BLEU等传统指标的评价体系,揭示了LLM在代码理解和摘要生成方面的优势。
案例研究部分通过具体实例分析了CODERPE的成功案例和失败模式。在成功案例中,LLM评估器能够准确识别ChatGPT生成摘要的语义准确性,尽管其文本结构与参考摘要差异较大。而在失败案例中,评估器可能因预训练偏差而忽略代码上下文,或将主观偏好(如摘要长度)误判为质量指标。
研究结论部分强调了三个重要启示:LLM能够作为代码摘要的有效评估器,超越传统指标;提示策略和角色设计对评估性能有重要影响;ChatGPT在代码摘要方面的卓越表现需要通过LLM-based评估器才能充分体现。
在讨论部分,作者深入分析了LLM-based评估器的成功条件和失败模式。成功评估依赖于LLM对代码语义的深度理解和多维度质量判断能力,而失败往往源于预训练偏差或主观偏好影响。作者建议未来研究可探索多智能体评估框架,通过多个LLM的相互评估来减少个体偏差。
该研究的创新性体现在多个方面:首次系统探索LLM作为代码摘要评估器的能力;提出了创新的多角色提示框架CODERPE;通过大规模实验验证了方法的有效性;为代码智能任务的评估提供了新范式。研究结果对软件工程社区具有重要启示,推动了自动化评估方法的发展,为代码生成、漏洞检测等任务的评估提供了新思路。
总之,这项研究通过创新的CODERPE框架证明了大语言模型在代码摘要评估中的巨大潜力,为软件工程领域的自动化评估开辟了新方向。该方法不仅解决了传统评估指标与人类判断脱节的问题,还为理解LLM的代码理解能力提供了新视角,对推动代码智能技术的发展具有重要意义。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号