迈向代理式运行时自愈

《Communications of the ACM》:Toward Agentic Runtime Healing

【字体: 大 中 小 】 时间:2026年09月26日 来源:Communications of the ACM 7.1

编辑推荐:

   摘要 自愈系统一直是研究焦点,旨在使软件能够在无人干预的情况下从意外的运行时错误中恢复。传统方法依赖于预先定义的启发式规则,如重用错误处理器或回滚到检查点,但这些方法难以适应各种运行时错误。大型语言模型的出现为解决这一挑战提供了新的机遇。利用它们理解和生成代码及自然语言的能力

  

摘要
自愈系统一直是研究焦点,旨在使软件能够在无人干预的情况下从意外的运行时错误中恢复。传统方法依赖于预先定义的启发式规则,如重用错误处理器或回滚到检查点,但这些方法难以适应各种运行时错误。大型语言模型的出现为解决这一挑战提供了新的机遇。利用它们理解和生成代码及自然语言的能力,我们提出使用LLM根据特定的运行时上下文(如错误消息和程序状态)实时动态生成错误处理策略。我们设计了一个名为Healer的框架来证明该方法的可行性,并通过实验表明它可以高成功率地处理运行时错误。当发生非预期的运行时错误时,Healer利用其内部LLM生成定制的错误处理代码。LLM通过运行时信息进行提示,包括错误消息、错误位置和当前程序状态。生成的修复代码随后被执行以产生修正后的程序状态,使程序能够以最小的干扰继续执行。我们在四个代码数据集和三个最先进的LLM(GPT-3.5、GPT-4和CodeQwen-7B)上评估了Healer,其中GPT-4能够成功恢复72.8%的运行时错误,突显了LLM在该领域的潜力。尽管取得了这些令人鼓舞的结果,但仍面临挑战,特别是关于LLM生成代码的可信度及其与现有系统的集成。我们提出了潜在解决方案,如安全检查和对Healer的编程,以减轻风险并确保可靠运行。这项工作代表了迈向自主运行时修复的第一步,为更加自适应、韧性强和自愈的软件系统铺平了道路。

运行时错误处理
运行时错误处理是软件可靠性工程的一个关键方面。它要求开发者提前预测潜在错误并实现相应的错误处理器。缺乏相应处理器且自然未被捕获的非预期运行时错误可能导致严重后果,如程序意外崩溃、敏感信息泄露以及其他严重问题。为减轻此类风险,人们付出了巨大努力,通过软件测试和验证等技术识别源代码中的潜在错误。然而,识别所有可能的运行时错误并提供相应的异常处理器仍然是一项具有挑战性且往往不切实际的任务。

关键见解
■ 传统的自愈系统依赖于预定义规则(如重启、回滚),无法适应各种非预期的运行时错误。大型语言模型提供了一种根本不同的方法:通过对错误上下文进行推理来实时生成定制的错误处理代码。
■ 在进行任何微调的情况下,GPT-4能够在73%的运行时错误案例中继续执行,并在39%的案例中产生正确结果,表明LLM已经具备了强大的运行时错误恢复能力。
■ 实际采用的主要障碍并非有效性,而是可信度:75%的LLM修复行为遵循可识别、可审计的模式,表明行为白名单等安全机制可以使该方法可行。

鉴于非预期运行时错误的近乎必然性,最小化其影响需要动态对策。这一必要性推动了自愈系统的发展,这是一个长期研究领域,专注于使软件能够自动从异常状态恢复并恢复正常功能。重要的是,修复程序执行并不涉及修补代码来修复错误,而是修订运行时状态(如变量值和环境配置),以恢复程序执行。成功的修复过程不仅应防止意外终止,还应纠正运行时状态,使程序能够有意义地继续执行。自愈系统的核心挑战在于具体错误及其位置事先未知,需要实时响应。因此,这些系统依赖于预定义的启发式策略,如重启、回滚到检查点、尝试替代方法、修改输入、重用现有错误处理器、准备默认错误处理器或组合多种策略。尽管经过数十年的探索,基于规则的策略限制了对各种运行时错误的适应性。定义适应规则的复杂性进一步增加了在现实应用中实施它们的难度。一项大规模的行业研究强调了这一挑战,强调了对更灵活、更具自适应性的自愈方法的需求。

最近,大型语言模型的出现为革新该领域带来了新的机遇。LLM在代码相关任务中表现出了卓越的性能,例如AlphaCode 2模型在编程比赛中超过了85%的人类参与者。这些模型具备理解源代码和自然语言的能力,并能在几秒钟内生成一段源代码。这些能力与运行时错误处理的要求高度契合,例如理解运行时错误上下文(如错误消息和程序状态),并针对非预期错误实时生成定制解决方案。具体来说,当发生非预期的运行时错误时,可以调用LLM,在提示中包含运行时错误上下文,并生成适当的代码脚本。该脚本不会合并到原始程序中,而是动态执行以从故障状态恢复程序。因此,我们提出使用LLM作为运行时错误处理器可能是实现真正自适应和自愈软件系统这一长期目标的有希望的路径。

在本文中,我们通过证明其可行性迈出了实现这一雄心勃勃目标的第一步。具体来说,我们设计了一个名为Healer的LLM驱动的运行时错误处理框架,并实验评估了其有效性。为了说明Healer如何促进运行时错误处理,我们在图1中展示了一个来自开源工具SOS(v4.5.5)的动机示例,该工具用于收集系统日志。提取的代码旨在创建一个临时目录来保存收集的日志。然而,当执行竞态条件时,在目录已经创建后调用os.makedirs(),代码在第2179行崩溃,导致收集的日志丢失。当发生此类未处理的运行时错误时,可以调用Healer来处理错误。它收集相关信息并指示其LLM生成一个修复代码片段,试图避免由错误引起的终止,使程序能够以修正后的状态继续执行。对于这个示例,修复代码将输出目录重命名为新名称,避免与现有目录发生冲突。一旦生成,修复代码动态执行以产生新的程序状态,使程序能够以更新的状态继续执行。

图1:一个动机示例,展示了Healer如何处理运行时错误以恢复程序执行。代码片段和问题摘自SOS,一个用于收集系统日志的开源工具。

在Healer设计之后,我们为Python实现了一个原型并评估了其有效性。评估在四个不同的代码数据集上进行,包含总共1,185个(代码,测试用例)对,其中代码在测试用例中引发运行时错误。我们测试了由三个最先进的LLM驱动的Healer:两个闭源LLM(GPT-3.5和GPT-4)和一个开源LLM(CodeQwen)。最初,我们调查了在零样本设置下,Healer是否能够有效避免中断并纠正执行期间运行时错误的故障程序状态。结果表明,在没有进行任何微调的情况下,GPT-4能够在72.8%的实例中继续执行,并在39.6%的实例中产生正确结果。这表明即使没有复杂的措施,LLM也能正确处理运行时错误,揭示了它们在此任务中的巨大潜力。此外,我们使用实验中生成的(提示,修复代码)对创建了一个指令微调数据集,并微调了GPT-3.5和CodeQwen以评估微调的有效性。微调后,GPT-3.5和CodeQwen在无中断实例中的性能分别提高了31.7%和23.1%,在产生正确结果的实例中分别提高了26.8%和65.8%。值得注意的是,微调后的GPT-3.5达到了与GPT-4相当的性能。因此,我们得出结论,使用LLM进行运行时错误处理是一个具有巨大潜力的有希望的方向。

尽管Healer已显示出有希望的结果,但在LLM投入实际应用之前,仍有一些挑战必须解决。首要挑战是LLM生成代码的可信度,因为生成的代码会被直接执行,而LLM可能会产生错误结果,从而给程序带来潜在风险。为了更好地理解这一可信度问题,我们实证调查了GPT-4生成的修复代码,并观察到一些风险行为,如忽略原始代码中的关键逻辑,这可能导致程序行为异常。因此,如何减轻LLM黑盒带来的潜在风险是一个具有挑战性且重要的问题。幸运的是,有许多有希望的解决方案来解决这些风险。例如,我们可以预定义一组"安全"函数,如数据保存函数,并仅允许LLM使用这些函数来执行修复。有了这样的措施,我们离实现完全自愈系统可能不远了。

提出的框架
Healer依赖于集成的LLM来处理错误,该LLM通过理解错误上下文生成一段名为修复代码的代码。集成的LLM指的是在逻辑上并入自动化运行时错误处理循环的模型,无论其物理部署方式如何。这使得可以根据计算资源可用性使用不同的后端模型(本地或远程)。Healer的工作流程如图2所示。为了便于理解,我们假设该框架应用于解释型编程语言,如Python或JavaScript,其中代码逐行执行,运行时环境在每次执行步骤之间自动持久化程序状态。形式上,考虑一个具有n行的程序P,表示为P={L1, L2, …, Ln}。如果在第Li行发生错误E且没有可用的错误处理器,Healer将被激活。Healer首先收集错误上下文,包括错误消息、程序状态S、完整代码片段和错误行,以构建提示。然后,集成的LLM根据此提示生成一段修复代码Li'。该代码在原始程序的状态S下执行。如果Li'的执行成功,则生成的程序状态S'被更新回原始程序状态,使程序能够从第Li+1行继续。值得注意的是,虽然当前会话的状态已得到修正,但原始程序并未永久修复,该错误仍需在未来的开发中复现和修复。如果修复代码的执行仍然引发错误,程序将被终止并报告错误,遵循传统的错误处理机制。

图2:Healer的工作流程。当发生运行时错误且没有预定义的错误处理器时,Healer被激活。它收集错误上下文,对LLM进行提示,并生成修复代码。然后,修复代码在Healer的运行时环境中执行,产生新的程序状态,使程序能够继续执行。

Healer框架由三个主要组件组成:
• 运行时信息收集器。一旦Healer被激活,运行时信息收集器从运行时环境中收集必要信息。具体来说,Healer收集四类信息:源代码、错误消息、错误位置以及错误引发之前的程序状态。这些信息对于人类开发者理解错误并编写修复代码至关重要;因此,Healer收集这些信息以有效提示LLM。
• 大型语言模型。如图3所示,Healer使用结构化的提示模板与LLM交互,该模板将任务说明与相关上下文字段相结合。说明概述了任务描述、目标和约束,并辅以示例来引导LLM的生成。在此之后,模板填入收集到的错误上下文;具体来说,完整的源代码、错误消息和程序状态被插入到各自的字段中。遵循OpenAI的提示工程最佳实践,每个字段都由一个节标题清晰界定,包括"错误消息"、"程序状态"和"缺陷代码"。值得注意的是,错误位置没有被指定为独立的部分。相反,我们通过在源代码中直接用<>标签包裹引发错误的代码块来突出引发错误的逻辑。由于空间限制,完整的提示在我们的工件中提供。
• 修复运行时。LLM生成的修复代码需要执行以产生新的程序状态。我们将执行修复代码的运行时称为修复运行时。

一种直接的方法是在与原始程序相同的运行时环境中执行修复代码。然而,为了降低与大语言模型(LLM)生成代码相关的潜在安全风险,可以使用替代的运行时环境。例如,根据所需的安全级别,修复运行时可以是新会话、沙箱或虚拟机。值得注意的是,执行过程不会从头开始重新运行原始程序,而是在错误发生前保留的程序状态下执行修复代码。

图3. Healer中提示构建工作流的一个示例。提示基于预定义的模板构建。

Healer的评估

我们进一步评估了Healer处理运行时错误的有效性。为了进行此评估,我们实现了一个概念验证的Python代码执行器,该执行器接受源代码字符串作为输入并使用Healer流程执行它们。

大语言模型能够有效处理运行时错误。我们在四个基准上评估了Healer:用于人工编写代码的CodeNet16;用于LLM生成代码的HumanEval+、MBPP+22和LiveCodeBench17;以及用于包含植入缺陷的代码的DebugBench34。对于CodeNet和DebugBench,我们使用提供的测试用例执行代码样本,并保留产生运行时错误的(代码,测试用例)对,分别得到228个和436个实例。在HumanEval+和MBPP+的文档中,评估了多个LLM,且评估过程中生成的代码片段可供公开获取。10我们采用了由六个不同LLM生成的代码片段,包括GPT-3.5(ChatGPT)24、GPT-4(gpt-4-1106-preview)1、CodeLlama(34B)30、CodeT5+(16B)36、Mistral(7B)18和StarCoder(15B)20,然后按照相同的执行后筛选流程获取实例。最后,我们从HumanEval+中获得了295个实例,从MBPP+中获得了226个实例。同样,我们从LiveCodeBench中收集了由GPT-4(gpt-4-1106-preview)生成的引发错误的代码片段作为对照组,该对照组不存在任何潜在的数据泄露问题,共得到47个样本。对于每个实例,我们使用配对的测试用例执行其代码片段,并使用GPT-3.5、GPT-4和CodeQwen这三个LLM按照图1描述的框架处理运行时错误。我们记录了每个实例的最终执行状态,并计算了三个指标:CORRECT、PROCEED和FAIL,分别表示程序最终是否产生了测试用例期望的正确结果、程序是否能够继续执行,以及修复代码是否仍然引发错误。

表1中显示的结果表明,Healer能够有效修复运行时错误,从而提高程序可用性。平均而言,在所有基准中,GPT-4、GPT-3.5和CodeQwen分别能够继续73.0%、48.3%和35.1%的执行,并帮助38.7%、23.5%和13.0%的程序产生正确结果。这提供了有力的证据,表明使用LLM处理运行时错误是一个可行且有前景的方向。在LLM中,GPT-4在所有基准上始终取得最佳性能,具有最高的CORRECT和PROCEED指标。例如,在DebugBench基准上,GPT-4成功完成了338个实例的执行,并纠正了至少177个实例的错误状态,分别占总错误数的77.5%和40.6%。即使对于由LLM生成的代码片段,如HumanEval、MBPP和LiveCodeBench中的代码,Healer也改善了执行结果。例如,GPT-4通过成功纠正HumanEval中的11个额外实例和MBPP中的1个额外实例,改进了其生成代码的执行结果。此外,Healer在LiveCodeBench上取得了可比的性能,证明了潜在数据泄露问题的影响微乎其微。这表明LLM可用于缓解其自身生成代码引起的运行时错误。

表1. 所有基准上零样本设置下GPT-4、GPT-3.5和CodeQwen的性能。括号中带模型名称的基准是由该特定LLM生成的。CORR.、PROC.和FAIL.分别指修复结果中程序产生正确结果、继续执行或仍引发错误的百分比。

| 基准 | #错误 | GPT-4 | | | GPT-3.5 | | | CodeQwen | | |
|------|-------|-------|-------|-------|---------|---------|---------|----------|---------|---------|
| | | CORR. | PROC. | FAIL. | CORR. | PROC. | FAIL. | CORR. | PROC. | FAIL. |
| CodeNet | 228 | 42.1% | 73.2% | 26.8% | 31.1% | 52.6% | 47.4% | 16.7% | 39.9% | 60.1% |
| HumanEval (CodeLlama) | 70 | 47.1% | 62.9% | 37.1% | 35.7% | 57.1% | 42.9% | 12.9% | 32.9% | 67.1% |
| HumanEval (CodeT5+) | 57 | 36.8% | 64.9% | 35.1% | 21.1% | 50.9% | 49.1% | 14.0% | 36.8% | 63.2% |
| HumanEval (GPT-3.5) | 43 | 23.3% | 72.1% | 27.9% | 7.0% | 37.2% | 62.8% | 14.0% | 46.5% | 53.5% |
| HumanEval (GPT-4) | 19 | 57.9% | 100.0% | 0.0% | 21.1% | 63.2% | 36.8% | 10.5% | 21.1% | 78.9% |
| HumanEval (Mistral) | 37 | 35.1% | 64.9% | 35.1% | 18.9% | 45.9% | 54.1% | 10.8% | 27.0% | 73.0% |
| HumanEval (StarCoder) | 69 | 37.7% | 58.0% | 42.0% | 30.4% | 39.1% | 60.9% | 18.8% | 34.8% | 65.2% |
| MBPP (CodeLlama) | 30 | 40.0% | 80.0% | 20.0% | 26.7% | 50.0% | 50.0% | 13.3% | 30.0% | 70.0% |
| MBPP (CodeT5+) | 49 | 44.9% | 75.5% | 24.5% | 16.3% | 38.8% | 61.2% | 10.2% | 40.8% | 59.2% |
| MBPP (GPT-3.5) | 14 | 7.1% | 92.9% | 7.1% | 0.0% | 50.0% | 50.0% | 0.0% | 28.6% | 71.4% |
| MBPP (GPT-4) | 3 | 33.3% | 100.0% | 0.0% | 33.3% | 33.3% | 66.7% | 0.0% | 0.0% | 100.0% |
| MBPP (Mistral) | 73 | 34.2% | 68.5% | 31.5% | 13.7% | 34.2% | 65.8% | 11.0% | 34.2% | 65.8% |
| MBPP (StarCoder) | 57 | 36.8% | 63.2% | 36.8% | 29.8% | 49.1% | 50.9% | 12.3% | 42.1% | 57.9% |
| LiveCodeBench | 47 | 17.0% | 76.6% | 23.4% | 10.6% | 51.0% | 49.0% | 6.4% | 29.8% | 70.2% |
| DebugBench | 436 | 40.6% | 77.5% | 22.5% | 22.2% | 49.3% | 50.7% | 12.2% | 33.0% | 67.0% |

虽然我们主要关注不同LLM之间的比较,但也值得将这些结果与传统自愈策略进行比较,如重启、重试和压过错误(即记录运行时错误并继续执行,即使存在错误)。在我们的基准情境下,运行时错误是确定性错误(如IndexError、AttributeError、NameError),而非环境故障。因此,传统的重试或回滚策略在继续执行方面的成功率将为0%,因为在不进行自适应修复的情况下重新执行相同的错误逻辑将导致相同的崩溃。同样,错误压过器2,9可能使程序存活下来,从而提高PROCEED指标。然而,它无法纠正程序状态以完成任务,导致CORRECT率极低。例如,当我们采用无论如何超过代码执行时间的错误压过器时,CORRECT指标仅为4.3%。这突显了Healer在弥合简单崩溃规避与功能恢复之间差距的独特价值。

要点1:Healer能够有效处理运行时错误,提高程序的可用性和可靠性。值得注意的是,基于GPT-4的Healer能够在73.0%的实例中继续执行,并在38.7%的实例中产生正确结果。

微调进一步提高Healer的效果。使用之前实验中产生正确结果的数据点,我们创建了指令调优数据集,用于对LLM进行运行时错误处理的微调。该数据集由586个(提示,修复代码)对组成,源自除人工编写基准CodeNet之外的所有基准的样本,CodeNet保留作为微调后LLM的测试集。具体而言,我们运行GPT-3.5和GPT-4来处理所选基准中每个实例的运行时错误,并记录修复代码。如果修复结果为CORRECT,我们将提示与其对应的修复代码配对作为数据集中的样本。使用此数据集,我们微调了两个LLM,GPT-3.5和CodeQwen,同时以GPT-4的性能作为参考。具体而言,GPT-3.5通过OpenAI提供的商业API进行微调,其超参数遵循其默认设置。CodeQwen使用低秩适应(LoRA)技术在我们的机器上进行微调,LoRA是一种参数高效的微调技术15,其超参数可在我们的工件中找到。微调后,我们在CodeNet上评估了微调后的LLM。

表2中呈现的结果表明,微调有效增强了LLM处理运行时错误的性能。GPT-3.5和CodeQwen均表现出显著提升,GPT-3.5的CORRECT实例增加了26.8%,PROCEED实例增加了31.7%,CodeQwen的CORRECT实例增加了65.8%,PROCEED实例增加了23.1%。值得注意的是,微调后的GPT-3.5成功产生了90个CORRECT实例,接近GPT-4的96个CORRECT实例的性能。同样,微调后的CodeQwen也取得了与GPT-3.5相当的可比结果。这表明微调可以成为一种强大的方法,用于开发针对运行时错误处理的任务特定LLM,在有效性方面可能超越通用LLM。因此,运行时错误处理的领域特定LLM是一个有前景的方向。

表2. GPT-3.5和CodeQwen的微调版本与原始版本的比较。GPT-4作为参考,因为我们无法访问其微调API。

| LLM | 版本 | CodeNet (228) | CORRECT | PROCEED |
|-----|------|---------------|---------|---------|
| GPT-4 | 原始 | | 96 | 167 |
| GPT-3.5 | 原始 | | 71 | 120 |
| | 微调 | | 90 (26.8%↑) | 158 (31.7%↑) |
| CodeQwen | 原始 | | 38 | 91 |
| | 微调 | | 63 (65.8%↑) | 112 (23.1%↑) |

要点2:微调显著提高了LLM处理运行时错误的性能。GPT-3.5在CodeNet上的CORRECT实例增加了26.8%,PROCEED实例增加了31.7%,达到了与GPT-4相当的性能。

剩余挑战

Healer自主运行,执行由LLM生成的代码来处理运行时错误,无需人工干预。然而,研究表明,LLM生成的代码可能表现出非预期行为,执行时会引入风险。27,39这个问题也已被其他直接执行模型生成代码的研究(如LExecutor33)所强调,引发了对Healer可靠性的担忧。例如,有人可能会问:"如果LLM删除了我的数据库怎么办?"

LLM可能引入意外行为。为了更好地了解风险,我们收集了GPT-4在DebugBench上生成的所有错误修复代码(即成功继续执行但最终产生错误结果的修复代码)。此过程产生了204段修复代码。在Healer运行时中执行失败的修复代码被排除在分析之外,因为它们不影响原始运行时环境。两位作者,每人都有三年以上Python开发经验,手动检查了这些收集的实例,以识别LLM在修复运行时错误时可能引入的行为。目标是经验性地发现LLM在修复过程中可能引发的行为。具体而言,两位作者一起审查了每个修复代码片段,并讨论了与原始引发错误的代码相比引入的行为。识别出的行为被增量添加到列表中。请注意,我们的目的不是创建所有可能行为的全面分类法,而是提供Healer行为的定量演示。

总共,我们识别出了19种不同的行为,详见表3。其中一些行为,如省略部分上下文(2.4%)或省略返回语句(2.9%),是危险的,可能会扰乱预期的数据流,导致意外的执行路径。因此,在没有进一步约束的情况下,Healer执行的恢复无法保证正确或安全。尽管如此,我们的发现表明,这些风险是可管理的,因为大多数这些行为遵循明显的模式,可以通过修复代码与引发错误的代码之间的基于规则的比较来精确识别。具体而言,75%的调查样本表现出可识别的行为,如改变变量值(21.0%)、初始化未定义变量(10.2%)、调整类型(5.9%)或导入新库(27.3%)。这些行为可以通过基于预定义白名单的静态检查来识别。这样,Healer可以被保守地配置为只执行对被保护程序不构成风险的行为。虽然这些限制可能会限制Healer的能力,但它们显著减少了与其操作相关的不可预测性。

表3. GPT-4生成的修复代码中观察到的行为摘要。

| 可识别行为(可通过静态分析工具识别的一致模式) | 计数 |
|------------------------------------------------|------|
| 无操作:重复代码而无需任何语义更改 | 1 (0.5%) |
| 值更改:为变量/常量分配/定义新值 | 43 (21.0%) |
| 值更改(条件):有条件地为变量分配新值 | 13 (6.3%) |
| 变量初始化:初始化未定义的变量 | 21 (10.2%) |
| 类型更改:设置/修改变量/常量的类型 | 12 (5.9%) |
| 库导入:导入新库/API | 56 (27.3%) |
| 函数调用:使用新参数调用现有自定义函数 | 3 (1.5%) |
| 变量更改:将引用更改为不同的变量 | 20 (9.8%) |
| 运算符更改:在语句或表达式中使用不同的运算符 | 7 (3.4%) |

| 不可识别行为(不规则或不可预测的模式) | 计数 |
|----------------------------------------|------|
| 函数定义:定义新函数并在逻辑中使用它 | 1 (0.5%) |
| 函数替换:将逻辑实现为函数调用的替代方案 | 8 (3.9%) |
| 类型更改和使用:为变量设置新类型并在逻辑中使用它 | 2 (1.0%) |
| API替换:调用替代API | 12 (5.9%) |
| 索引省略:省略对变量的索引 | 1 (0.5%) |
| 库导入和使用:导入新库并在逻辑中使用它 | 11 (5.4%) |
| 上下文省略:跳过引发错误代码中的剩余逻辑,特定行除外 | 5 (2.4%) |
| 返回省略:省略返回语句 | 6 (2.9%) |
| 上下文重复:重复给定的整个代码上下文 | 1 (0.5%) |
| 函数调用省略:省略对未定义函数的调用 | 3 (1.5%) |

可信赖的未来?人类也会犯错。然而,通过软件测试等技术,我们可以将这些风险识别并降低到可接受的水平。同样,除了开发更强大的LLM之外,Healer的支持机制对于确保可靠性至关重要。作为一个新提出的想法,Healer的生态系统目前尚不发达。下面,我们讨论了有助于LLM表现得更加可靠的可能方法。通过实施这些策略,我们可以更接近一个Healer能够在软件系统中可靠安全运行的未来,在最小化风险的同时最大化其自动化错误恢复的潜力。

安全检查。上下文省略(跳过原始逻辑的部分内容)或返回省略(省略返回语句)等行为可能会严重扰乱程序的预期流程。可以使用静态检查器之类的机制来防止潜在有害代码的执行。例如,我们可以定义一个Healer允许执行的行为白名单,并使用静态检查器确保修复代码不包含该白名单之外的任何行为。此外,用于源代码的技术,如动态测试、静态分析和验证,也可能适用于修复代码。

Healer感知编程。传统软件系统从根本上是确定性的,Healer引入的不确定性有时可能是不可接受的。为了更好地适应Healer,软件系统需要考虑到其潜在干预进行设计。

例如,由于Healer可能会改变变量的值,系统应包含额外机制来处理这些变化,例如警告用户对系统输出保持谨慎,或维护详细的错误日志以便将来修复缺陷。此外,为Healer在系统中建立一个"安全活动区"也很重要,在该区域内,它的干预是可接受的,且不太可能造致严重损害。这个安全活动区可以涵盖非关键模块或组件,例如用户界面元素,在这些地方,Healer操作可能产生的副作用更为可控。通过将Healer的活动限制在这些安全区域内,开发者可以在不将系统更敏感的部分暴露于不必要风险的同时,享受自动化错误恢复带来的便利。可靠的LLM技能集。受AI代理在软件开发中实践方法的启发,35 一种可能的解决方案是为LLM提供一套工具包作为技能集。Healer内部的LLM将被限制仅使用该工具包中的功能。例如,工具包可以提供一个预定义的数据保存函数,LLM可以使用该函数来保存否则可能会丢失的数据。由于这些函数是预先定义的,Healer的行为变得可预测,从而降低了风险。讨论在此,我们讨论Healer的一些潜在问题,包括其部署影响和向其他编程语言扩展的可能性。基础设施与部署影响。从技术角度看,Healer需要访问运行时状态信息(例如堆栈跟踪和变量状态)、一个执行环境(例如沙箱、容器或轻量级虚拟机)以正确执行LLM生成的修复代码,以及对LLM服务的访问,该服务可以通过远程API或本地部署的模型来提供。在这些前提条件中,LLM服务对软件提出了额外的要求,其中远程API与本地部署之间的选择涉及不同的架构权衡。使用远程API需要与服务器托管模型之间的稳定网络连接。相反,采用本地模型则要求托管设备具备足够的计算能力来支持推理。为解决这一问题,各种技术如模型压缩31和量化21已被开发出来,以使用户设备能够进行推理。例如,LLAMA.cpp11可以在单台M3 Ultra MacBook上高效运行gpt-oss-20B26。随着该领域的进步,我们预计LLM的资源需求将进一步降低。Healer在真实系统中的应用。为有效地在实际应用中应用Healer,需要解决一些工程挑战。例如,真实世界的软件系统可能包含数百万行代码,其中绝大部分与任何单个运行时错误无关。因此,对于LLM而言,在每次出现错误时通读整个代码库是低效的。这就需要一种有针对性的上下文检索策略,以识别与错误轨迹相关的代码段,而在缺陷定位41和代码库代码补全40等代码库级别任务中,此类方法已被广泛研究。此外,Healer必须与现有的错误恢复机制无缝集成。例如,它应与传统的回滚策略(例如快照恢复)协同工作,以便在Healer无法解决错误时,系统可以回退到这些预设的备份措施。向其他编程语言的扩展。虽然我们当前的实验在Python中实现了Healer,但处理运行时错误的底层框架被设计为与语言无关的。解释型语言(例如Python、JavaScript、Ruby)天然适合Healer,因为它们原生支持动态代码执行。相比之下,编译型语言(例如Java、C++、Rust)在执行之前需要编译步骤,这给动态执行过程带来了架构复杂性。然而,这一障碍并非不可逾越,可以通过特定的语言特性来解决。例如,Java提供了Java编译器API以在运行时编译代码片段,C++允许动态加载共享库。虽然实现这一点需要一些工程努力,但将Healer扩展到这些语言是前景乐观的。我们期待在未来的工作中探索这些扩展实现。结论AI驱动的运行时错误处理代表了提高软件系统可靠性的一个有前景的方法,可能成为实现自愈系统的新途径。我们首次提出了这一想法,并提供了概念验证实现来展示其可行性。通过我们的实现,我们证明了Healer能够以高成功率处理运行时错误。然而,仍然存在重大挑战,特别是关于LLM行为的不确定性和此类系统与现有软件架构的兼容性问题。我们希望本工作能够激发该领域的进一步研究,并为AI驱动的运行时错误处理的未来铺平道路,最终实现更加健壮和具有韧性的软件系统。作者简介孙震舒是新加坡管理大学的博士生,新加坡,新加坡。朱昊天是新加坡管理大学的研究工程师,新加坡,新加坡。许博文是北卡罗来纳州立大学的助理教授,北卡罗来纳州罗利市,美国。杜晓宁(xiaoning.du@monash.edu)是莫纳什大学的资深讲师,维多利亚州墨尔本,澳大利亚。李立是北方航空大学的教授,北京,中国。罗伟是管理大学的新加坡教授,新加坡,新加坡。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号