
-
生物通官微
陪你抓住生命科技
跳动的脉搏
大型语言模型代理的中间阶段响应能力评估框架研究
《Scientific Reports》:Benchmarking the responsiveness of LLM-based agentic systems under controlled mid-task perturbations
【字体: 大 中 小 】 时间:2026年10月21日 来源:Scientific Reports 4.9
编辑推荐:
摘要大型语言模型(LLM)代理越来越多地被应用于那些工具失效、目标变更以及任务进行过程中约束条件加紧的场合。现有的评估指标仅衡量任务的最终静态准确性,因此忽略了模型在中途应对变化时的适应能力,即所谓的“中间阶段响应能力”。我们提出了一个响应能力评估框架,该框架将三种代理架构(Re
大型语言模型(LLM)代理越来越多地被应用于那些工具失效、目标变更以及任务进行过程中约束条件加紧的场合。现有的评估指标仅衡量任务的最终静态准确性,因此忽略了模型在中途应对变化时的适应能力,即所谓的“中间阶段响应能力”。我们提出了一个响应能力评估框架,该框架将三种代理架构(ReAct、Reflection和Plan-and-Execute)与三种确定性的合成环境(工具规划、调试和约束规划)结合使用,并在不同程度上引入工具拒绝、目标修改或约束条件变化等干扰因素。通过两个各包含4,320个场景的匹配因子网格实验进行测试:一组会提前通知干扰情况,另一组则不通知。ReAct在总体奖励值上表现最佳(0.544),但在工具规划任务中表现更优(0.711 vs 0.532),而在约束规划任务中表现较弱(0.114)。工具拒绝会显著抑制模型的恢复能力;当干扰程度在[0.1, 0.9]范围内时,模型恢复能力并未表现出明显的剂量-反应关系。此外,提前提出干扰通知并未提升任何代理架构的平均奖励值。相关代码、日志和分析流程均已公开,可供进一步研究使用。