今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

大型语言模型代理的中间阶段响应能力评估框架研究

《Scientific Reports》:Benchmarking the responsiveness of LLM-based agentic systems under controlled mid-task perturbations

【字体: 大 中 小 】 时间:2026年10月21日 来源:Scientific Reports 4.9

编辑推荐:

  摘要大型语言模型(LLM)代理越来越多地被应用于那些工具失效、目标变更以及任务进行过程中约束条件加紧的场合。现有的评估指标仅衡量任务的最终静态准确性,因此忽略了模型在中途应对变化时的适应能力,即所谓的“中间阶段响应能力”。我们提出了一个响应能力评估框架,该框架将三种代理架构(Re

  

摘要

大型语言模型(LLM)代理越来越多地被应用于那些工具失效、目标变更以及任务进行过程中约束条件加紧的场合。现有的评估指标仅衡量任务的最终静态准确性,因此忽略了模型在中途应对变化时的适应能力,即所谓的“中间阶段响应能力”。我们提出了一个响应能力评估框架,该框架将三种代理架构(ReAct、Reflection和Plan-and-Execute)与三种确定性的合成环境(工具规划、调试和约束规划)结合使用,并在不同程度上引入工具拒绝、目标修改或约束条件变化等干扰因素。通过两个各包含4,320个场景的匹配因子网格实验进行测试:一组会提前通知干扰情况,另一组则不通知。ReAct在总体奖励值上表现最佳(0.544),但在工具规划任务中表现更优(0.711 vs 0.532),而在约束规划任务中表现较弱(0.114)。工具拒绝会显著抑制模型的恢复能力;当干扰程度在[0.1, 0.9]范围内时,模型恢复能力并未表现出明显的剂量-反应关系。此外,提前提出干扰通知并未提升任何代理架构的平均奖励值。相关代码、日志和分析流程均已公开,可供进一步研究使用。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:大型语言模型|代理|响应能力评估|动态适应|干扰因素|工具拒绝

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号