RePAIR:面向混合编辑大语言模型智能体框架优化的反事实局部回滚
《Information Processing & Management》:RePAIR: Counterfactual local rollback for mixed-edit LLM agent harness optimization
【字体:
大
中
小
】
时间:2026年09月28日
来源:Information Processing & Management 8.1
编辑推荐:
• 混合编辑harness优化导致反馈粒度不匹配。
• 标量补丁历史仅能部分识别本地回滚效果。
• RePAIR使用配对证据进行区间筛选的本地回滚。
• 顺序再估计处理依赖补丁状态的回滚效果。
• 与UCB选择相比,RePAIR将平均拯救率提高了10.2个百分点。
引言
• 混合编辑harness优化导致反馈粒度不匹配。
• 标量补丁历史仅能部分识别本地回滚效果。
• RePAIR使用配对证据进行区间筛选的本地回滚。
• 顺序再估计处理依赖补丁状态的回滚效果。
• 与UCB选择相比,RePAIR将平均拯救率提高了10.2个百分点。
引言
大型语言模型(LLM)智能体很少被部署为单次提示-模型调用。在实际系统中,它们的行为由智能体harness塑造,该harness将模型与提示、检索、记忆、工具、执行控制和完成检查连接起来(Fan et al., 2025)。例如,软件智能体harness可能包含用于问题分析、文件定位、补丁生成、测试策略、验证和错误恢复的可编辑模块。混合编辑更新可能同时修改其中多个模块。因此,harness决定了LLM如何观察信息、使用外部资源、采取行动以及完成长期任务(Cui et al., 2025)。随着提示程序和智能体工作流优化方法越来越多地在模块化提示、工具、检索策略和工作流设计上进行搜索(Hu et al., 2025, Khattab et al., 2024, Opsahl-Ong et al., 2024, Zhang et al., 2025),harness组件已成为迭代优化的自然目标。
然而,harness优化通常在一次更新中修改多个组件,产生混合编辑补丁。此类补丁的端到端评估通常只返回一个聚合分数,该分数反映了所有编辑的联合效果,但无法揭示每个被编辑组件的效果。这造成了粒度不匹配:优化和回滚决策在组件级别进行,但反馈仅在补丁级别被观察到。因此,一个改进的补丁可能仍然包含被有益编辑掩盖的有害编辑,而一个退化的补丁可能包含应被保留的有用编辑。因此,仅凭混合编辑补丁的聚合分数,无法清楚判断应保留哪些组件以及应回滚哪些组件。图1说明了这种补丁级别反馈与组件级别回滚决策之间的不匹配。
现有方法并未直接解决这一问题,因为它们在不同的抽象层级上运作。当前关于智能体harness优化的工作主要遵循两个方向。第一个方向专注于生成更强的候选配置并使用补丁级别的评估信号进行选择,例如进化提示搜索(Fernando et al., 2023)和自动化harness构建方法。这些方法将每个补丁视为整体,而不分析编辑的内部结构。第二个方向专注于事后诊断,包括基于批评者的反馈(Paul et al., 2024)、评判式评估(Zheng et al., 2023)和轨迹级别评分(Lightman et al., 2024),这些方法可以识别薄弱环节,但仍仅在轨迹级别而非特定组件编辑级别进行归因。更一般的信用分配框架(Toro Icarte et al., 2022)假设组件级别奖励至少部分是可观察的,而经典的多臂赌博机模型(Lattimore & Szepesvári, 2020)将干预视为独立臂。混合编辑harness搜索违反了这两个假设:组件级别奖励不可观察,且一个编辑的效果取决于同时激活的其他编辑。因此,相同的补丁级别分数历史可能源于根本不同的潜在价值结构,却对相同组件暗示相反的回滚决策。这一局限性不仅仅是诊断性的,而是结构性的:在混合编辑和标量反馈下,仅凭历史无法识别组件级别的回滚决策。
为克服这一本地可识别性障碍,我们开发了一种针对混合编辑harness更新的补丁条件回滚理论。给定现有harness H? 和混合编辑补丁 H+,我们关注的不是被编辑组件的历史平均贡献,而是其在当前补丁状态下的回滚效果:τi(H+|H?) = V(H+) ? V(H+?i←H?),其中 H+?i←H? 表示通过仅回滚组件 i 而保持所有其他编辑不变所得到的反事实补丁。τi 的符号直接决定了本地回滚决策:τi < 0 表明应回滚该编辑,而 τi > 0 表明应保留该编辑。我们进一步表明,仅凭补丁级别分数历史通常无法识别这一符号,因为这些历史缺乏所需的单组件反事实价值。在可重置环境中,这一缺失信息可以通过当前补丁与其单组件回滚对应项之间的配对评估获得,从而在固定批次区间满足条件覆盖要求时实现有限样本误差控制的回滚。
基于这一原则,我们提出 RePAIR,一种用于在有限评估预算下拯救混合编辑补丁的反事实本地回滚框架。其关键设计在于将历史优先级排序与回滚证据分离:补丁历史仅用于分配配对测试,而回滚决策则基于配对反事实估计和预设区间规则。由于回滚效果依赖补丁状态,RePAIR 执行顺序回滚,并在每次接受回滚后丢弃在过期补丁状态下收集的区间证据。我们在七个基准上评估 RePAIR,涵盖文本任务、数学推理、终端智能体执行和软件智能体任务,表明在评估的模型和协议下,与代表性基线相比,RePAIR 在回滚方向准确性、补丁拯救质量和搜索性能方面均有提升。我们的贡献如下:
• 我们形式化了混合编辑harness补丁的补丁条件回滚效果 τi,并刻画了其可识别性边界:在最坏情况下,标量补丁级别历史不足以在无结构假设或观察到的单组件回滚配置时解决问题,但在加法满秩设计下则变得充分。这将混合编辑回滚重新定义为本地可识别性问题而非标准事后归因。
• 我们表明可重置配对回滚实验能够恢复缺失的单组件反事实,并在固定批次 Hoeffding 和经验 Bernstein 模式下支持有限样本误差控制。主实验中使用的配对 t 默认方法在经验上进行了评估。
• 我们提出 RePAIR,一种反事实本地回滚框架,将基于历史的配对测试分配与回滚证据分离,并使用预设配对区间做出操作性回滚决策。
• 我们表明回滚效果依赖补丁状态:回滚一个编辑可能改变剩余编辑是否也应回滚的判断。因此,RePAIR 在每次接受回滚后进行顺序再估计并丢弃过期的区间证据,而非仅凭对原始补丁的单次估计决定所有回滚。
本文其余部分组织如下:第2节回顾有关提示和智能体工作流优化、智能体诊断和信用分配的相关研究。第3节形式化混合编辑回滚问题并定义补丁条件回滚效果。第4节提出 RePAIR 框架,第5节建立其可识别性分析和无分布理论参考保证。第6节报告实验结果。第7节讨论主要发现、理论和实践意义以及与现有工作的区别。最后一节总结全文。
章节摘要
提示、工作流和harness优化
改进LLM系统的研究逐渐将优化单元从提示扩展到完整的智能体系统。早期工作通过搜索、反思、自然语言梯度或LLM生成的候选指令直接优化提示(Fernando et al., 2023, Pryzant et al., 2023, Yang et al., 2024)。复合系统方法将这一思想扩展到模块化语言模型程序和智能体工作流,联合调整提示、模块和控制流,如 DSPy/MIPROv2。
预备部分
我们形式化了本文研究的混合编辑回滚问题。我们的目标不是为所有harness组件分配全局和永久信用,而是决定当前混合编辑补丁中哪些被编辑组件应回滚到现有版本。表2总结了问题形式化和方法描述中使用的主要符号。
方法部分
我们提出 RePAIR,一种针对混合编辑harness更新的区间筛选反事实本地回滚程序(图2)。该方法围绕三个设计原则构建。首先,回滚决策需要标量补丁级别历史无法观察的状态索引单组件反事实。其次,回滚效果依赖补丁状态,因此在接受回滚前收集的证据无法在补丁改变后重用。第三,由于回滚评估是
可识别性分析
我们通过三个结果证明 RePAIR 的合理性。(i) 在没有观察到的单组件回滚配置或强加的跨配置价值模型的情况下,标量补丁级别价值仅能部分识别本地回滚效果。相比之下,在加法价值模型和满秩编辑设计下,它们被点识别。这两种情况标志着可识别性边界的两侧。(ii) 可重置配对实验恢复了缺失的单组件反事实。由此产生的
实验部分
我们在七个基准上评估 RePAIR,涵盖五种harness搜索场景:短期文本任务、长期文本交互任务、数学推理、终端智能体执行和软件智能体任务。我们考察配对可重置评估对于本地回滚是否必要、RePAIR 是否改进混合补丁拯救、优势是否随编辑集大小扩展,以及区间筛选回滚是否改进端到端harness搜索。目标不是比较
讨论与影响
本节讨论主要实验发现,阐明其理论和实践意义,并明确区分 RePAIR 与相关方法。
结论
本文研究了混合编辑LLM智能体harness优化的区间筛选本地回滚。我们表明,在没有强加的跨配置价值模型的情况下,标量补丁级别价值在所需的单组件回滚对应项未被观察时仅能部分识别组件级别回滚效果。我们刻画了由此产生的有界值可识别集以及在理想化加法满秩边界下坍缩为点的条件。然后我们表明可重置
CRediT作者贡献声明
Yanqi Cheng:写作——审阅与编辑,写作——原稿,形式分析,概念化。Xuefeng Du:写作——审阅与编辑,方法学,形式分析。Li Yin:写作——审阅与编辑,方法学,调查。Yuduo Zheng:写作——审阅与编辑,可视化,方法学,数据管理。Deguang Wang:写作——审阅与编辑,方法学,概念化。Yongguang Fan:项目管理。Fengqi Li:写作——审阅与编辑,资源,项目
数据集许可与伦理考虑
本研究中使用的基准均为公开可用或按照其适用的许可条款和使用条款获取和使用。本研究未收集新的人类主体数据,且未涉及参与者招募、患者互动、临床干预或访问私人个人记录。
Symptom2Disease 仅作为公共语言理解基准使用。尽管其实例使用了医学症状-疾病术语,但我们的实验不提供医学
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。
致谢
本工作部分得到辽宁省人工智能科技创新计划(编号:2023JH26/10100008)的支持。
Yanqi Cheng | Xuefeng Du | Li Yin | Yuduo Zheng | Deguang Wang | Yongguang Fan | Fengqi Li
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号