基于全局背景的轻量化表面缺陷检测网络的精细化处理与数据聚合技术
《Pattern Recognition》:Global Context Guided Refinement and Aggregation Network for Lightweight Surface Defect Detection
【字体:
大
中
小
】
时间:2025年12月11日
来源:Pattern Recognition 7.6
编辑推荐:
安全强化学习算法CRAPO通过未折扣安全约束优化和MDMM约束管理,实现有限时间域下的稳定风险控制与安全满足,实验表明其在安全健身房测试中优于现有方法。
杨启松|顾红阳|于登秀|李邦杰
火箭动力工程大学,中国西安,710025
摘要
在复杂环境中运行的自主无人系统中部署强化学习(RL)时,安全性至关重要。传统的安全RL方法通常依赖于折现的安全成本,这可能与现实世界中的有限视野安全要求不符。本文提出了受限风险感知策略优化(CRAPO),这是一种离线策略的安全RL算法,旨在在未折现的安全约束下提高适应性和稳定性。CRAPO通过使用折现安全成本的梯度来联合优化策略,并根据未折现的测量值自适应调整安全权重,以确保符合真实的操作限制。为了提高约束执行的稳定性,我们整合了改进的差分乘子法(MDMM),有效抑制了拉格朗日乘数更新中的振荡。风险敏感性通过基于样本的条件风险价值(CVaR)估计来体现,避免了分布近似并减少了计算开销。在Safety Gym套件中的具有挑战性的导航任务上的评估表明,与最先进的安全RL方法相比,CRAPO实现了更优的风险控制、稳定的约束满足度和竞争性能。这些结果突显了CRAPO在无人城市系统中对安全关键的空间智能的实用性和鲁棒性。
引言
强化学习(RL)作为一种强大的范式,已经发展出能够在复杂、动态环境中做出序列决策的智能代理[1]、[2]。在空间智能的背景下,RL使得从自主地面车辆到空中机器人等各种无人系统能够在非结构化的城市环境中导航、交互和适应。通过从经验中学习,这些系统可以随着时间的推移提高性能,从而应用于从自主配送到密集城市景观中的搜索和救援等场景[3]。
然而,当RL驱动的无人系统从受控环境过渡到开放的城市环境时,其中人类安全、基础设施完整性和环境约束至关重要,因此需要严格结合安全性的算法[4]、[5]。传统的RL方法通常优先考虑奖励最大化,当奖励函数未能充分捕捉操作风险时,可能会导致危险或不安全的行为[6]、[7]。为了解决这个问题,研究人员探索了约束优化框架,例如基于拉格朗日的方法,以将安全性明确编码到学习过程中[8]、[9]。
在安全敏感的RL中,通常会对折现的长期成本施加约束,以保持在预定义的范围内[3]、[6]、[10]、[11]。然而,在现实世界的机器人和工业环境中,安全要求本质上是有限视野和基于操作的。例如,自主配送无人机的安全边际可能取决于剩余的电池容量,这不能随时间进行有意义的折现[12]、[13]、[14]。这样的约束必须反映真实的操作限制,可能不需要对长期安全成本进行近似就能实现有效的风险控制[15]。
在使用基于拉格朗日的方法处理安全约束的RL时,一个常见的挑战是拉格朗日乘数的振荡行为:当约束被违反时,乘数可能会急剧增加,而在满足约束时又会超调,从而导致不稳定[16]。为了解决这个问题,我们将改进的差分乘子法(MDMM)[17]整合到RL框架中,稳定了更新并提高了在平衡探索、利用和安全方面的适应性。
在本文中,我们提出了受限风险感知策略优化(CRAPO),这是一种适用于有限视野环境且具有未折现安全约束的安全RL的实用离线策略算法,专为空间智能的无人系统量身定制。我们方法的核心组成部分如图1所示。我们的主要贡献如下:
•我们证明了使用折现安全成本的梯度来优化策略,同时根据未折现的测量值自适应更新安全权重,可以确保符合现实世界的约束。
•我们将MDMM引入安全RL,实现了稳定且可调的约束管理,并通过正式的收敛性分析进行了支持。
•我们采用了基于样本的条件风险价值(CVaR)近似,实现了稳健的风险规避,而无需昂贵的分布估计。
•我们通过在Safety Gym套件中的城市导航模拟实验表明,CRAPO实现了有效的风险控制、稳定的约束满足度和与最先进的安全RL方法相比的竞争性能。
相关工作
安全约束强化学习(RL)通常分为两种设置:概率约束[18]和累积约束[18]。本文关注的累积约束设置提供了一种更实用的方法来结合安全约束[19]。这种设置通常使用独立的奖励和成本信号,这种策略在几项工作中得到了探索[6]、[10]、[11]、[20]、[21]。
包括在[6]、[10]中提出的几种方法
初步介绍
本研究致力于解决安全约束强化学习(RL)问题,旨在在指定的成本限制内最大化折现奖励。我们在本节中介绍了必要的背景和符号。
受限风险感知策略优化
在本文中,我们提出了一种名为受限风险感知策略优化(CRAPO)的离线策略RL算法,以提高安全RL算法的适用性。CRAPO具有三个主要组成部分:用于稳健收敛的未折现双拉格朗日优化、通过改进的差分乘子法(MDMM)增强适应性,以及结合基于样本的风险规避以符合实际的安全需求。
实证分析
我们在一系列安全约束RL基准测试中评估了我们的方法,实证分析结构如下:1)我们证明了CRAPO始终能够得出更准确的满足约束的策略;2)我们展示了阻尼因子的引入增强了CRAPO的可调性;3)我们揭示了CRAPO能够在不近似安全成本分布的情况下有效实现风险控制;4)我们确立了CRAPO能够获得高效的结果
结论与未来工作
本文提出了受限风险感知策略优化(CRAPO)算法,这是对安全强化学习(RL)的一项新颖贡献,直接解决了确保现实世界应用中安全性的关键挑战。与依赖于折现成本回报的传统方法不同,CRAPO关注有限视野和未折现的安全约束,更紧密地符合实际的操作要求,并消除了与定义相关的复杂性
CRediT作者贡献声明
杨启松:撰写——原始草稿、验证、方法论、调查。顾红阳:方法论。于登秀:验证。李邦杰:撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号