《Neurocomputing》:Data-driven fast optimal regulation with adjustable convergence for asymmetric constrained systems
编辑推荐:
提出一种可调整快速Q学习算法,用于解决未知非线性离散时系统在非对称控制输入约束下的最优调节问题。通过设计考虑历史成本信息的参数化加速机制,并引入约束函数将非对称输入转化为无约束形式,显著提升算法收敛速度与稳定性。理论分析验证了算法的收敛性、单调性及闭环稳定性,并通过质量弹簧和扭转摆系统仿真验证了其有效性。
Jin Ren|Ding Wang|Mingming Zhao|Junfei Qiao
北京工业大学信息科学与技术学院,中国北京100124
摘要
本研究提出了一种可调的快速Q学习算法,该算法的灵感来源于对具有控制输入非对称约束的未知非线性离散时间系统的最优控制需求。首先,考虑到历史成本信息,设计了一种具有可调参数的新加速机制,以确保迭代Q函数序列能够以自适应和快速的方式收敛。其次,为了克服传统非二次效用函数对显式控制输入的限制,引入了一种受限函数。这种函数将效用形式推广到处理隐式输入,从而有效解决了非对称控制约束问题。此外,对算法的单调性、收敛性和闭环稳定性进行了彻底分析,为其提供了坚实的理论基础。最后,通过在质量-弹簧系统和扭转摆系统上的对比仿真,验证了所提方法的有效性和优势。
引言
最优控制是管理非线性系统的基本框架,这些系统在各种工程和科学领域中无处不在。这一理论的核心目标是设计控制器,使动态系统能够最优地实现给定的性能指标。然而,随着信息技术的快速发展,非线性系统变得越来越复杂,传统的动态规划方法面临着严重的计算负担。它们通常依赖于离散化状态和输入空间来数值求解哈密顿-雅可比-贝尔曼(HJB)方程。然而,这种方法存在“维数灾难”,即资源需求呈指数级增长。这一挑战迫切需要更高效、更智能的控制算法。作为回应,自适应动态规划(ADP)作为一种强大的范式应运而生[1]、[2]、[3]、[4]、[5]、[6]。通过将传统最优控制理论与强化学习的智能学习机制[7]、[8]相结合,ADP为复杂系统的最优控制提供了一种新的方法。其核心机制是演员-评论家架构,其中评论家模块学习成本函数,而演员模块优化控制策略,两者通过迭代过程使系统能够学习并收敛到接近最优的解。ADP算法主要通过两种核心迭代方案实现:策略迭代[9]、[10]和价值迭代[11]、[12]、[13]、[14]。策略迭代的特点是收敛速度快,并在整个迭代过程中具有内在的稳定性保证,但它每次迭代的策略评估阶段计算成本较高,且对初始策略敏感。相比之下,价值迭代不显式利用策略信息,这通常导致收敛速度较慢,并且在学习过程中不提供稳定性保证。其优势在于简单性和较低的每次迭代计算负担,因为它可以用任意的成本函数进行初始化。上述算法的一个根本限制是它们依赖于精确的系统模型。尽管基于模型的ADP方法取得了显著的成功,但对精确动力学的依赖严重限制了它们在复杂或未知环境中的适用性,使得最优控制器设计成为一个重大挑战。因此,研究人员将重点转向了无模型ADP技术[15]、[16]。其中,数据驱动的Q学习方法作为一种强大的方法,受到了广泛关注,用于为未知非线性系统推导出接近最优的控制策略[17]、[18]、[19]。Q学习是一种代表性的基于价值的强化学习算法,其特点是无需先验系统动力学或模型网络[7]。Zhao等人[18]设计了一种数据驱动的安全Q学习算法,用于解决非线性离散时间系统的最优控制问题,无需系统模型,同时确保了安全性和稳定性。作为一种数据驱动的方法,迭代Q学习算法能够使用离线或在线数据有效解决非线性动态系统的最优控制问题。
除了主要控制目标外,关键的控制性能也受到了关注,包括可行性[20]、[21]、收敛性[22]、[23]以及系统稳定性[24]、[25]、[26]、[27]、[28]。尽管Q学习避免了模型依赖,但基于价值迭代的传统Q学习在实践中面临一个持续存在的挑战:收敛速度慢。这一限制源于其对贝尔曼最优性原理的迭代评估,这需要在复杂系统中进行大量的交互数据,从而严重限制了其实际应用性。现有研究试图引入加速机制或优化迭代结构以提高收敛速度[29]、[30]、[31]、[32]。Ha等人[30]、[31]在基于模型的条件下建立了一种加速价值迭代算法,可以在保证系统稳定性的同时调整收敛速度。在[32]中,针对未知动态系统,提出了一种基于群体智能算法的可调行为引导Q学习方法,其中学习过程通过可调的行为策略进行自适应引导,以提高控制性能。然而,这些研究提出的加速机制没有考虑历史成本信息,并未充分利用它。受这些工作的启发,本文进一步研究了未知非线性受限系统的收敛特性,重点关注算法收敛性能的自适应调整和优化。
在实际系统中,执行器(例如电机和阀门)在其正向和反向控制能力上往往表现出不对称性。理想的控制策略不仅应实现相对于定义的性能指标的最优性,还要严格遵守由物理限制(如执行器饱和度和安全要求[33]、[34]、[35]、[36]、[37]、[38])施加的控制输入约束。将这些非对称控制约束纳入优化过程,使得问题变得高度非线性和非凸。这反过来在同时保证系统稳定性、控制最优性和算法收敛性方面带来了重大的理论和计算挑战。在[37]中,针对受非对称输入约束的未知动态系统,设计了一种新的Q函数结构,以实现无需先验系统知识的最优轨迹跟踪。Yang等人[38]提出了一种鲁棒的基于事件的控制器,用于补偿非线性系统中的不匹配干扰以及对称和非对称控制约束,使用评论家神经网络和动态触发机制来减少计算负载,同时确保稳定性。尽管这些研究解决了控制约束问题,但它们没有进一步提高算法的收敛性能。因此,现有方法缺乏对未知系统的统一最优调节解决方案,无法同时实现非对称控制约束和高效的稳定收敛。为了解决上述挑战,本文为未知非线性离散时间系统建立了一种创新的数据驱动快速Q学习方案,该方案在处理非对称输入约束的同时,明确确保了快速收敛和稳定性。本工作的主要创新点如下:
(1)基于迭代Q函数的历史信息,将一种新的参数化加速机制引入Q学习框架,进一步提高了现有方法的收敛效率和适应性。同时,通过调整加速函数的参数,可以灵活控制学习过程的收敛速度,在收敛性能和计算效率之间实现自适应平衡。
(2)设计了一种有效的受限函数,将非对称的、有界控制输入映射为无约束形式。通过这种数学变换,最初的受限优化问题被重新表述为无约束形式,使其可以在Q学习框架内轻松解决。
(3)提供了关于所提算法在非对称控制约束下的单调性、收敛性和闭环稳定性的严格理论分析。此外,我们在质量-弹簧系统和扭转摆系统上进行了全面的对比仿真,详细分析了加速因子/函数的作用,并成功展示了显著更快的收敛速度。
本研究的后续部分安排如下。第2节致力于问题的表述和受限函数的设计。第3节详细介绍了所提算法的建立,以及相应的理论分析和神经网络实现。第4节展示了两个仿真实验和对比分析。最后,第5节回顾了本研究的核心贡献并提出了结论。
符号说明:在本文中,
和
分别表示所有非负整数和正整数的集合。
和
表示
-维欧几里得空间,
表示
-维欧几里得空间。让
和
分别是
单位矩阵和转置运算。
问题表述
问题表述
我们研究了受非对称控制约束的未知离散时间非线性系统,其形式为,其中和分别表示系统状态向量和控制输入向量。集合和对应于状态空间和动作空间。未知系统动力学由控制。假设控制输入的每个分量都受到给出的非对称约束,其中和定义了第个控制输入的下界和上界。
具有控制约束的可调控制器设计
本节分为三个主要部分。首先建立了用于最优调节的可调数据驱动快速Q学习算法。接下来是对其属性的理论分析,最后介绍了其神经网络实现。
仿真研究
在两个具有实际背景的系统上进行了数值仿真,即线性质量-弹簧阻尼器和非线性扭转摆。详细分析了加速因子/函数对收敛性的影响,并通过与其他方法的对比实验验证了算法的有效性和优越性。
结论
本文提出了一种具有自适应收敛性的新型快速Q学习方法,用于在非对称输入约束下实现未知非线性系统的最优调节。通过考虑历史成本信息的新型加速机制实现了加速收敛,并通过通用化的效用函数转换系统地处理了非对称控制约束。此外,理论分析确认了算法的单调性。
CRediT作者贡献声明
Jin Ren:撰写——审稿与编辑,撰写——原始草稿,软件,方法论。Ding Wang:撰写——审稿与编辑,监督,资金获取。Mingming Zhao:撰写——审稿与编辑,监督。Junfei Qiao:撰写——审稿与编辑,监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
Jin Ren于2020年在中国焦作河南工业大学获得自动化学士学位,2023年在中国北京工业大学获得电子与信息工程硕士学位,目前她正在北京工业大学攻读控制科学与工程博士学位。她当前的研究兴趣包括自适应动态规划、具有工业应用的强化学习以及智能系统。