基于特征嵌入深度强化学习的永磁同步电机数据驱动控制方法研究

《CPSS Transactions on Power Electronics and Applications》:Data-driven control of electrical drives: A deep reinforcement learning with feature embedding

【字体: 大 中 小 】 时间:2025年12月09日 来源:CPSS Transactions on Power Electronics and Applications CS7.9

编辑推荐:

  本刊编辑推荐:针对永磁同步电机(PMSM)传统模型控制方法依赖精确数学模型、缺乏鲁棒性的问题,研究人员开展了基于特征嵌入深度强化学习(DRL)的双环控制系统研究。通过重构智能体环境避免控制器相互干扰,采用特征嵌入技术提升跟踪精度,实现了不依赖模型的高性能控制。该研究为电力驱动系统提供了全新的数据驱动控制框架,在电动汽车、工业机器人等领域具有重要应用价值。

  
在工业自动化和电动汽车迅猛发展的今天,永磁同步电机(PMSM)因其高能效、高功率密度和高可靠性等优点,已成为众多高精度驱动系统的核心部件。然而,传统上广泛使用的基于模型的控制方法,如比例积分(PI)控制和模型预测控制(MPC),其性能严重依赖于被控对象数学模型的精确性。在实际应用中,电机参数会随温度、磁饱和等因素变化,负载也存在不确定性,这导致模型失配,进而使得传统控制器的鲁棒性下降,性能难以保证。虽然数据驱动的智能控制方法为摆脱模型依赖提供了新思路,但在如速度-电流双环控制这样的复杂系统中,如何协调训练多个智能体(控制器),并保证其收敛性和高性能,仍是一个悬而未决的挑战。
为了解决上述问题,发表在《CPSS Transactions on Power Electronics and Applications》上的论文“Data-Driven Control of Electrical Drives: A Deep Reinforcement Learning with Feature Embedding”提出了一种创新的解决方案。该研究旨在为电气驱动系统设计一个完全数据驱动的控制框架,将深度强化学习(DRL)技术与特征嵌入(Feature Embedding)方法相结合,直接学习速度控制器和电流控制器,从而摆脱对精确数学模型的依赖。
为了达成研究目标,作者团队采用了几个关键的技术方法。首先,他们采用了深度确定性策略梯度(DDPG)这一适用于连续动作空间的强化学习算法,分别设计速度智能体和电流智能体。其次,为了克服双智能体在训练中的相互干扰,研究采用了顺序训练策略,先训练内环(电流)控制器,再训练外环(速度)控制器,并相应重构了各自的训练环境。第三,创新性地引入了特征嵌入技术,对智能体的输入变量(如速度误差、电流误差)进行多维度归一化表征,显著提升了控制器的学习能力和跟踪精度。此外,研究还通过调整奖励函数(如将误差的指数从2调整为0.5)和在不同工况(如不同速度设定点、不同负载)下生成训练数据,进一步增强了控制器的鲁棒性和泛化能力。所有训练均基于构建的精确物理系统仿真环境进行,该环境复现了逆变器、PMSM本体以及实际系统中的死区效应、数字控制延迟等特性。
研究结果部分通过系列实验验证了所提方法的有效性。
A. Training with Different Speeds and Loads
研究表明,在训练电流控制器时,若仅使用固定速度进行训练,当测试速度超出训练范围时,控制性能会显著下降。相反,在随机速度范围(如[0, 1]标幺值)内进行训练,则能确保控制器在全速度范围内保持良好的跟踪性能。
同样,对于速度控制器,在训练阶段引入随机变化的负载,也能使其在面对未知负载扰动时表现出更强的鲁棒性。
B. Effectiveness of Feature Embedding
特征嵌入技术的优势在测试中得到凸显。对于电流控制器,使用特征嵌入训练的模型在电流跟踪(id, iq)上表现出更高的精度和更小的稳态误差。
对于速度控制器,引入特征嵌入后,其动态响应性能优于传统PI控制器,同时稳态精度也得到显著提升,振动减小。
图10的详细测试结果进一步证实,特征嵌入技术有效增强了控制器在训练数据范围之外的泛化能力。例如,即使训练速度范围在[0,1],未使用嵌入的模型在速度超过1时误差会急剧增大,而使用嵌入的模型则能保持稳定性能。
综上所述,该研究成功论证了在永磁同步电机双环控制系统中,应用基于特征嵌入的深度强化学习方法的可行性。通过顺序训练策略避免了多智能体间的相互干扰,通过特征嵌入和奖励函数优化显著提升了控制精度和收敛性。最终训练出的数据驱动控制器,其性能可与传统模型-based方法(如PI、MPC)相媲美,甚至在动态响应方面更具优势。这项工作的重要意义在于,它为复杂驱动系统的智能控制提供了一种不依赖精确模型、完全基于数据的新范式,极大地增强了系统在参数变化和扰动下的鲁棒性。该方法具有通用性,可方便地扩展至其他电力电子变换器与电机控制领域。未来研究方向包括将该方法应用于面临网络攻击的驱动系统在线安全强化学习,以及结合迁移学习解决未知不确定性下的长时域模型预测控制等问题。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号