一种用于结晶过程的强化学习补偿模型预测控制(RLC-MPC)方案
《Chemical Engineering Research and Design》:A reinforcement learning compensated model predictive control (RLC-MPC) scheme for crystallization processes
【字体:
大
中
小
】
时间:2026年10月22日
来源:Chemical Engineering Research and Design 3.9
编辑推荐:
• 基于强化学习的补偿策略增强了结晶过程模型预测控制的鲁棒性。
• 模型预测控制引导提高了强化学习的效率,并避免了训练过程中的不安全探索。
• 在两个具有代表性的结晶过程上验证了RLC-MPC方案。
引言
结晶作为物质纯化的基本单元操作,被广泛应用于化工、制药、食品加工、
• 基于强化学习的补偿策略增强了结晶过程模型预测控制的鲁棒性。
• 模型预测控制引导提高了强化学习的效率,并避免了训练过程中的不安全探索。
• 在两个具有代表性的结晶过程上验证了RLC-MPC方案。
引言
结晶作为物质纯化的基本单元操作,被广泛应用于化工、制药、食品加工、冶金和环境保护等各个领域(Blagden等,2007;Liu等,2022;Spinella等,1998)。在结晶过程中,纯固体晶体从过饱和溶液中选择性形成并析出,从而实现目标化合物的有效纯化。最终晶体的质量,特别是晶体形态和粒径分布, critically取决于温度、溶质浓度等关键工艺参数。为满足严格的产品规格并确保下游制造和终端应用中的稳定性能,对结晶过程进行精确控制和优化对于通过系统性质量优化实现期望的产品属性至关重要。
由于结晶过程的动态复杂性和系统多样性,传统控制方案通常通过大量的实验试错来开发,形成预定义的控制方法,如静态冷却斜坡、过饱和度控制(SC)(Takiyama,2012)和直接成核控制(Abu Bakar等,2009)。尽管这些方法相对简单易于实施,但缺乏实时过程反馈,在环境干扰或产品规格演变的情况下往往无法确保一致和最优的控制性能。
随着过程控制技术的发展,模型预测控制(MPC)已成为结晶过程的首选控制方案(Nagy和Braatz,2012)。通过将过程的实时反馈信息与建立的预测模型相结合,MPC在移动预测时域上执行控制动作的在线优化,从而显著提高系统的鲁棒性。然而,结晶过程受成核、生长、聚并和破碎等复杂现象控制,导致高度耦合的变量变化和强非线性动态特性。这些特征给开发准确的基于第一性原理的模型带来了重大挑战(Wu和Hussain,2005)。例如,Ruf等人(Ruf等,2000)提出的群体平衡模型(PBM)有效捕捉了结晶中主要的成核和生长动力学,通常忽略了聚并和破碎对过程动力学的影响,导致固有的结构性局限。尽管这类简化模型已为某些结晶过程产生了相对稳定的解(Kwon等,2015;Lee等,2015;Szilágyi等,2018),但由于不可避免的建模不准确性,很难确保最优性,往往无法在实际应用中实现最优控制性能。近年来,数据驱动方法作为第一性原理建模方法的补充手段出现。通过利用大量过程数据,机器学习模型,特别是神经网络,可以被训练以表征复杂非线性系统的动态特性。许多研究已成功将数据驱动建模方法应用于结晶过程,并将其与MPC结合以增强过程控制和优化(Ghosh等,2021;?ner等,2020;Sitapure和Kwon,2023;Velásco-Mejía等,2016;Zheng等,2022a)。Zheng等(Zheng和Wu,2022b)率先使用基于仿真或实验数据训练的循环神经网络(RNN)准确表征结晶过程的动态行为。后续工作(de Moraes等,2023;Wang等,2022;Wang等,2023b)进一步将基于神经网络的图像分析纳入,以实现对晶体形态和粒径分布等关键状态变量的实时监测,从而为预测控制提供更直接和更有信息量的反馈。尽管如此,在实际结晶应用中,获取高质量数据仍然成本高昂且耗时,而在不足或不具代表性的数据集上训练的模型可能仍存在显著的预测误差。为解决这些局限性,Wu等(Wu等,2023)提出了将物理信息神经网络(PINNs)应用于结晶过程建模。该方法将源自第一性原理模型的物理约束嵌入神经网络训练框架中,实现机理知识与数据驱动学习的协同融合。因此,它减少了对大量数据集的依赖,同时提高了模型的泛化能力。然而,PINNs的准确性高度依赖于底层机理模型的可靠性;如果基本模型存在结构性偏差,仍可能导致严重的模型预测误差。此外,Lima等(Lima等,2024)引入了一种基于神经网络的逆模型控制方案,该方案直接从运行数据中学习输入-输出控制映射以生成最优控制动作。虽然该方法在特定条件下表现出良好的性能,但其效果仍然严重依赖于丰富高质量训练数据的可用性,从而限制了其在数据稀缺环境中的适用性。最近,Shah等(Shah等,2025)提出了一种双时间尺度混合建模框架,将第一性原理模型与深度神经网络相结合,用于结晶过程的高效实时MPC。Johnson等(Johnson等,2026)进一步提出了一种数据驱动的代理建模方法用于连续结晶,使高保真度群体平衡模型能够进行准确的实时预测控制。这些研究表明,基于学习的MPC已成为结晶控制日益活跃的研究方向。然而,现有研究主要关注在MPC框架内改善预测模型或计算效率,而相对较少关注直接增强MPC在模型失配和过程不确定性下控制动作的基于学习的补偿策略。
随着人工智能(AI)的快速发展,强化学习(RL)方法在过程控制领域引起了越来越多的关注。RL使智能体能够通过与环境交互,使用数据驱动和自适应学习方法来学习最优控制策略,而无需依赖显式的过程模型。这使其非常适合解决无显式模型的复杂过程最优控制问题。近年来,许多研究人员将RL方法应用于解决复杂多输入多输出系统控制(Bao等,2021)、连续生物过程流量控制(Nikita等,2021)、间歇反应器调控(Wang和Wu,2024)以及工业过程容错跟踪控制(Wang等,2023a)等问题,均取得了令人瞩目的控制性能。2021年,Benyahia等(Benyahia等,2021)首次引入RL以改善结晶过程控制的鲁棒性。随后,针对结晶过程开发了基于卷积神经网络(CNN)的测量传感器和RL框架(Manee等,2022)。Torraca等(Torraca等,2025)对四种RL算法进行了比较评估,以解决结晶过程控制中的不确定性问题。Dhanasekaran等(Dhanasekaran等,2025)展示了RL在多结晶系统中多目标优化方面的适用性。虽然这些控制方案在数值实验中已证明其有效性,但从实际应用的角度来看,这些独立的RL方法需要大量训练数据和对过程的大量交互。由于RL算法中不可避免的随机探索,这些独立的RL方法往往面临学习效率低、计算负担重以及探索过程中潜在安全风险的问题(Shin等,2019)。
为解决独立RL的局限性,近年来机器人与自主系统领域的研究探索了通过残差或并行控制架构将RL与传统反馈控制器相结合,通常称为残差强化学习(Residual RL)(Johannink等,2019;Silver等,2018)。在这些方法中,基线控制器用于维持系统的标称性能,而RL智能体学习辅助控制策略以补偿模型不准确性并提高整体控制效果。与独立RL相比,这种混合架构可以提高学习效率并减少探索需求。受此残差学习范式的启发,本工作采用工业过程控制中广泛使用的非线性MPC作为基线控制器,并使用RL智能体学习残差补偿策略。与现有的机器人应用不同,本工作的目标不是开发新的残差RL算法,而是研究其与用于间歇结晶过程的非线性MPC的集成,其中强非线性群体动力学、不确定的结晶动力学和模型失配显著降低了传统基于模型的控制器性能。通过将非线性MPC的约束处理和优化能力与RL的自适应补偿能力相结合,所提出的框架旨在提高控制鲁棒性,同时保持工业MPC在结晶过程中实施的实际优势。
本文提出了一种系统设计框架,通过基于强化学习的优化和补偿机制增强结晶过程中模型预测控制(MPC)的性能,称为强化学习补偿模型预测控制(RLC-MPC)。该框架采用MPC作为基线控制器,并集成基于RL的补偿机制以提高闭环系统的鲁棒性和控制性能。所提出框架的主要优势在于基于模型的MPC与数据驱动RL优化的协同集成。一方面,RL优化的补偿器增强控制性能,从而提高系统对模型失配和不确定性的鲁棒性。另一方面,MPC基线引导RL算法,提高其采样效率和学习收敛速度。通过在两个具有代表性的结晶过程——NaCl种子反溶剂结晶和阿司匹林无籽冷却结晶——上的仿真研究,证明了所提出框架的有效性和广泛适用性。
综上所述,本工作的主要贡献如下:
• 提出了一种融合基于强化学习的优化和补偿机制的混合控制框架,以解决传统结晶过程MPC方案的局限性。通过利用RL的自适应和数据驱动特性,所提出的框架在模型失配条件下提高了MPC的鲁棒性和控制性能。
• 所提出的框架采用传统MPC作为基线控制器来引导RL智能体的训练过程。与独立的RL方法相比,所提出的设计框架不仅确保更好的初始策略,还减少了探索风险,从而实现更稳定高效的策略优化。
• 通过在两个具有代表性的结晶过程——NaCl种子反溶剂结晶和阿司匹林无籽冷却结晶——上进行全面仿真验证了所提出的方法。比较结果表明,所提出的RLC-MPC方案可以提高MPC系统的鲁棒性和控制性能,表明所提出的设计框架具有作为实际结晶智能控制通用框架的潜力。
引言之后,本文的结构组织如下:第2节介绍两个具有代表性的结晶过程及其相应的数学模型。第3节提出结晶过程的传统MPC方案,作为基线控制方案。第4节全面描述所提出的RLC-MPC框架,包括其架构和设计算法。第5节展示在两个结晶模型上获得的仿真结果,并对所提出的方法、传统MPC和独立RL方法进行对比分析。最后,第6节总结全文,概述主要发现并指出潜在的未来研究方向。
各节摘要
结晶过程建模
在实际应用中,结晶被用于纯化从简单分子到复杂大分子、从无机物到有机物的各种物质。由于不同结晶系统在热力学和动力学性质上的显著差异,结晶过程的动态特性也表现出相当大的多样性。此外,不同的结晶操作方法,如冷却和反溶剂添加,通常是……
模型预测控制(MPC)
MPC是一种基于模型的控制方案,广泛用于工业过程控制中以处理多变量和约束优化问题。图1.展示了MPC的基本结构。MPC的基本原理是利用动态系统模型预测未来行为,并在每个时间步上有限预测时域内计算最优控制输入序列,仅执行第一个控制动作。此优化在每个后续时间步重复……
强化学习补偿模型预测控制(RLC-MPC)
在存在建模误差的情况下,MPC可能无法确保令人满意的控制性能或系统稳定性。在实际应用中,结晶固有的多样性和动态复杂性使得准确建模变得困难,建模误差不可避免。
为了增强 MPC 在建模误差下的鲁棒性和控制性能,本节提出了一种强化学习补偿 MPC (RLC-MPC) 框架,该框架将 RL 算法与 MPC 集成。
数值实验与讨论
为了评估所提控制框架的可行性和有效性,在本节中,算法 1 被应用于两个结晶过程的仿真模型,分别命名为案例 1:NaCl 的反溶剂结晶,和案例 2:阿司匹林的冷却结晶。
结论
为了解决结晶过程中建模不准确这一挑战——这通常限制了传统模型预测控制 (MPC) 方案的控制性能——本文提出了一种由强化学习 (RL) 算法优化和补偿的新型 MPC 框架。该框架的主要特点在于将数据驱动的基于 RL 的优化算法与模型驱动的 MPC 方案相结合。与当前结晶中常用的 MPC 方案相比
CRediT 作者贡献声明
魏子萱:撰写 - 原稿,软件,方法学,形式分析。张和平:可视化,验证,数据整理。刘建安:验证,软件,方法学。洪文静:监督,项目管理。石佳:撰写 - 审阅与编辑,监督,项目管理,资金获取,概念化。
利益冲突声明
作者声明他们不存在已知的竞争经济利益或个人关系,这些可能影响本文报告的工作。
魏子萱|张和平|刘建安|洪文静|石佳
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号