《COMPUTERS IN INDUSTRY》:Ensemble reinforcement learning for optimizing the energy efficiency index in the thickening–dewatering process
编辑推荐:
本文提出基于集成强化学习的ESAC算法,优化增稠-脱水工艺能源效率,避免局部最优,实际应用使EEI降低44.77%,下流浓度提高9.57%。
作者:贾润达|姜凤阳|林冉萌|郑军|何大阔|于峰
东北大学信息科学与工程学院,沈阳,110819,中国
摘要
增稠-脱水过程是矿物工业生产中的一个重要阶段,通过优化能源消耗来提高其能源效率是一个关键的研究方向。然而,关于这一过程的综合优化策略的研究却相对较少。为了解决这一问题并降低增稠-脱水操作的能源效率指数(EEI),本文将强化学习(RL)引入到该过程中。由于RL方法容易陷入局部最优解,我们将集成学习(EL)与RL相结合。基于在调度问题中表现良好的软演员-评论家(SAC)算法,我们提出了集成SAC(ESAC)算法。在ESAC中,每个演员使用自己的参数集与环境交互,只有产生最高奖励的动作才会用于更新所有演员的参数。此外,还设计了一个加权全局损失函数以防止价值网络的过度估计。结果表明,ESAC算法明显优于基准RL算法,EL有效地提高了RL的探索效率和决策质量。多策略集成有助于避免局部最优解并优化决策。此外,当应用于金湿法冶金厂的增稠-脱水过程时,ESAC将EEI降低了44.77%,同时将平均底流浓度提高了9.57%。
引言
矿物加工是从矿浆中分离和提纯有价值矿物的关键阶段,以获得具有商业价值的浓缩产品。这一过程中的一个关键步骤是增稠-脱水,它实现了固液分离并提高了矿浆的浓度。在中国,由于矿石品位通常较低,增稠-脱水过程已成为大多数金湿法冶金厂的关键步骤,从而导致大量的能源消耗(贾等人,2020年)。增稠机和压滤机是这一过程中主要的能源消耗设备,它们的运行效率直接影响企业的运营成本。先前的研究表明,良好的调度策略可以显著降低这一过程的能源消耗(王等人,2018年)。因此,优化调度策略在节能和降低成本方面具有巨大潜力。
关于增稠机和压滤机协同优化的研究引起了广泛关注。目前,该领域最先进的方法是混合整数线性规划(MILP)。这种方法可以在考虑电价和过程安全性的非线性特性的同时优化能源效率指数(EEI),从而提高优化结果的稳健性。尽管MILP在解决优化问题方面具有显著优势,但在实际应用中存在一些缺点不容忽视。首先,MILP模型需要明确的约束,这可能限制其灵活性。其次,MILP通常只能提供全局最优解的近似值,而不是真实值,因此在需要精确最优策略的情况下不太适用。最后,MILP的准确性受到其对线性假设的依赖限制;对于非线性问题,它可能无法捕捉实际情况,反而需要线性化或其他近似方法,这可能会引入额外的误差。增稠-脱水过程是一个复杂且高度不确定的生产过程,经常受到进料流量和浓度波动的影响。这些变化进一步增加了调度的复杂性,使得现有方法难以有效处理不确定性并找到最优解。
为此,可以应用强化学习(RL)方法来优化调度,以降低增稠-脱水过程中的能源消耗。RL专注于确定在不确定环境中如何行动以最大化累积奖励。在这个过程中,代理通过与环境持续交互和试错方法来学习和改进其策略(郑等人,2024年)。RL表现出强大的动态适应性,能够处理高维(王等人,2025a;曹等人,2025年)和非结构化的状态空间,在处理复杂和不确定问题方面具有显著优势(赵等人,2025年)。通过用新的状态信息更新其策略,代理可以快速调整以找到改进的解决方案。此外,RL利用神经网络作为函数逼近器,自动提取输入特征并将其映射到输出动作分布或预期奖励。通过梯度下降优化,权重得到更新,从而实现最优解的学习。尽管RL具有这些优势并在许多应用中取得了成功,但它也存在一些明显的缺点。例如,深度强化学习(DRL)通常需要大量的训练才能得出有效的策略(侯等人,2024年),这引入了诸如Q函数过度估计(龚等人,2025年)等挑战。此外,参数和网络结构等因素可能导致RL在训练过程中陷入局部最优解(陈等人,2025年),从而阻碍代理可靠地学习最优策略。
本文提出了一种基于软演员-评论家(SAC)算法和集成学习(EL)的新方法,旨在进一步提高能源效率和RL的性能。传统的RL通常依赖于单个演员,而EL通过使用多个演员并整合它们来提高学习效率和性能。为进一步解决价值网络中的过度估计问题,集成软演员-评论家(ESAC)算法引入了一种更新价值网络的额外机制。集成强化学习(ERL)结合了RL和EL的优势,有效缓解了传统RL的缺点,提供了一个非常有前景的解决方案。最后,提出的基于集成强化学习的调度方法与最先进的方法进行了对比,以验证其有效性。本文的主要贡献总结如下:
- (i)
将RL方法应用于增稠-脱水过程,作为传统方法的替代方案。与MILP不同,RL不依赖于精确的过程模型,在处理不确定性下的调度问题时表现出更强的能力。
- (ii)
通过将SAC与EL结合,我们提出了一种创新的RL训练方法,可以减轻陷入局部最优解的影响,并提供了一种避免过度估计Q函数的新方法。
- (iii)
所提出的ESAC已应用于金湿法冶金厂的增稠-脱水过程,在那里取得了优异的性能。
本文的其余部分组织如下。第2节回顾了传统方法和最新方法。第3节描述了增稠-脱水过程。第4节详细介绍了本研究中采用的方法原理。此外,第5节介绍了增稠-脱水过程的环境建模、实验设置和优化性能及其工业应用。第6节总结了主要发现并概述了未来研究的方向。
部分摘录
文献综述
增稠机和压滤机是固液分离过程中的关键设备。Bürger等人(2012年)提出了一个基于第一原理的增稠过程模型(FPM),并开发了一种模型预测控制(MPC)策略来调节底流浓度(Tan等人,2017年)。然而,这种方法仅关注优化单个过程,没有捕捉到整个增稠-脱水系统的复杂性和交互性。贾等人(2020年)引入了一种控制方法
问题表述
增稠-脱水过程主要用于提高矿浆的固体含量并实现固液分离。图1展示了一个典型的增稠-脱水过程。在增稠阶段,来自浮选的低浓度矿浆被送入增稠机,固体颗粒通过重力沉降到底部,从而增加固体含量。一旦浓度达到一定范围,底流泵将矿浆转移到缓冲罐中
增稠-脱水过程的马尔可夫决策过程
在RL中,代理的决策取决于其当前状态。为了应用RL,问题必须被建模为一个马尔可夫决策过程(MDP),以定义状态转换和决策结构。这允许计算每个状态-动作对的价值,并使用RL算法基于这些值制定决策策略。增稠-脱水过程的MDP模型定义为一个包含四个元素的元组
(1) 和
(1)
环境
在本节中,我们通过构建虚拟环境来训练RL代理。在机器人技术或游戏等领域,RL代理通常可以直接与真实环境交互以学习和优化策略。然而,在工业应用中,代理直接与真实系统交互是不切实际的,因为可能存在安全风险和生产中断。在训练期间,RL代理必须探索动作空间,可能会执行随机甚至有害的动作。
结论与未来工作
本文提出了一种新的调度策略,将传统的RL与EL无缝集成用于增稠-脱水过程。由此产生的ESAC算法提高了代理在复杂环境中的决策能力和收敛速度,同时优化了能源消耗并确定了最有效的操作策略。该方法已在实际工业环境中成功部署,带来了切实的好处
CRediT作者贡献声明
贾润达:撰写——审稿与编辑、监督、资金获取、形式分析、概念化。姜凤阳:撰写——初稿、软件、方法论、概念化。林冉萌:可视化、调查、形式分析。郑军:调查、数据整理。何大阔:撰写——审稿与编辑、调查、资金获取。于峰:撰写——审稿与编辑、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能会影响本文报告的工作。
致谢
本工作得到了中国中央高校基本科研业务费 [项目编号2026CFZD16]的支持。