电池制造中中试规模溶剂回收的强化学习控制:基于替代模型的优化及技术经济分析与生命周期评估
《Journal of Cleaner Production》:Reinforcement learning control of pilot-scale solvent recovery for battery manufacturing: Surrogate-assisted optimization with techno-economic analysis and life-cycle assessment
【字体:
大
中
小
】
时间:2026年07月10日
来源:Journal of Cleaner Production 10.7
编辑推荐:
李锡古|赵东宇|吴泰勋•基于经过中试验证的第一性原理模型训练的神经网络替代模型。•用于策略训练的具有物理约束的神经网络常微分方程。•强化学习可控制回流比并在纯度限制下决定批次终止时间。•技术经济分析和生命周期评估表明,大规模应用该技术可降低成本和二氧化碳排放量。
引言
随着对电
李锡古|赵东宇|吴泰勋•基于经过中试验证的第一性原理模型训练的神经网络替代模型。•用于策略训练的具有物理约束的神经网络常微分方程。•强化学习可控制回流比并在纯度限制下决定批次终止时间。•技术经济分析和生命周期评估表明,大规模应用该技术可降低成本和二氧化碳排放量。
引言
随着对电动汽车需求的增加,人们开始关注锂离子电池生产过程中的环境影响(Degen等人,2023年;刘凯等人,2021年;肖等人,2020年;王等人,2018年)。在电池制造过程中,电极制备环节占据了生命周期内温室气体排放量的很大比例(Ahmed等人,2016年;Gutsch和Leker,2024年)。其中,作为标准粘结剂的N-甲基-2-吡咯烷酮是造成这一环境问题的主要因素,其使用量往往超过每千瓦时电池容量0.5公斤(Kuki等人,2025年)。新生产的NMP大约会产生8.06公斤二氧化碳当量/公斤NMP的排放量(Ryu等人,2023年;Wernet等人,2016年),因此新鲜溶剂的供应要承担电池制造过程中高达10%的温室气体排放量(Ali等人,2025年;《运输与环境》杂志,2019年;Nurjanah等人,2023年)。此外,NMP被归类为具有生殖毒性的危险物质,其处理和处置需要严格的风险管理措施(欧洲化学品管理局,2026年;美国环境保护局,2024年)。鉴于这些环境问题以及诸如欧盟电池法规(2023/1542号)(欧洲议会和欧盟理事会,2023年;Ali等人,2024年)之类的监管要求,建立现场闭环溶剂回收系统对于实现循环经济以及降低可持续电池制造的生命周期温室气体排放量至关重要。
在电极制备过程中,所使用的NMP是通过水基吸收法从废气流中回收的,这样得到的水混合物需要经过复杂的净化处理(张杰等人,2025年;张等人,2024年)。要重新使用这种溶剂,必须满足严格的电池级标准,通常要求NMP的纯度至少为99.9重量%,且残留水分低于100 ppm(刘阳等人,2021年;曾等人,2019年)。为在工业规模上实现如此高的纯度要求,人们已经研究了多种分离工艺;然而,诸如基于膜的渗透法和分子筛吸附法等替代方法存在一些实际限制,比如膜污染、通量有限以及无法处理有机杂质,因此无法始终满足严格的纯度要求(张杰等人,2025年;张等人,2024年;曾等人,2019年)。鉴于这些限制,蒸馏仍然是能够可靠达到所需NMP纯度的成熟技术(Seader等人,1998年)。虽然连续蒸馏在稳态条件下具有较高的能源效率,但实际的电池制造过程中,来自不同生产线和工厂的NMP流体成分和流量都不稳定,这就需要要么使用大型缓冲罐,要么频繁进行耗能巨大的启动和停止操作。因此,批量蒸馏成为最实用的方法,它具备足够的操作灵活性,可以应对各种不同的溶剂混合物(Niazi等人,2024年;Lopes和Song,2010年)。
尽管批量蒸馏具有必要的操作灵活性,但它本质上是一个瞬态过程,这就带来了特定的控制难题。要使最终产品达到规定的整体纯度,就需要动态调整各种操作变量,主要是回流比和终止时间。这些操作变量决定了产品纯度、溶剂回收率以及能源消耗之间的平衡关系,但目前工业操作仍依赖于经验性的方法,通常会保持较高的回流比,以便在原料质量不确定的情况下确保产品符合标准。这种传统方法会降低整体回收率,增加能源消耗,进而提高温室气体排放量(Ahmed等人,2016年;Gutsch和Leker,2024年;王等人,2022年;杨等人,2026年)。因此,为了减轻这一环境压力,需要一种智能控制框架,能够动态优化这些平衡关系,从而改善技术经济分析和生命周期评估的结果(Weerachaipichasgul等人,2010年;Rebello和Nogueira,2025年;王等人,2024年)。
强化学习作为一种数据驱动的过程控制方法,展现出巨大潜力,它能够直接从操作数据中得出复杂的非线性控制策略(Sutton等人,1998年;Bertsekas,2012年;Oh等人,2022a年)。随着化学行业数字化转型的推进,强化学习越来越被视为从传统的经验驱动型操作向自主控制系统过渡的重要手段(Park杰等人,2025年;Aazami和Saidi-Mehrabad,2021年)。强化学习的一个主要优势在于它将过程控制转化为以奖励为导向的优化问题。通过设定合适的奖励函数,比如最小化温室气体排放量,强化学习智能体就能够学习到能够最大化累积奖励的非线性控制策略(Sutton等人,1998年;Oh,2024年;Kim和Oh,2024年)。此外,持续的在线学习使得强化学习智能体能够适应意外的干扰或设备老化情况,从而长期保持近乎最优的性能。正是基于这些优势,已有许多研究将强化学习应用于各种化学工艺,包括聚合反应器、能源系统以及分离工艺等领域(Syauqi等人,2024年;Spielberg等人,2019年;Hegely等人,2023年;Oh等人,2022b年;Oh等人,2021年;刘等人,2025年)。鉴于这些应用前景,强化学习能够为批量蒸馏制定针对特定目标的动态操作策略,而这些策略可以通过技术经济分析和生命周期评估指标进行定量评价。
由于安全限制以及样本获取效率低下的问题,强化学习通常无法直接应用于中试规模的工厂,因此需要在仿真环境中进行预先训练(Spielberg等人,2019年;Bloor等人,2025年)。为了评估技术经济分析和生命周期评估等定量指标,就需要准确的物质质量、能量以及热力学状态数据,而这通常需要借助严谨的第一性原理模型(Seader等人,1998年;H?ussling L?wgren等人,2025年;H.M. Park等人,2025年)。然而,让强化学习智能体直接与这些模型互动进行训练会带来巨大的计算负担,因为每次决策都需要求解复杂的瞬态物质质量和能量平衡方程(Oh等人,2022b年)。为减轻这一计算压力,人们常常使用数据驱动的替代模型;不过,这类模型往往无法严格遵循基本的守恒定律,因此在强化学习探索过程中容易出现约束违反的情况,这不仅会影响控制策略的可靠性,还会妨碍其在实际工艺中的应用(Hegely等人,2023年;Rackauckas等人,2020年;Rebello和Nogueira,2025年;Elmaz等人,2023年)。因此,需要一种在计算上可行且在物理上可靠的框架,用于训练强化学习智能体,并确保能够制定出适用于实际中试工厂的控制策略。
为了解决这些存在的问题,本研究提出了一种针对NMP溶剂通过批量蒸馏进行回收的、基于替代模型的强化学习框架。该框架由四个核心部分组成。首先,构建一个严谨的第一性原理模型,并利用中试实验数据对其进行校准,以便准确描述工艺动态。其次,引入神经网络常微分方程替代模型,以此来规避计算瓶颈,同时还能确保遵循基本的守恒定律,比如物质质量的单调性以及再沸器中物质的非负性。第三,利用这个符合物理规律的替代模型,训练出一个基于价值的强化学习智能体,该智能体能够共同优化离散的回流比和批次终止时间,从而确保满足99.99重量%的极高NMP纯度要求。最后,在奖励函数中融入技术经济分析和生命周期评估模块,以便将控制策略直接转化为可量化的经济成本和温室气体排放数据。
通过这种方法,所设计的批量蒸馏工艺每公斤回收的NMP所产生的温室气体排放量为0.222公斤二氧化碳当量。与生产新NMP时每公斤产生的8.06公斤二氧化碳当量相比,这一结果充分证明了该回收工艺在环境方面的可行性。基于这一环境优势,本研究在技术层面取得了三方面的成果。首先,所提出的强化学习驱动控制框架已经通过中试实验数据得到了验证,有效缩小了仅依靠仿真的研究中所常见的仿真结果与实际情况的差距。这一实证验证表明,该方法具有工业规模化应用的潜力,也证明了基于人工智能的控制技术确实有助于推动更清洁的生产方式和可持续的制造业发展。其次,本研究建立了一种通用的、基于替代模型的方法,可用于应对批量工艺固有的瞬态动态特性。通过整合符合物理规律的替代模型,该框架证明了在严格纯度要求的约束下,依然可以实现基于强化学习的控制,而且不会违反基本的守恒定律。第三,本研究将技术经济分析和生命周期评估指标直接纳入学习过程,从而可以对传统工业操作方式进行全面的对比分析。强化学习智能体并非依赖固定的经验法则,而是能够制定出针对特定目标的动态策略,从而灵活地降低整个系统的环境影响。具体而言,与传统操作方式相比,所提出的控制策略最多可降低3.8%的生产成本,同时将二氧化碳当量排放量减少57%,而且还能确保溶剂质量始终符合标准要求。
方法论
整体方法论如图1所示。本研究的创新之处在于为一种实际的溶剂回收工艺开发了一种基于强化学习的控制策略,这种策略既具备较高的计算可行性,又可以通过实验加以验证。然而,由于需要大量的数据以及相关的安全风险,直接将强化学习应用于中试工厂是不现实的(Oh等人,2022b年)。
为了解决这一限制,研究人员进行了中试规模的批量蒸馏实验,以此作为强化学习训练的依据。图7展示了强化学习智能体在两种奖励函数下的训练曲线。在两种情况下,由于出现了违规行为,阶段性奖励值(蓝色点)最初都低于-1.0。但随着训练的进行,奖励值逐渐稳定在该阈值之上,这表明智能体已经成功学会了如何满足纯度要求。移动平均线(黑色线条)则显示,无论是在经济奖励还是环境奖励的驱动下,智能体都能成功收敛到稳定的控制策略。
结论
本研究提出了一种基于强化学习的框架,用于实现对通过批量蒸馏进行溶剂回收过程的优化控制。首先构建了一个经过中试验证的第一性原理模型,随后用神经网络常微分方程替代模型对其进行了近似处理,从而便于高效地进行强化学习训练。采用DDQN算法实现的强化学习智能体,通过调整回流比并确定批次终止时间,成功学习了相应的控制策略。这些学到的策略不仅再现了常见的经验法则,还对它们进行了优化。
CRediT作者贡献声明
李锡古:写作——审稿与编辑,写作——初稿撰写,可视化,验证,软件,资源,方法论,研究,正式分析,数据整理,概念构建。赵东宇:写作——审稿与编辑,可视化,监督,研究,资金获取,正式分析。吴泰勋:写作——初稿撰写,软件,资源,方法论,资金获取,正式分析,数据整理,概念构建。
关于 manuscript 编写过程中生成式人工智能及人工智能辅助技术的声明
在撰写本文的过程中,作者仅使用Claude工具进行语言和语法校正,对于文章内容则完全由作者负责。
利益冲突声明
作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究得到了韩国能源技术评价与规划院以及韩国贸易、工业和能源部的支持(项目编号:RS-2023-00234012,项目名称:为中小型化工企业实现碳中和而开发的电动再沸器及其应用示范)。此外,本研究还获得了韩国国家研究基金会的支持(项目编号:RS-2025-25450520)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号