基于强化学习的多年期商业厌氧消化系统建模:用于处理粪便和食品废弃物

《ENERGY CONVERSION AND MANAGEMENT》:Reinforcement Learning-Based modeling of a Multiple-Year commercial anaerobic digestion system Treating Manure and Food waste

【字体: 大 中 小 】 时间:2026年06月26日 来源:ENERGY CONVERSION AND MANAGEMENT 11.8

编辑推荐:

  费龙|徐美彩|廖伟|刘红美国俄勒冈州科瓦利斯市俄勒冈州立大学生物与生态工程系,邮编97331摘要厌氧消化系统为可持续的废物转化能源提供了有效解决方案,但由于原料的动态变化以及复杂的生物相互作用,这类系统往往存在运行效率低、性能不稳定等问题。本研究将强化学习技术应用于实际规模的厌氧

  
费龙|徐美彩|廖伟|刘红
美国俄勒冈州科瓦利斯市俄勒冈州立大学生物与生态工程系,邮编97331

摘要

厌氧消化系统为可持续的废物转化能源提供了有效解决方案,但由于原料的动态变化以及复杂的生物相互作用,这类系统往往存在运行效率低、性能不稳定等问题。本研究将强化学习技术应用于实际规模的厌氧消化系统建模,利用某商业厌氧消化厂六年间的运营数据,通过强化学习框架预测了沼气产量、甲烷含量和硫化氢含量这三项关键性能指标,并通过未见过的数据对模型精度进行了验证。研究表明,强化学习在模拟长期真实生物过程方面具有优势,它能够捕捉时间依赖性并适应系统的动态变化,这使其比依赖静态数据结构的传统监督学习模型更为适用。通过SHAP方法及策略敏感性分析提升了模型的可解释性,有助于了解运营因素和时间因素对系统性能的动态影响。实验结果表明,该模型的预测性能优异,R2值分别为0.67(沼气产量)、0.73(甲烷含量)和0.86(硫化氢含量),且模型输出与实时测量数据高度一致。影响系统性能的主要因素包括近期的沼气/硫化氢生成历史、pH值变化、温度梯度以及水力停留时间。总体而言,本研究展示了强化学习在多参数、时间依赖型商业厌氧消化系统建模中的潜力,同时为提升工艺理解水平及辅助未来运营决策提供了可解释的数据驱动框架。

引言

全球有机废物产生量不断增加,尤其是来自畜牧业粪便和食物废物的垃圾,给环境和能源领域带来了严峻挑战。据联合国粮食及农业组织统计,全球每年有超过13亿吨的食物被浪费,占所有生产食品总量的近三分之一[28]。仅在美国,畜牧业每年产生的粪便量就超过14亿吨[24]。如果这些废物得不到妥善处理,就会导致甲烷排放、硝酸盐污染以及异味问题。因此,未经处理的有机废物是气候变化、环境退化以及公共卫生风险的重要诱因。
厌氧消化技术作为一种将有机废物转化为能源的可行方案,通过生物途径将有机物转化为主要以甲烷为主的沼气,这些沼气可用于产生热能、电能,或进一步加工为可再生天然气。尽管经过数十年的发展与应用,商业规模的厌氧消化系统仍然面临运行可靠性、经济可行性以及长期稳定性等方面的问题。有报告指出,美国有许多商业厌氧消化设施在投入运行后短短几年内就因原料变化大、沼气产量低、硫化氢浓度高以及财务表现不佳等原因而停止运营[14]。与美国环保局的相关调查结果一致,在2015年至2023年间,至少有27家处理食物废物的厌氧消化设施停止了运营,约占调查对象的15%到20%[27]、[29]。
为了解决这些效率问题,许多研究致力于找出影响厌氧消化系统性能的关键参数,并建立相应的数学模型和动力学模型(如ADM1模型)。然而,这些模型大多基于实验室或中试规模且在高度控制的条件下建立,因此其实际应用效果有限[31]。实验室研究往往无法体现商业运营中的动态性、复杂性以及经济约束,因为在商业运营中,原料输入不稳定、季节性变化以及意外操作干扰等情况十分常见。虽然有一些研究人员通过长期实验室实验或中试实验来模拟商业运营条件,但这类研究成本高昂且耗时较长,依然无法完全反映实际规模厌氧消化系统的复杂性,因为当将实验室观测结果与工业实际运行情况相比时,仍会发现诸多运行难题和性能差距[2]、[16]、[17]。
近年来,机器学习技术的进步为建模和优化像厌氧消化这样的复杂生物过程提供了新途径。机器学习算法无需明确了解背后的机制,就能从大量数据中挖掘出非线性规律,因此非常适合用于预测在输入条件不断变化时的气体产量和成分等参数。近年来,随机森林、人工神经网络以及支持向量机等多种机器学习方法已被应用于厌氧消化系统,用于甲烷预测、早期故障检测以及运营优化等方面。例如,Long等人(2021年)和Wang等人(2020年)基于现有文献数据建立了机器学习模型,用于预测厌氧消化系统的关键产出指标,如沼气产量和甲烷产量,证明了机器学习在提升系统稳定性方面的潜力。在数据驱动建模与机理建模相结合的研究中,Gupta(2023年)探讨了将机器学习方法与ADM1模型相结合的应用,指出这种方法在预测速度以及应对不同运行条件时的适应性方面都有显著优势[10]。在实验室环境中,Kazemi等人[15]结合支持向量机、极端学习机以及集成神经网络技术,开发出了用于实时估算挥发性脂肪酸含量的可靠软传感器。在实际规模系统中,Wang等人(2021年)证明,集成机器学习模型能够准确预测实际规模废水处理厌氧消化系统中的沼气产量,且性能更为优异、可靠性更高。这些研究都表明,机器学习技术在推动厌氧消化系统发展以及提升工艺性能方面具有巨大潜力。
不过,目前大多数相关研究仍依赖于传统的监督学习算法,这类算法通常需要大量带有标签的数据,而且难以适应实际厌氧消化系统的高度动态性和时间依赖性。这类模型往往将每次预测视为独立任务,因此难以捕捉长期依赖关系、不断变化的系统状态以及由反馈机制引发的系统行为变化。相比之下,强化学习本质上就是为在动态环境中进行顺序决策而设计的[30]。与静态监督学习模型不同,强化学习通过与环境不断交互来学习最优策略,从而能够适应不断变化的条件,并将以往行动的影响纳入未来的预测之中[8]。这一独特能力使得强化学习能够有效处理延迟奖励问题、捕捉时间上的因果关系,并对实时反馈做出响应,而这些对于商业规模的厌氧消化系统而言至关重要,因为在这些系统中,运营决策、原料变化以及环境波动等因素会随着时间相互影响。据我们所知,这项研究是首次将强化学习应用于商业规模的厌氧消化系统数据,它突破了传统机器学习方法的局限,具有重要的创新意义。
在本研究中,我们利用为期六年的数据集对一个商业规模的厌氧消化系统的运行性能进行了评估。这套数据集为构建数据驱动模型、预测商业厌氧消化系统的性能以及量化各关键输入因素的影响提供了极为宝贵的资源。这些数据涵盖了18种不同的粪便和食物废物原料,反映了多种不同的原料组成、运行参数以及时间序列信息。我们利用强化学习框架对这些系统的主要性能指标——总沼气产量、甲烷含量以及硫化氢浓度进行了建模。该强化学习模型是在多年的运行数据基础上训练的,并通过未见过的数据进行验证,以此评估其预测的稳健性。除了预测功能外,我们还通过SHAP方法和策略敏感性分析,确定了影响系统性能的最主要因素,同时分析了时间相关因素和运营因素是如何影响模型输出结果的。通过将多参数预测、时间建模以及可解释性分析相结合,本研究进一步加深了对实际规模厌氧消化系统运行规律的理解,为优化能量回收管理以及未来开发决策支持系统或闭环控制系统奠定了基础。

章节节选

密歇根州立大学南校区厌氧消化装置

该数据集来源于位于美国密歇根州东兰辛市的密歇根州立大学南校区厌氧消化装置,这是一座实际规模的商业厌氧共消化设施。该系统包含一个地面上的连续搅拌罐式反应器,反应器由钢材制成,顶部配有柔性膜结构,用于储存和收集沼气。该反应器的工作容积约为1,500至1,700立方米。其原料包括来自密歇根州立大学乳品教学与研究中心的乳业粪便,以及油脂类废物等。

沼气产量预测与特征重要性分析

该基于强化学习的模型是利用2014年至2019年的实际厌氧消化系统运行数据训练的,用于预测每日沼气产量,大约经过300个训练周期后模型达到收敛状态。收敛后,该模型的均方根误差为314立方纳米,而实际沼气产量则在9.5到26457.5立方纳米之间。该模型的预测准确率达到了77.89%(误差范围为10%),R2值为0.67,这说明该模型能够较为准确地把握影响沼气生成的各项关键因素。

局限性与展望

在本研究中,强化学习框架在预测厌氧消化系统的关键性能指标方面表现出较强的能力,尤其是在预测沼气产量、甲烷含量以及硫化氢含量方面精度很高。不过,我们并未将这项技术进一步应用于直接优化实际消化系统的运行流程,也未进行实时验证。做出这一决定的原因是,商业规模设施的运营存在诸多现实限制,任何未经测试的调控措施都可能带来安全风险以及不符合相关法规的问题。

结论

本研究提出了一个基于强化学习的框架,将其应用于长期商业规模的厌氧消化系统数据分析,结果表明,该模型在预测沼气产量方面的R2值为0.67,在预测硫化氢含量方面的R2值为0.86,在预测甲烷含量方面的R2值为0.73。通过SHAP方法和策略敏感性分析,该模型的可解释性得到了进一步提升,研究指出pH值、温度、水力停留时间以及系统的历史运行趋势是影响系统性能的关键因素。由于强化学习能够捕捉时间依赖性并适应不断变化的条件,因此它为实际规模厌氧消化系统的建模提供了极具前景的解决方案。

CRediT作者贡献说明

费龙:负责论文的初稿撰写、方法设计、正式分析、数据整理以及概念构思工作。徐美彩:负责论文的初稿撰写、正式分析以及数据整理工作。廖伟:负责模型的验证工作、项目管理工作以及数据整理工作。刘红:负责论文的初稿撰写、项目管理工作、正式分析以及概念构思工作。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了美国环境研究与教育基金会的资助(资助编号:2024-1907)。
作者们还要感谢密歇根州立大学南校区厌氧消化装置的管理人Louis Faivor先生,感谢他提供的相关运营数据。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号