迈向污泥膨胀的高级管理:一种用于量化与提升大型语言模型认知能力的可解释性评估框架

《Water Research》:Toward Advanced Management of Sludge Bulking: An Explainable Evaluation Framework to Quantify and Improve Large Language Model Cognitive Capabilities

【字体: 大 中 小 】 时间:2026年07月15日 来源:Water Research 12.8

编辑推荐:

  徐博岩|范宁|张传坤|徐光明|于华荣|曾华斌|童瑞|余开昌|袁志国|吴浩勇中国北京师范大学可持续技术学院摘要活性污泥膨胀是污水处理厂普遍存在的运行故障,需要及时准确的人工干预,但专业的污水处理人才匮乏,给管理带来很大挑战。大型语言模型凭借类似人类的认知能力,有望为污泥膨胀管理提供

  徐博岩|范宁|张传坤|徐光明|于华荣|曾华斌|童瑞|余开昌|袁志国|吴浩勇中国北京师范大学可持续技术学院摘要活性污泥膨胀是污水处理厂普遍存在的运行故障,需要及时准确的人工干预,但专业的污水处理人才匮乏,给管理带来很大挑战。大型语言模型凭借类似人类的认知能力,有望为污泥膨胀管理提供助力。然而,目前尚无可解释的评估框架来量化这些模型的认知能力优劣势,也无法明确如何提升其能力以更好地应对污泥膨胀问题。为此,我们构建了一个可解释的评估框架,开发了一套开放式的评估任务集(包含280项实际案例任务),并设计了基于GPT-4.1的LLM评分工具,通过专家定义的评分标准确保评估结果的可靠性,从而评估模型在理解、分析和实践方面的认知能力。在该框架下,我们发现模型性能更多取决于任务类型,而非具体模型型号(DeepSeek-R1、GPT-4o和Gemini-2.0)。具体而言,这些模型在基于显微镜的微生物识别任务上表现较差(准确率低于54%),微生物鉴定任务的标准化得分在28%-42%之间;在分析工艺与微生物相互作用的能力上也较为薄弱(标准化得分在36%-52%之间)。实践类任务对所有模型的认知能力都是考验,且所需计算资源最多。基于该框架,我们在LLM中整合了视觉模块,提升了其对贝吉阿托菌、真菌和诺卡氏菌等关键微生物的识别能力(准确率从51%提升至78%)。同时,我们还采用了检索增强生成技术来进一步提升模型的实践能力,其中深度思考型模型DeepSeek-R1的实践能力提升最为显著(提升了69%)。经过RAG技术优化的DeepSeek-R1(即FilamentGPT)在各项指标上的表现最佳(除微生物鉴定外,其他指标的标准化得分均超过80%),20位污水处理厂工程师也认为它具备在实际工作中应用的可行性。我们认为,这一优势源于该模型能够更好地将检索到的知识融入到适合特定污水处理厂的流程中。总体而言,这项工作为评估LLM在污泥膨胀管理中的表现建立了可解释的评估框架,也为后续的模型优化提供了科学依据。借助这一框架,我们还提出了相应的训练改进方法(如RAG、视觉模块),有助于提升LLM的认知能力,进而让污水处理领域的专业技能普及化。引言活性污泥膨胀是全球污水处理厂普遍面临的运行问题(Lu等人,2023)。美国环保署估计,约有60%的美国活性污泥处理设施每年都会出现持续性或间歇性的污泥膨胀问题。2024年对欧洲工业污水处理厂的调查显示,31家全规模处理厂中有59%存在污泥膨胀问题(Richard等人,2003;Seguel Suazo等人,2024)。传统上,污泥膨胀管理主要依赖从业者的经验以及针对特定场所的专业知识(Jenkins等人,2003;Wágner等人,2022)。但随着全球范围内污水处理领域专业人才的短缺,尤其是擅长处理丝状微生物的专家越来越少,这成为了污泥膨胀管理的一大瓶颈(Jenkins等人,2003;Kordahi和Bakchan,2025)。例如,美国环保署指出,到2035年,三分之一的水/污水处理行业从业者将会退休(Wheeler,2020)。在需要及时处理且要求较高的污泥膨胀管理工作中,这类人才短缺的影响尤为严重,因为干预不及时或不当会严重影响出水水质。因此,迫切需要可靠的自动化工具来辅助污水处理厂进行污泥膨胀管理。大型语言模型被视为解决科学、技术、工程和数学领域难题的潜在辅助工具。GPT-4o、Gemini-2.0-flash和DeepSeek-R1等模型在处理与污水处理相关的任务时表现出色(Chen等人,2025;Wang等人,2025;Wang等人,2026;Xu等人,2025a;Zhai等人,2026;Zhang等人,2025b;Zhu等人,2024)。值得注意的是,GPT-4o还将这些能力扩展到了多模态识别领域。2025年,以DeepSeek-R1为代表的“思考型”模型在推理和问题解决方面表现出强劲实力(Achiam等人,2023;Guo等人,2025;Team等人,2023;Zhu等人,2023)。人工智能的核心目标之一就是打造能够以类似人类方式思考和行动的系统,因此人们越来越关注如何评估LLM的类人认知能力(Brady等人,2025;Goldstein等人,2025;Schulze Buschoff等人,2025)。LLM的训练过程会逐步提升其各种认知能力(Guo等人,2025)。首先通过对通用知识进行大规模预训练,再通过监督微调来提升模型的理解能力(Achiam等人,2023;Guo等人,2025;Team等人,2023;Zhu等人,2023)。通过逐步推理的强化学习则能提升模型的分析能力(Achiam等人,2023;Guo等人,2025;Team等人,2023;Zhu等人,2023)。更为重要的是,通过检索增强生成等训练方法,可以提升模型解决复杂问题的实践能力(Achiam等人,2023;Guo等人,2025;Team等人,2023;Zhu等人,2023)。总体而言,无论是思考型模型还是传统型LLM,都能凭借类人的理解、分析和实践能力,在污水处理领域发挥重要作用,尤其是在污泥膨胀管理方面。尽管LLM在提升污水处理专业水平方面前景广阔,但目前对其认知能力的严格评估仍然不足,可供公开使用的评估集和基准测试也很少(典型评估集的详细信息见表S1)。现有的评估集虽然为衡量LLM在水处理相关领域的性能提供了参考,但其解释性和泛化能力仍有待提升(Chen等人,2025;Xu等人,2025a;Zhu等人,2024)。目前的评估大多只关注整体得分,却无法说明究竟考查了哪些认知能力(Zhou等人,2026)。例如,即使GPT-4在某个评估集上的平均得分很高,也无法帮助我们了解现有模型的缺陷以及哪些改进方法值得尝试(Chen等人,2025;Xu等人,2025a;Zhou等人,2026;Zhu等人,2024)。因此,亟需一个可解释的评估框架,该框架应能明确每项任务所考查的能力,找出模型存在的特定问题,并为有针对性的改进提供指导。对于需要处理复杂且相互关联的决策问题的污泥膨胀管理而言,这种需求更为迫切(图1a)。从理解能力来看,LLM需要能够识别丝状微生物,正确分类污泥膨胀类型,并解读关键工艺参数(Jenkins等人,2003;Wágner等人,2022)。从分析能力来看,LLM需要整合工艺和性能数据,分析操作参数如何影响丝状微生物的活动,并识别潜在风险(Jenkins等人,2003;Lu等人,2023;Wágner等人,2022)。从实践能力来看,LLM需要将分析结果转化为具体的控制策略,比如调节曝气强度、污泥龄和进水停留时间以及营养物质比例等(Jenkins等人,2003;Lu等人,2023;Wágner等人,2022)。因此,有必要构建一个可解释的评估框架,用于评估LLM在理解、分析和实践方面的认知能力,从而为实际的污泥膨胀管理提供支持。更重要的是,对这些能力的评估能够为LLM的优化提供方向(Chen等人,2025)。需要强调的是,不同的改进方法并非都适用,其效果取决于评估框架所认定的限制因素。在视觉理解方面,虽然GPT-4o等多模态模型已具备一定的图像理解能力,但可能并未针对活性污泥中的丝状微生物识别进行专门训练。因此在LLM中集成专门的计算机视觉模块(Zhang等人,2025a)能更精准地提升识别能力。这样的视觉-语言融合框架不仅能提高识别精度,还能将视觉结果转化为通俗易懂的自然语言解释,方便污水处理厂的操作人员使用。对于基于文本的任务,监督微调是科学领域常用的方法(Pan等人,2026),但它往往对数据依赖度很高,且需要大量资源(Xu等人,2025a;Xu等人,2025b;Zhang等人,2025b;Zhu等人,2024)。相比之下,检索增强生成技术可以通过调用最新的污水处理相关知识来提升响应质量,或许是一种更高效的选择(Qiu等人,2024)。不过,尽管该技术在其他技术领域应用广泛,但目前尚未被用于活性污泥管理领域。综上所述,本研究旨在建立一种可解释的评估框架,用于量化LLM的类人认知能力,并为提升这些能力提供可行路径,从而实现智能化的污泥膨胀管理(图1a和1b)。我们评估了三种LLM的表现,包括深度思考型模型DeepSeek-R1以及传统型模型GPT-4o和Gemini-2.0-flash,测试任务涵盖了多种视觉理解和文本处理任务,共计280项高质量任务,涉及:1)基于显微镜的丝状微生物识别(如11种Eikelboom形态类型),2)微生物鉴定,3)工艺原理理解,4)工艺与微生物相互作用分析,5)风险诊断,6)实际生产中的控制与优化决策制定(图1b、1c)。模型输出结果是通过基于GPT-4.1开发的专用评分工具进行评估的,该工具依据专家制定的评分标准进行打分,同时与人类评分结果相对应,便于大规模评估(图1b)。借助这一可解释的评估框架,我们在LLM中集成视觉模块,提升了其对关键微生物的识别能力。此外,为了提升模型的实践能力,我们还采用了检索增强生成技术,帮助模型获取更多实用知识。最后,我们让最佳表现的经过RAG优化的DeepSeek-R1(即FilamentGPT)在典型实践任务上与20位污水处理厂工程师进行对比测试,同时请这些工程师评估该模型的实用性,以此判断其在实际污水处理厂中的应用可行性。总体而言,本研究建立了专门的LLM可解释评估框架,为理解LLM在污泥膨胀管理中的表现提供了科学依据,同时也找到了提升模型认知能力的实用方法(如RAG、视觉模块)。评估数据集为了评估LLM的性能,我们整理了一组针对该领域的专业知识库,包括案例手册和内部数据集,总字符量约为1,000,000个,涵盖了活性污泥污泥膨胀管理的相关基础知识。由于这些案例手册属于受限内容,需要购买才能获取,因此可以降低被评估的LLM在预训练阶段接触过这些内容的可能性。所有文档均通过合法途径获取,并在获得适当授权后重新使用。为进一步确保数据的质量和符合伦理要求,LLM评分工具可实现LLM输出的可靠评估。基于人类评分标准(即真实答案),我们开发了基于GPT-4.1的LLM评分工具,可用于对所有文本任务进行标准化评分。与没有真实答案参考的评分工具相比,带有真实答案参考的LLM评分工具能更准确地反映人类的评分规律(图2a),其评分结果与人类评分高度一致(二次加权κ系数为0.975,斯皮尔曼等级相关系数为0.975,皮尔逊相关系数为0.982)。选择用于污泥膨胀管理的LLM:思考型模型与非思考型模型从可解释评估框架的角度来看,由于具备天然的多模态处理能力以及在文本任务上的出色表现,GPT-4o是目前污水处理厂污泥膨胀管理领域的实用基准模型(图2d、2e、S4a至i)。不过,污泥膨胀管理本质上具有很强的场景依赖性,随着进水成分的变化以及运营环境的不确定性增加,管理难度也会随之上升。因此,我们不能宣称某种模型是适用于所有情况的最佳选择。研究意义与局限性活性污泥膨胀是全球污水处理厂普遍存在的运行问题,但专业污水处理人才的缺乏给管理带来了巨大挑战。尽管商业化的LLM发展迅速,且在污水处理领域具有巨大应用潜力,但其优势与潜在风险目前仍不完全清楚。如果没有专门的、可解释的评估框架,就很难判断某款LLM是否适合用于污泥膨胀管理,也无法确定哪种类型的LLM更适用。结论•LLM在解决全球污水处理厂普遍存在的污泥膨胀问题方面具有较大潜力,但目前的商用LLM还不够可靠。本研究建立了可解释的评估框架,用于评估和提升LLM在污水处理决策支持方面的能力。•我们设计了基于专家定义的“真实答案”标准的LLM评分工具,可为各类任务提供可靠且可扩展的评分结果。•总体而言,当前LLM在基于显微镜的微生物识别和微生物鉴定任务上的理解能力较为有限。CRediT作者贡献说明徐博岩:撰写原文、可视化处理、结果验证、研究监督、软件开发、项目管理、方法设计、资金筹集、正式分析、概念构思。范宁:文章润色、方法设计、研究实施、资金筹集、正式分析、数据整理。张传坤:方法设计、正式分析、数据整理。徐光明:文章润色。于华荣:文章润色。曾华斌:文章润色。童瑞:无。利益冲突声明作者声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号