基于包含时空特征的特征分词Transformer的矿区多指标水质预测

《Environmental Research》:Multi-Indicator Water-Quality Prediction in Mining Areas Using a Feature-Tokenizer Transformer with Spatiotemporal Features

【字体: 大 中 小 】 时间:2026年07月09日 来源:Environmental Research 8.2

编辑推荐:

  刘子涵|隋祥|吕现洲|安晓标|吴金然|卢宇晨|张伟杰中国山东省科学技术大学地球科学与技术学院,青岛,266590摘要采矿活动会对水质产生持久且空间分布不均的影响,但在大规模矿区实现稳定的多指标预测仍面临挑战。我们构建了一个基于特征分词Transformer(FT-Transfor

  刘子涵|隋祥|吕现洲|安晓标|吴金然|卢宇晨|张伟杰中国山东省科学技术大学地球科学与技术学院,青岛,266590摘要采矿活动会对水质产生持久且空间分布不均的影响,但在大规模矿区实现稳定的多指标预测仍面临挑战。我们构建了一个基于特征分词Transformer(FT-Transformer)的多任务框架,通过整合55,744条监测数据以及空间信息、与采矿相关的信息、时间信息、分类信息以及插值得到的月平均气温,用于全国范围矿区水质预测。该模型可同时预测pH值、溶解氧(DO)、铵氮(NH4-N)和高锰酸盐指数(CODMn),并通过5×3嵌套交叉验证方法与弹性网模型、随机森林模型和XGBoost模型进行性能比较。FT-Transformer模型的平均决定系数为0.790±0.008,其中pH值、DO、NH4-N和CODMn的R2值分别为0.756、0.756、0.826和0.820。该模型在整体性能上表现最佳,在pH值、NH4-N和CODMn的预测中优于基准模型,而随机森林在DO的预测中略占优势。多任务消融实验表明,共享特征表示有助于提升联合预测性能,尤其是在预测NH4-N和CODMn时效果更显著。响应分析、归因分析、子群分析和情景分析显示,不同指标的模型行为存在差异,且受具体环境条件影响:温度与溶解氧的关联最为稳定,而采矿阶段和区域背景变量则对铵氮和高锰酸盐指数的影响更为显著。所提出的框架可用于多指标水质预测、模型适用性评估以及不同类型矿区的监测优先级划分。

引言采矿活动通过挖掘、废石处置、尾矿储存、矿井排水以及在矿山关闭后残留污染物的释放,会对地表水和地下水系统造成长期影响。这类影响往往具有持续性且延迟出现,酸性矿井排水及其所含污染物可能在采矿活动停止后很长时间内继续影响当地水环境(Hudson-Edwards, 2016; Santana等, 2020; Masindi和Muedi, 2022; Jiao等, 2023)。在中国,这一问题尤为复杂,因为矿区分布在不同的地质、水文、气候以及采矿发展条件下。因此,矿区的水质指标并非由单一污染源决定,而是受到区域背景条件、采矿活动干扰、矿物类型、水文联系以及环境因素的综合影响(Hu等, 2012; Jiang等, 2021; Wang等, 2023)。在如此复杂的矿区环境中实现多个水质指标的稳定预测,对于确定监测重点和制定生态修复计划至关重要,但目前仍面临技术难题。传统的水质预测方法,如统计回归、时间序列分析和空间插值,已被广泛用于环境评估和预测工作中(Zhu等, 2022; Yan等, 2024)。这些方法在变量关系相对简单或预测范围较小时效果较好,但矿区水质通常受到地质背景、水文过程、采矿阶段影响、气候条件以及采矿后的遗留污染等多种因素的非线性相互作用影响。那些依赖预定义函数形式或局部校准关系的模型,在应用于不同地区、不同类型矿山以及不同监测场景时,往往难以保持稳定的预测性能(Anawar, 2013; Simate和Ndlovu, 2014; Hu和Zhang, 2024)。随着环境监测和数据驱动建模技术的快速发展,出现了新的工具来应对这些挑战。机器学习和深度学习模型能够从多源数据中提取非线性关系,越来越多地被应用于地表水和地下水质量预测中(Zhi等, 2024; Torres-Martinez等, 2024; Zheng等, 2025)。对于结构化的环境数据集,随机森林和XGBoost等集成模型效果较好,而循环神经网络、序列到序列神经网络、基于图的神经网络以及注意力机制神经网络则被用来描述水质系统中的时间依赖性、空间相互作用和非线性响应(Singha等, 2021; Yang等, 2023; Wang等, 2024; Qiao等, 2025; Liu等, 2025)。在各类模型中,基于Transformer的架构尤为重要,因为自注意力机制能够灵活地表示不同输入之间的全局依赖关系和相互作用(Vaswani等, 2017; Gorishniy等, 2021; Liu等, 2025)。这使它们有望应用于矿区水质预测,因为在这类预测中需要同时考虑空间、时间、与采矿相关的因素以及环境变量。尽管取得了这些进展,矿区水质预测仍然具有挑战性,因为该问题不仅涉及非线性建模,还存在跨区域差异以及不同指标的特定响应机制。目前大多数研究都是针对单个监测站、局部矿区或特定的任务,如矿井水流入量预测和短期水质预报,这些研究主要在相对均匀的条件下评估模型性能。而大规模矿区预测则要求模型能够学习不同地质背景、矿物类型、水文路径、采矿阶段以及监测场景下的非平稳关系。此外,地理位置、矿山距离、采矿历史、矿物特性、场地类型、季节性和气候条件共同影响着污染源的强度、传输路径以及反应环境,但这些因素往往被视为独立的预测因子,而非被整合到一个统一的表征框架中。由于pH值、溶解氧、铵氮和高锰酸盐指数反映的是不同的水化学过程和污染响应机制,因此仅依靠整体预测精度是不够的,还必须评估模型的稳定性、在不同子群中的适用性以及各指标的特定响应模式。为了解决这些局限性,我们开发了一种基于FT-Transformer的多任务回归框架,用于全国范围矿区水质预测及模型响应分析。我们首先整合并预处理了来自中国各地典型矿区的监测数据,然后引入地理位置、矿山距离、采矿阶段变量、矿物特性、监测站点类型、时间信息以及插值得到的月平均气温,共同用于预测pH值、溶解氧、铵氮和高锰酸盐指数。我们还通过5×3嵌套交叉验证策略和基准模型对比来评估模型性能,通过单任务与多任务消融实验来分析联合预测的作用,进而通过敏感性分析、归因分析、子群分析和情景分析来评估模型的行为和适用性。本文的其余部分安排如下:第2节介绍数据集的构建和预处理流程;第3节阐述FT-Transformer框架、训练策略、基准模型及评估方案;第4节报告预测性能、基准模型对比结果、多任务消融实验结果,以及响应分析、归因分析、子群适用性和情景响应分析结果;第5节讨论不同指标的响应差异、情景分析的意义、监测的重要性以及结果的解读界限;第6节总结主要结论。

数据集构建与空间覆盖范围通过整合中国各地的内陆水质监测数据以及矿山位置和矿产资源信息,构建了一个全国范围的矿区水质数据集。预测目标为pH值、溶解氧、铵氮和高锰酸盐指数。这些水质数据是在统一单位、进行质量控制和时间对齐之后,根据国家地表水监测数据及相关水质档案信息整理而成的(Lin等, 2023, 2024)。

FT-Transformer多任务预测框架整体建模流程如图3所示。在完成数据集构建和针对不同折叠组的预处理工作后,我们开发了一个基于FT-Transformer的多任务回归框架,用于同时预测pH值、溶解氧、铵氮和高锰酸盐指数。选择FT-Transformer是因为它专为包含数值型和分类型变量的表格数据集设计,能够通过自注意力机制学习不同特征之间的相互作用(Gorishniy等, 2021)。输入变量包括

预测性能与验证稳定性在5×3嵌套交叉验证框架下,FT-Transformer模型的预测性能如图5、图6和图7所示。图5中的观测值与预测值散点图表明,对于这四种水质指标,预测值总体上都遵循1:1的参考线,说明模型捕捉到了观测数据中的主要变化规律。在五个外部折叠组中,FT-Transformer模型的平均R2值为0.790±0.008。各指标的特定R

指标特定的模型行为与水环境解读预测结果显示,这四种水质指标之间存在明显差异。铵氮和高锰酸盐指数的预测精度高于pH值和溶解氧,这说明预测难度不仅与模型拟合程度有关,还与各个指标所代表的过程特征有关。铵氮和高锰酸盐指数与污染物负荷或可氧化负荷信号更为相关。在受采矿影响的 water系统中,矿井排水、氮元素迁移、还原条件等因素都会对水质产生影响。

结论本研究开发了一种基于FT-Transformer的多任务回归框架,用于全国范围内矿区的多指标水质预测。该模型通过整合55,744条监测数据以及空间信息、与采矿相关的信息、时间信息、分类信息以及插值得到的月平均气温,实现了对pH值、溶解氧、铵氮和高锰酸盐指数的同时预测。在5×3嵌套交叉验证框架下,该模型的平均R2值为0.790±0.008,其中铵氮和高锰酸盐指数的预测精度高于C

作者贡献声明安晓标:撰写——审阅与编辑、验证、方法论。吴金然:撰写——审阅与编辑、验证、软件应用、正式分析。卢宇晨:撰写——审阅与编辑、可视化、软件应用、数据整理。刘子涵:撰写——初稿撰写、方法论、研究实施、资金获取、数据整理、概念构思。隋祥:撰写——审阅与编辑、验证、方法论、研究实施。吕现洲:撰写——审阅与编辑、监督、项目管理。

数据可用性如需获取本研究的数据,可向相应作者提出合理请求。

关于写作过程中生成式AI和AI辅助技术的声明在撰写本论文期间,作者们使用了ChatGPT来优化语言表达并修改手稿中的句子结构。作者们对输出内容进行了必要的审阅和修改,并对论文内容负全责。

利益冲突声明? 作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢本研究得到了中国国家自然科学基金(项目编号:42502273)以及山东省高等学校青年创新人才引进培育计划(编号:ZXQT20221228001)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号