利用机器学习技术实现固体废物的精准矿物学特征溯源

《Resources, Conservation and Recycling》:Robust source tracing for solid waste via machine learning-enabled mineralogical fingerprinting

【字体: 大 中 小 】 时间:2026年07月09日 来源:Resources, Conservation and Recycling 10.4

编辑推荐:

  林乐|常海仁|沈渠|杨潇|尹莉|刘学明|王涵|张琳 华南理工大学环境与能源学院,广东省固体废物污染控制与资源化重点实验室,广州,510006,中国 摘要 随着全球城市化和消费水平的上升,固体废物的不当管理已成为可持续发展的重要瓶颈,它不仅阻碍了有价值资源的回收,还威胁着生态安全。

  林乐|常海仁|沈渠|杨潇|尹莉|刘学明|王涵|张琳 华南理工大学环境与能源学院,广东省固体废物污染控制与资源化重点实验室,广州,510006,中国 摘要 随着全球城市化和消费水平的上升,固体废物的不当管理已成为可持续发展的重要瓶颈,它不仅阻碍了有价值资源的回收,还威胁着生态安全。解决这一问题需要精确的源头追溯,但由于工艺波动和废物混合的复杂性,传统方法往往效果不佳。在此,我们受到遗传矿物学的启发,提出了“人为典型矿物组合(ATMA)”这一新的诊断示踪剂,并在重金属危险废物领域系统验证了其有效性。我们整合了来自25个来源的159种废物代码的数据,采用基于知识的噪声注入策略来选择稳定的矿物学特征指纹。由此产生的机器学习模型在含噪声的测试条件下仍能保持高精度(> 0.9),同时有效避免了过拟合现象。SHAP分析有效地揭示了每个来源的ATMA,证实了它们的存在以及与工业代谢模式的一致性。这项工作为废物溯源提供了一种可解释、抗噪声的矿物学鉴定方法,同时也揭示了ATMA作为技术圈物质代谢记录的价值。1. 引言 固体废物是技术圈代谢过程中不可避免的副产品(Lu等人,2024),它源于人类活动驱动下的材料持续提取(Zhang等人,2025)、转化(Feng等人,2025)和消耗(Islam等人,2021)。随着工业和城市的快速发展,固体废物的产生量不断增加,这引发了人们对环境友好型管理的迫切关注(Chaudhary等人,2021;Maalouf和Mavropoulos,2023)。许多国家已经制定了严格的法规,对固体废物的整个生命周期进行管理,包括收集、运输、储存、利用和最终处置(中国,2020;欧盟,2008;英国,2011;美国环保局,2015)。诸如《巴塞尔公约》之类的国际框架进一步促进了全球在控制废物跨境转移和推动安全处置方面的合作(联合国环境规划署,1989)。然而,由于固体废物管理不善而引发的污染事件——如非法储存、倾倒和贩卖——仍然普遍存在(Isarin等人,2024;Parr和Hess,2025),这些事件每年造成的经济损失高达100亿至120亿美元(Nellemann等人,2016)。这类事件不仅对公众健康构成直接威胁(Dahalan和Mulia,2024),还会抢走合法回收企业的市场份额(Kumar等人,2023),从而阻碍循环经济的发展(Zhang等人,2022b)。有效的废物控制依赖于将污染源准确追溯的能力(Cotutiu和Wang,2025)。化学指纹分析——通过光谱或色谱分析创建独特的成分谱型(Rossi,2025)——已被证明在追踪空气(Song等人,2024)、水(Huang等人,2023;Shu等人,2025)、土壤(Boll等人,2015)和沉积物(Van Metre等人,2022)中的污染物方面十分有效。然而,其在固体废物领域的应用仍处于初期阶段(Liang等人,2025)。目前的方法通常以元素成分为诊断指纹,再结合线性判别分析(Zhang等人,2022a)、多项式逻辑回归(Wang等人,2024)或基于熵的相似度分析(Yang等人,2023)等技术,但这些方法仅适用于有限的工业领域。此外,还有利用EDXRF光谱指纹的机器学习技术被用来区分来自锌湿法冶金过程的九种类型废物,取得了优异的效果(Teng等人,2023)。尽管有了这些进展,但特异性与普适性之间的根本矛盾仍然制约着实际应用中可靠地识别固体废物来源。现有的数据驱动型追溯研究主要集中在企业层面或特定地区的特定流程追溯上(例如特定的工业城市或园区)(Liang,2025)。虽然这种微观层面的方法具有较高的精细度,但其普适性较差。要将其应用于新地区,就需要重新收集所有数据。这种局部特异性与非法倾倒的现实情况完全不符,因为在非法倾倒中,废物通常会跨地区转移,这使得本地企业数据库毫无用处。此外,常用的元素指纹极易受到原材料和制造工艺波动带来的噪声影响(Gupta等人,2007),而在非法处置过程中发生的混合又会掩盖典型的元素特征(Wong等人,2021)。因此,迫切需要一种注重普适性和稳健性的宏观层面追溯框架。这样的框架应作为一种快速、不受地区限制的初步筛选工具,能够将调查范围从众多可能性缩小到特定的工业类别,从而为后续的实地验证提供可行的指导。一个富有前景的解决方案是受到遗传矿物学启发的,它利用了典型矿物组合的概念。这一概念由Paul Ramdohr在20世纪60年代提出(Nuffield,1970;Ramdohr,1969),它描述了能够反映特定成矿环境地质条件的特征矿物共存现象,因此是判断地质起源的可靠指标(Liu等人,2024)。类似地,固体废物是天然矿石的人为对应物。生产和消费过程很可能为固体废物赋予独特的矿物学特征,从而形成体现来源活动和代谢途径信息的人为典型矿物组合(ATMAs)(Lin等人,2021)。因此,我们建议将矿物学指纹作为关键示踪剂,尤其是“人为典型矿物组合”(ATMA),用于固体废物来源的追溯。为了验证我们的假设,我们选择了对环境至关重要的重金属危险废物作为示例。通过整合25个来源的数据,并采用基于知识的噪声注入策略,我们开发了一种基于少样本机器学习的可扩展且易于理解的追溯框架。与传统微观层面追溯方法不同,该框架被明确设计为一种初步筛选工具。它能识别出最可能的来源,并推荐出排名前三的特定废物代码。最终,该框架在文献数据和真实世界废物样本上都得到了验证,确定了每个来源特有的ATMA作为关键示踪剂。这项工作证明了矿物学指纹分析方法的可行性和实用性,为追踪技术圈中的固体废物以及提升废物追溯和管理水平提供了新的途径。此外,通过将工业活动与矿物学特征直接联系起来,这项研究还为技术圈对未来地质记录的影响提供了新的见解。2. 材料与方法 2.1 数据收集与指纹生成 我们从根据《巴塞尔公约》制定的新修订版《国家危险废物名录》中筛选出了重金属危险废物(Text S1)。随后,我们根据文献资料构建了一个包含危险废物代码、来源、描述、元素组成以及矿物相组成的重金属危险废物数据集。之后,根据这些矿物相在各种废物代码中的出现频率,将它们按降序排列并赋予索引编号。对于指纹中的每个索引,如果对应的矿物相存在,则其值为1,否则为0。这样,每个废物代码就表示为一个固定长度的二进制指纹向量,表示如下:(1)x∈{0,1}d,其中d是向量的维度,也就是用于识别废物的矿物相数量。最后,将所有废物代码的指纹向量汇总起来,排除那些在所有代码中方差为零的指纹位。我们使用均匀流形近似与投影算法对生成的指纹进行降维和可视化处理,同时通过卡方独立性检验进一步评估其冗余程度(Text S2)。2.2 噪声注入 鉴于现实世界中固体废物的巨大差异性,实际的矿物学指纹往往与理想的文献记录存在偏差。为了增强模型对这类不可避免干扰的抵抗能力,我们在指纹中引入了可控的随机噪声,主要采用比特翻转技术——这是一种在通信、网络安全和机器学习领域广泛使用的有效技术(Rakin等人,2019)。我们设计了三种与环境相关的噪声场景(图1):(1)扰动:通过随机将0翻转为1(出现假阳性,比如背景污染)或将1翻转为0(出现假阴性,比如由于检测限问题而遗漏某些次要矿物相),以此模拟分析误差或采样限制。(2)混合:通过取两种来自同一来源的废物的指纹向量的并集,来模拟这两种废物的共同处置或物理混合。(3)混合扰动:通过对混合后的指纹应用比特翻转,来模拟复杂的现实情况。下载:下载高分辨率图像(525KB)下载:下载全尺寸图像图1. 噪声场景示意图。绿色框表示假阴性比特,橙色框表示假阳性比特。相关算法的实现方式如图S1-S2所示,共产生了七种噪声场景(表S1)。此外,我们还通过计算原始指纹与注入噪声后的指纹及来源之间的差异,评估了噪声注入对训练集、验证集和测试集数据分布的影响(见Text S3)。2.3 指纹选择 我们在7个含有噪声的数据集上进行了稳健的指纹选择过程,这些数据集是通过将原始数据与预先处理的噪声数据合并而成的。对于每个数据集,我们使用10个随机种子(0–9),按照6:2:2的比例将数据分为训练集、验证集和测试集(分割步骤详见Text S4)。在每次实验中,我们都使用随机森林模型结合递归特征消除算法来进行指纹选择(Gharoun等人,2023)。由于引入噪声样本可能会加剧数据不平衡问题,所以在所有实验中,随机森林模型的class_weight参数都被设置为'balanced',以避免忽视少数类别的学习。所有实验结束后,我们会为每个指纹位计算加权稳定性得分(WSS)(Text S5)。通过设置从0.00到1.00不等的WSS阈值(间隔为0.01),我们可以生成候选的指纹子集,然后针对每个子集重新训练随机森林模型。最终,我们通过平衡精度、宏观F1分数、宏观AUC以及集合大小等指标来评估测试性能,从而选出最稳健的指纹集(Text S6)。2.4 来源预测建模 为了提高模型对噪声的容忍度并实现概率预测,我们对六种分类模型进行了比较筛选:逻辑回归、近似最近邻、伯努利朴素贝叶斯、多层感知器、随机森林和极端梯度提升。数据预处理包括合并并去重七个含有噪声的数据集,然后再按照Text S4中的方法进行数据分割。我们通过五折交叉验证来优化模型超参数,以最大化平衡精度、宏观F1分数和宏观AUC的总和。我们在含有噪声和干净的测试集上对所有模型进行了评估,其中干净测试集已去除了噪声数据,评估是在10个随机种子下进行的。作为基准评估,我们还在干净的训练数据集上重新训练了这些模型。为了确保公平比较,所有模型的超参数优化都是以相同的方式进行的(表S2)。从表现中等的模型中,我们通过评估可靠性曲线和预期校准误差来确定最可靠的模型(Text S7)。为了评估最终模型的泛化能力,我们建立了两个独立于原始数据的外部验证集:一个基于文献的验证集,另一个是基于真实世界样本的验证集。基于文献的验证集包含原始样本以及通过计算机模拟生成的两种来自同一来源的废物混合样本。而真实世界样本则是通过实地采样获得的(Text S8)。我们使用Top-1和Top-3精度来评估模型的泛化能力。2.5 模型解释与部署 我们使用SHAP(SHapley加性解释)方法对模型进行了解释。通过按废物来源对数据分组,我们计算了每种矿物相在存在时的平均SHAP值(值为1),以此量化其对识别特定来源的贡献程度。最后,我们开发了一个用户友好的Streamlit应用程序(https://mpfphw.streamlit.app/),用于预测未知重金属危险废物样本的来源并给出相应的概率。该应用程序会根据余弦相似度推荐出在预测来源中最相似的前三种废物类型,并在二维多尺度缩放图中将候选废物与输入样本一起展示出来。3. 结果与讨论 3.1 矿物相作为潜在的来源示踪剂 为了评估矿物相作为废物来源识别诊断示踪剂的潜力,我们构建了一个涵盖159种不同废物代码的全面重金属危险废物数据集,这些废物代码涵盖了25种不同的来源类别(表1),其中大部分来自二次工业领域。正如我们之前的研究(Lin等人,2021年)所指出的,这些废弃物来源及其矿物学特征本质上十分复杂。表1列出了中国《危险废物名录》(2025年版)中25种重金属危险固体废物的来源编号。通过文献中的XRD分析,我们识别出了345种独特的矿物相(表S3),并将其转化为二进制指纹。统计分析显示,经过卡方独立性检验后,有22%的矿物相与特定废弃物来源存在显著关联(α=0.05)(图S3)。更重要的是,其中3.1%的矿物相具有极高的特异性,能够实现精准的来源追溯,这体现在其Cramér’s V值较高。例如白云石(CaMg(CO3)2),它仅存在于与非铁金属和贵金属开采相关的所有废弃物中,而在其他所有废弃物中则完全不存在。这种独特的出现模式使得白云石成为一种典型的“指示矿物”,体现了矿物学指纹在废弃物溯源方面的巨大潜力。然而,仅依赖一种指示矿物的局限性在于其二元性质,无法涵盖25种不同废弃物来源的复杂性。理论上,至少需要五种矿物相才能构建出具有足够多独特组合的指纹向量(25=32>25),从而覆盖所有废弃物来源。这也促使我们首先评估完整的指纹向量是否能够有效区分这些来源。为此,我们首先根据矿物相的存在与否,将每种废弃物编码表示为345维的二进制指纹向量(图2a)。随后,为了直观展示这些废弃物编码之间的差异,我们利用基于余弦距离的UMAP方法将345维向量投影到2D空间中(图2b),其中空间距离反映了矿物相组成的相似性。从2D可视化结果及肘部曲线可以看出(图S4a),这些废弃物编码可划分为三个主要群集。群集1和群集2彼此关联紧密,而群集3则相对独立。这种群集结构与废弃物来源有着明显的对应关系:例如,金属表面处理及热处理产生的废弃物(编号14)主要集中在群集3;常用非铁金属冶炼产生的废弃物(编号5)则主要分布在群集1;而基本化学原料制造产生的废弃物(编号1)由于包含多种类型的废弃物,因此分散在多个群集中。尽管从345维降维到2维不可避免地会模糊一些细微的边界,但几乎不存在完全重合的坐标点。总体而言,完整的指纹向量能够捕捉到足够的组成差异,从而大致区分不同类型的废弃物,不同来源之间的重叠程度较低。下载:高分辨率图像(1MB)下载:完整尺寸图像图2. 废弃物编码及指纹位的表示与降维可视化。(a)利用矿物学指纹表示废弃物编码的示意图;(b)通过UMAP投影后的废弃物编码的2D可视化结果;(c)根据各来源中出现频率划分的矿物相(指纹位)示意图;(d)通过UMAP投影后的指纹位2D可视化结果。其中的UMAP 1和UMAP 2代表了最能保留原始高维数据拓扑结构的两个主要维度。在(a)和(b)中,每个点代表一个废弃物编码,颜色由其来源决定;在(c)和(d)中,每个点代表一个指纹位,颜色则根据其所所属的群集而定。不过,各个指纹位(矿物相)的区分能力和稳定性并不一致。因此,有必要将分析视角从样本空间(废弃物编码)转向特征空间(矿物相)。虽然图2a将每个废弃物编码表示为样本空间中矿物相存在的向量,但图2c则将矩阵转置,以特征空间中25种废弃物来源中出现频率来表示每个指纹位。为进一步凸显差异,我们又通过UMAP进行降维处理,将指纹位投影到2D空间中(图2d),其中空间距离反映了相似的出现模式。通过肘部法则分析,可发现存在五个彼此分离的主要群集(图S4b)。群集1对应于冶金和酸生产过程中的烟气净化及除尘,其特征为硫化物、氧化物和硫酸盐;群集2则对应于城市固体废物焚烧产生的飞灰,其主要成分是氯化物和氧化物;群集3与各类废水处理污泥相关,其中含有碳酸盐、硫酸盐和氧化物的混合成分;群集4则以Na2SO4、TiO2和V2O5为特征,与化学生产过程相关,包括化学反应残留物、化学合成用催化剂以及烟气处理产生的物质;群集5则与催化应用以及废弃荧光灯管、阴极射线管等电子废物相关,其中含有金属氧化物、元素金属、碳和稀土矿物。这种空间结构揭示了在源头追溯信息方面,互补性与冗余性之间存在关键的权衡关系。具体而言,同一主要群集内的各个指纹位在不同行业中的出现频率模式相似,它们往往会在相同的废弃物来源中一同出现或消失,因此能提供高度重复的诊断线索。若从单个群集中选取多个指纹位,虽然不会增加新的追溯价值,但会导致冗余。相反,从不同主要群集中选取的指纹位则具有不同的频率特征,能够提供互补的信息,从而最大化整体来源覆盖范围。此外,这些主要群集内部还存在高密度的子群集,它们代表在常见工业过程中普遍存在的、功能上可相互替代的指纹位。纳入所有这些冗余的指纹位对源头识别几乎没有帮助,反而可能因共线性问题导致模型对无关变化过度拟合。而围绕这些密集核心分布的稀疏指纹位则代表着具有独特频率模式的特殊矿物相。与密集核心中的普遍存在的指纹位不同,这些边缘指纹位具有与特定废弃物来源密切相关的独特出现模式,因此可作为专属的指示物,提供更丰富的诊断信息以及更强的区分能力,有助于实现精准溯源。简而言之,完整的矿物学指纹能够大致区分重金属危险固体废物,但若使用的指纹集过少或过多,都会影响溯源的可靠性。因此,有必要有策略地选择指纹位,以同时提升区分能力和模型稳定性。3.2 噪声注入的影响在输入数据中引入可控的随机性是一种已被证明有效的提升模型训练质量的策略,因为它能迫使模型关注潜在的模式而非死记硬背特定样本,从而形成更为稳健的特征表示(Li,2024)。在现实场景中,重金属危险固体废物中的矿物相由于生产工艺升级、原材料波动以及不同的废物处理方法等多种因素,本身就具有较高的变异性。然而,原始数据集的规模有限,无法涵盖所有这些现实中的变化情况。虽然该数据集为每种废弃物来源提供了干净、理想化的样本,但却未能让模型接触到预防过度拟合所需的现实复杂性。为弥合这种理想状态与实际应用之间的差距,我们有意在矿物学指纹中注入不同强度的噪声。噪声注入的好处主要有两方面。首先,它能有效模拟危险废物中固有的现实世界异质性。由此带来的样本量增加——从S2中的6.9倍增加到S7中的超过1000倍(图S5)——实际上是对数据多样性的实质性丰富,而非简单的数据复制。这种丰富性在图3中得到了直观体现,该图展示了某种典型废弃物(氧化锌压力浸出残渣,废弃物编码321-006-48)及其在S1至S7不同噪声水平下的变体在UMAP空间中的投影。从S1到S7的演变体现了样本空间的逻辑性扩展。S1和S2分别模拟了两种相反类型的误差(假阴性和假阳性),它们会朝着与理想化样本相反的方向自然偏离(图3a、b)。后续的S3和S4则通过结合这两种相反的扰动,弥合了这些分歧(图3c、d)。在S5时发生了关键的拓扑结构变化,即同一来源内的数据混合使得数据结构从单集群分布转变为多中心分布。随后S6和S7进一步增加了这些新形成的中心周围的局部采样密度(图3e–g),反映出扰动强度的逐步提升(图S6)。下载:高分辨率图像(824KB)下载:完整尺寸图像图3. 基于原始废弃物编码321–006–48生成的含噪声样本的局部2D UMAP投影。(a)–(g)分别展示了不同场景下含噪声样本与原始样本之间的关系。原始样本以红星标出。(h)为原始样本所在区域的放大视图。每种颜色代表一个独特的场景组合,绿色三角形则表示文献中的真实样本:A为直接浸出残渣(Sun,2025),B和D为两阶段浸出残渣(Sun等人,2024;Zeng,2024),C为热过滤残渣(Sun,2025)。至关重要的是,这种模拟出来的数据结构能够反映现实情况。当我们把真实世界的样本投影到同一个UMAP空间中时(图3h),它们恰好落在由S1–S4定义的分布范围内。这一对应关系表明,含噪声的样本可以作为真实样本的可靠替代物,从而证明了所提出的噪声注入策略的合理性与有效性。其次,噪声注入还可以调整分割后数据集的数据分布,使其趋于独立同分布状态(i.i.d.)(Markiewicz,2023)。这解决了危险废物数据集中存在的两个实际问题。(1)矿物学指纹的分布呈长尾特征,导致那些含量低但至关重要的矿物相在数据中表现极为稀少。如果不加以干预,数据分割会进一步加剧这种不平衡现象。这种统计问题被称为协变量偏移,会导致模型过度依赖占主导地位的矿物相,而无法识别那些微量成分。(2)在我们的数据集中,有6种废弃物来源仅对应一个废弃物编码。传统的 数据分割方式必然会导致某些废弃物来源在某些数据分组中完全缺失。这种先验概率的偏移会带来盲点,最终削弱模型在少数类废弃物上的泛化能力。通过生成多种多样的样本变体,噪声注入能够缓解这两种偏移现象。这种分布平衡的效果可以通过总方差距离(TVD)和群体稳定性指数(PSI)这两个指标进行定量验证(图S7和S8)。原始数据集存在显著的废弃物来源差异,训练集、验证集和测试集之间废弃物来源分布的PSI值均超过了0.25。按照通常的判断标准,这一数值已经属于严重偏移的范围,意味着如果不加以干预,模型的泛化能力将受到严重损害。在注入噪声之后,TVD和PSI值均显著下降,其中S7组的矿物学指纹分布一致性最高。此外,各废弃物来源在各个数据分组中的概率密度也趋向均匀(图S9),这表明该策略成功消除了因来源差异带来的盲点。3.3 噪声环境下的稳健指纹为了降低过度拟合的风险,减少因指纹位冗余而导致的模型方差,我们通过引入随机噪声,实施了一种指纹位选择策略。该方法旨在筛选出在各种数据损坏情况下仍能保持预测能力的指纹位,同时剔除在噪声作用下性能下降的不稳定指纹位。这一策略对模型产生了两方面的积极影响。首先,通过模拟指纹偏离理想状态的扰动,它迫使模型不再依赖那些出现频率低的单一矿物相,而是转而关注由常见矿物相构成的更高阶的指纹位组合。其次,通过模拟来自相同来源的废弃物混合的情况,模型被迫寻求即使在单个信号被模糊的情况下依然具有独特性的更高阶组合。因此,经过筛选的指纹位在同一来源内部具有较高的相似性,而在不同来源之间则具有很强的区分度。在7种不同噪声场景下的实验结果表明(图S10,表S4),无论是在未混合场景(S1–S4)还是混合场景(S5–S7)下,噪声注入都能有效缩小不同数据集之间的性能差距,降低过度拟合风险,从而使模型更加稳定(正文S9)。为了解析指纹位是如何适应这些变化的,我们分析了指纹位的选择频率(图4,左侧面板)。除S2外,在所有场景中,高频指纹位(>0.8,红色)都占据主导地位,其占比超过了总数的70%。这种优势出现的原因是噪声降低了单个比特的预测可靠性,迫使模型构建更大的组合以提升容错能力。相反,低频比特(<0.4,蓝色)则表现出明显的继承模式:其在S3和S4中的选择结果与S1和S2中的完全一致。这表明在S1和S2条件下确定的稳健组合具有足够的抗干扰能力,即便在S3和S4更为恶劣的噪声环境下仍能保持优势。下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图4. 不同噪声环境下指纹比特的选择频率及加权稳定性得分。主面板为各场景下指纹比特选择频率的热力图;顶部面板展示了按5个不同频率区间划分的指纹比特数量分布,右侧面板则显示了7种噪声环境下各指纹比特的加权稳定性得分。在S5中,高频比特的比例上升至80%以上,这与模型拟合不稳定直接相关。然而当模型在S6和S7中趋于稳定时,比特分布出现更极端的分化趋势,这正是不确定性降低的明显信号。加权稳定性得分(图4右侧面板)反映了这些比特对各类噪声的总体稳健性。在数据充足且稳定的场景中,指数较低的比特始终表现出更高的稳健性,这一特性与原始数据中的出现频率呈正相关(斯皮尔曼系数0.71),说明那些出现频率较高的比特更有可能被纳入最优组合中。为了找到一种在多种场景下既稳健又高效的指纹集合,我们基于不同加权稳定性阈值筛选出的候选指纹集重新构建并比较了多个模型。最初我们发现,将阈值降至0.9以下并不会带来显著提升。如图S12a–c所示,加权稳定性得分低于0.9的模型,其准确率、宏观F1值及宏观AUC值仅在0.9这一基准水平附近波动,并无持续改善,这证明单纯积累质量较低的比特无法带来实质性的性能提升。因此我们将研究范围限定在0.9到1.0这一较为严格的加权稳定性得分区间。观察发现,当加权稳定性得分接近1.0时,模型性能会急剧下降,这就需要在性能与该区间内的候选指纹比特数量之间做出权衡。根据图S12d,随着加权稳定性得分的降低,模型整体性能在0.99时出现显著提升,随后趋于稳定。而且达到这一最佳性能仅需0.90阈值时所需指纹比特数的57.1%。遵循“奥卡姆剃刀”原则——即选择能最大化预测能力的最简单模型——我们最终确定0.99作为最佳阈值。在此阈值下,最终得到的跨场景稳健指纹集合包含153个候选指纹比特。3.4. 带有不确定性的来源识别基于上述稳健指纹集合,我们在含噪声数据上训练了六个具备内置不确定性估计功能的分类模型,并在含噪声数据集及纯净数据集上对其进行了评估。如图5a所示,与在纯净数据集上的基准性能相比,加入噪声后模型的性能显著提升,同时有效避免了在小数据集上的过拟合现象。在含噪声测试集上,除人工神经网络外的所有模型都实现了超过0.9的平衡准确率以及超过0.99的宏观AUC值。不过仅有多层感知器模型在宏观F1值上超过了0.9的标准。通过计算多次实验中所有指标的平均值(表S5、S6),我们发现多层感知器模型在含噪声数据集及纯净数据集上的平均得分均最高,这体现了其最优的整体性能。为避免过高或过低地评估模型性能,我们选择了平均得分最接近平均值的两个多层感知器模型(种子编号5和6)进行进一步可靠性评估。如图5b所示,种子编号6的多层感知器模型的可靠性曲线起初位于对角线下方,随后上升至对角线之上,这表明其预测结果存在过度自信的倾向。而种子编号5的多层感知器模型曲线则紧密贴合对角线,且误差校正指数更低。因此,最终选定以随机种子5训练得到的多层感知器模型作为最优模型。下载:下载高分辨率图像(1MB)下载:下载全尺寸图像图5. (a)六类模型在含噪声数据集与纯净数据集上三种指标的性能对比(基于10个不同种子值的平均值)。实线和虚线红色线条分别表示含噪声数据集与纯净数据集上三种指标的平均得分。由于纯净测试集中存在因样本数量有限而未出现在训练集中的类别,因此无法给出基准宏观AUC值。(b)平均得分最接近平均值的两个多层感知器模型的可靠性曲线。(c)以随机种子5训练得到的多层感知器模型的混淆矩阵。最终模型的混淆矩阵中非对角线元素极为稀少,这说明其分类精度很高,且错误类型较为集中。被错误分类样本数量相对较多的来源包括基本化学原料制造行业(编号1)、常用有色金属冶炼行业(编号5)、金属表面处理与热处理加工行业(编号14)以及未明确类别的来源(编号22)。这些类别属于主要类别,涵盖多种类型的废弃物,这类废弃物的原材料和产生流程往往与其他来源的废弃物存在相似性。尽管存在这些挑战,主要类别的分类精度仍高达99.7%,而少数类别的分类精度则为97.0%。在少数类别中,最常见的错误类型是将样本误归类为主要来源。最终模型在两个外部验证数据集上均表现优异。对于原始文献中的样本(图S13),其Top-1和Top-3准确率分别为86.7%和93.3%,而在计算机模拟生成的混合样本上,这两项准确率分别提升至89.5%和100%。这充分证明了该模型既适用于单一类型废弃物混合体,也适用于多种类型废弃物混合体。在所有废弃物样本中,仅有编号9的样本在Top-1和Top-3分类中都被错误分类(表S8–S9)。这很可能是因为印刷电路板回收过程中产生的铜污泥中含有SiO2、CuO和Fe3O4等矿物成分,而这些成分与铜再生工艺中湿法洗涤过程产生的粉尘成分相似,从而导致该样本被错误归类为有色金属冶炼行业。此外,有效指纹比特的数量——即稳健指纹集合与特定样本中所含指纹集合的交集——与预测置信度之间存在正相关关系,因为有效的比特数量越多,通常意味着不确定性越低。这一点在计算机模拟的混合样本中得到了印证:有效比特数量增加时,Top-1预测概率也会随之上升。相反,有效比特数量较少时预测置信度会下降,例如编号12和编号15的样本仅分别含有2个和1个有效比特,其Top-1预测置信度仅为0.529和0.673,但它们的预测结果仍然是正确的。这表明即便有效比特数量有限,该模型依然能够利用先验知识做出准确预测,从而验证了基于含噪声数据生成的决策边界的稳健性。在真实世界样本上(图S14和表S10),最终模型的Top-1准确率为80.0%,Top-3准确率为100%。值得注意的是,编号1的样本在Top-1预测中被错误分类,因为它所含的有效指纹比特只是三种最常见的矿物成分,这些信息不足以支撑做出精准判断。尽管如此,该模型并未出现过度自信的情况,其Top-1预测概率为0.783,这一数值与第二高的预测概率0.201相当,这使得正确来源仍能在Top-3结果中体现出来。与在文献验证数据集上的表现类似,该模型在真实世界样本上的表现也显示出其对自身预测不确定性的准确认知。总体而言,最终模型能够在两个外部验证数据集的Top-3预测结果中准确识别出真实来源,这证明了它具备良好的泛化能力,以及出色的不确定性估计算法。在实际应用中,这一Top-3准确率意味着该模型可作为一种高效的筛选工具,帮助执法部门和环境监管人员从众多潜在来源中快速锁定真实源头,无需盲目调查大量候选对象。即便在编号1这类表现欠佳的案例中,这一机制也能大幅缩小现场调查范围,加快整个废弃物溯源进程。3.5. 各来源特有的典型人为矿物组合为了解析模型所捕捉到的各来源特有的矿物学特征,我们按来源类别,计算了每个稳健指纹比特在其特征值为1时的平均SHAP值(即对应矿物成分实际存在时的值)。如图6所示,模型是通过所有稳健指纹比特的综合作用来确定废弃物来源的。那些具有正向贡献的指纹比特(SHAP值大于0)在不同废弃物来源中存在差异,其数量通常少于具有负向贡献的比特(SHAP值小于0)。这反映了具有正向贡献的指纹比特的来源特异性,使其成为区分废弃物起源的关键指标。因此,与这些正向贡献指纹比特相关的矿物成分可作为诊断标志——类似于地质学中的“典型矿物”,某种特定矿物的存在即可指示其来源。我们可以将这些矿物成分的集合定义为ATMA,它代表了一组独特的矿物成分,可用于标识特定的废弃物来源。下载:下载高分辨率图像(3MB)下载:下载全尺寸图像图6. 当各个稳健指纹比特的特征值为1时的平均SHAP值,不同来源的数值分别展示。具有正向SHAP值的点以圆形标出,表示该特征会增加对应真实来源的预测概率;具有负向SHAP值的点以方形标出,表示该特征会降低预测概率。颜色深浅与SHAP值的大小成正比。面板(a)显示的是指纹特征的高频部分,面板(b)显示的是低频部分。每个来源对应的ATMA都与技术圈内的生产与消费活动密切相关。例如,在基本化学原料制造行业中,ATMA中影响最大的三种矿物成分是Na2CrO4、Pb(OH)2和MgO。Na2CrO4源自铬盐的生产,Pb(OH)2来自铊化合物的制造,而MgO则与铍化合物的生产以及2,6-二甲基苯和苯乙烯合成过程中的催化反应有关。在常用有色金属冶炼行业中,关键的ATMA矿物成分则是Pb3O4、HgS和As2O3。这些矿物都是典型的冶金副产品:Pb3O4来源于阳极泥和精炼炉渣,HgS来自气体净化和汞的回收处理,As2O3则来自铜/铅锌冶炼以及锌回收过程中的粉尘和污泥。这项分析表明,该模型充分利用了不同工业代谢途径所产生的独特矿物学差异,从而做出准确的来源识别决策。除了用于来源追踪之外,各来源特有的ATMA对于城市矿产开发也具有重要意义,它有助于开展资源价值评估,并推动定制化回收技术的研发。此外,它还能揭示不同行业在控制污染物迁移路径方面的差异,为研究这些废弃物流所伴随的演化风险提供了研究起点(Hua等人,2025年)。从长远来看,ATMA还可作为与特定行业相关的“技术化石”的独特矿物学特征,有望成为记录区域技术发展历程的标志性标志。进一步分析发现,废弃物的形成途径多样性与其对应的ATMA规模之间存在正相关关系(图S15)。这意味着在面对更为复杂棘手的决策时,模型会考虑规模更大的ATMA,以便涵盖更多可能的废弃物类型,这一逻辑与人类专家判断废弃物来源的思维方式是一致的。结合模型的混淆矩阵(图5c)我们可以发现,那些具有较少显著正向贡献指纹的来源,模型的预测精度较低。这表明当证据不足时,模型会失去信心,这一现象与人类专家在面临不确定性时的决策方式十分相似。最后,我们将该模型开发成了一个基于网页的应用程序(图S16)。该应用程序首先预测大致的工业来源,然后再通过基于MDS的匹配功能进行二次细化处理。这一步骤有助于用户评估预测的可靠性,并将结果精确到3个具体的废弃物代码。以图S17中的真实世界样本1——电镀污泥为例,虽然其大致类别的预测结果存在偏差,但通过MDS映射(图S16c)可以发现,某些来自金属表面处理和热处理过程的废弃物,实际上与输入的指纹特征更为相似,而非Top-1预测的来源——基本化学工业。借助这些辅助空间信息,用户可以判断前两大类别的预测是否更为合理,进而明确其与表面处理行业电镀工艺的具体关联。3.6 环境影响:与现有执法流程的整合所提出的框架为固体废物溯源中的普遍性与特殊性之间提供了方法论上的桥梁。理想的环境法医学模式应是拥有高分辨率、企业级指纹数据库的体系;但由于巨大的空间差异性和采样难题,构建此类基础设施在实践中几乎不可行。目前,我们的方法通过基于通用行业类别建立宏观层面的筛选机制来弥补这一缺陷。它将模糊的光谱数据转化为有方向的指引,快速识别出跨区域非法倾倒的目标行业,从而可直接融入现有的执法流程。在实际操作中,识别未知废物主要依赖于通过国家危险废物名录将废物与特定行业及其对应的废物代码进行匹配。通过确定最可能的行业以及前三个具体的废物代码,该框架大大缩小了调查范围。执法部门便可针对已确定的行业群(例如以该行业闻名的特定工业园区)开展实地调查和企业账目核查,从而使后续的责任界定更加可行且高效。随着本地化指纹数据库的完善,这一框架将作为必要前提而非独立解决方案存在。它可以与企业级数据库相整合,利用其行业预测功能缩小搜索范围,加速后续的本地化责任判定。这使我们的方法成为分层工作流程中的基础层面。在用于非法倾倒问题追踪的基础上,该方法的可应用性还可进一步拓展到历史库存的追溯以及打击跨境走私行为。4. 结论在本研究中,我们提出并构建了一种基于矿物学指纹的、可解释的固体废物来源追踪机器学习框架。首先,统计分析表明,矿物学特征在识别高危险性危险废物来源方面具有巨大潜力。在此基础上,我们开发了一种基于知识引导的噪声注入方法,有效筛选出了153个稳定且具有高度区分度的指纹特征。使用这套经过优化的指纹特征后,对各种源预测模型的比较显示,多层感知器模型取得了最佳性能。具体而言,在含噪声的测试集上,该模型的平衡准确率与宏观F1值均超过0.9;而在基于文献的数据集上,其前三名预测准确率为93.3%,在真实样本上的准确率则为100%。通过SHAP分析,我们明确了人为技术圈矿物组合体(ATMA)的概念,并阐明了其与模型预测之间的关系。我们发现,识别不同类型废物的来源需要更复杂的ATMA组合;如果某个特定来源对应的ATMA较为简单,模型对该来源的判断置信度通常也会较低。这表明,基于ATMA的机器学习框架在固体废物追踪方面具有更高的准确率、稳健性及可解释性。不过,当前框架也存在一些局限性,需在未来进一步研究。首先,虽然二进制指纹法通过最小化噪声干扰确保了方法的简洁性及模型的稳健性,但不可避免地会导致一定程度的信息丢失。未来的工作将致力于开发能够充分利用矿物定量信息的技术,从而为更细微的来源差异提供更高分辨率的识别能力。其次,当前框架还无法处理由多种不同来源的废物共同处置形成的复杂混合物。未来的研究将把这种方法与其他追踪技术相结合,以提高系统的稳健性,并扩大数据集的范围,以涵盖更多类型的固体废物,从而构建出能够应对复杂混合来源场景的通用系统。CRediT作者贡献说明雷琳:撰写——初稿、可视化、方法论、正式分析、概念设计。任长海:验证、数据整理。曲晨:撰写——审阅与编辑。肖阳:验证、数据整理。李寅:资源支持。刘旭明:资源支持。王涵:撰写——审阅与编辑、监督、资源支持、资金筹集。张琳:撰写——审阅与编辑、监督、资源支持、资金筹集。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号