《Microchemical Journal》:Machine learning assisted near-infrared spectroscopy: A rapid and green approach for the detection of lead
编辑推荐:
本研究利用近红外光谱结合机器学习和深度学习算法,对印尼 Aceh 省的30份水体样本进行铅含量检测,发现卷积神经网络(CNN)表现最佳,R2达0.893,RMSE为0.039 mg/L,RPD为3.057,适用于日常水质筛查。
作者:Devianti、Zalniati Fonna Rozali、Siti Mechram、Agustami Sitorus
印度尼西亚班达亚齐Syiah Kuala大学农业学院农业工程系,邮编2311
摘要
地表水中铅(Pb)等重金属的污染仍然是一个严重问题,因为它会对人类健康和环境产生直接影响。传统的原子吸收光谱法(AAS)检测这种金属相对耗时、成本较高,并且需要使用对环境不友好的危险化学品。因此,亟需一种更快、更高效、更可持续的替代方法来检测低浓度铅的存在。本研究旨在开发一种基于近红外(NIR)光谱技术与机器学习及深度学习算法相结合的铅含量预测方法。从亚齐省的不同地点收集了30个水样,使用4000–12,500 cm?1波段范围内的NIR光谱进行分析,并以AAS方法作为参考。光谱数据经过Savitzky-Golay平滑处理、均值中心化和标准正态变量预处理等步骤处理后,采用多种算法构建预测模型,包括偏最小二乘回归(PLSR)、k-最近邻(kNN)、人工神经网络(ANN)、梯度提升(GBC)、随机森林(RF)和简单的卷积神经网络(CNN)架构。评估指标包括R2、RMSE和性能偏差比(RPD)。结果显示,CNN模型的性能最佳,Rp2值为0.893,RMSEp为0.039 mg/L,RPD为3.057,适用于日常筛查。模型性能排序为:CNN > RF > kNN > GBC > ANN > PLSR。这些结果表明,NIR与人工智能技术的结合能够快速、环保地检测铅含量,为实时和非破坏性水质监测开辟了新的应用前景。
引言
地表水是支撑人类生活、生态系统和经济活动的重要资源,其质量是一个全球性的关注点。气候变化、城市化、农业活动和工业活动的增加给世界各地的水质带来了严重压力。重金属污染尤其令人担忧,因为它们具有毒性和持久性,还可能在食物链中积累,从而对健康造成长期影响。Collin Collin等人[1]和Jomova等人[2]的研究指出,饮用水和地表水中的重金属污染(包括铅)会对神经系统发育、肾脏功能和心血管系统造成威胁。水质监测不仅对公共卫生至关重要,也符合可持续发展目标(SDGs)中关于清洁水和卫生设施的要求。发展中国家由于缺乏水质监测基础设施,面临更大的挑战。
地表水中的铅含量通常较低,但仍对健康和环境有害。铅是一种非必需的重金属,即使微量也有毒性[3],[4],[5]。它会干扰酶功能和细胞代谢,并在体内长期积累。地表水中的铅污染主要来源于农业活动、采矿作业、燃料燃烧以及含铅的水管老化。多项报告显示,在包括发展中国家在内的许多地区检测到了超过安全阈值的铅含量。至今,铅暴露仍与儿童智力下降、大脑发育受损以及成人慢性疾病风险增加有关[6],[7],[8]。
关于土壤和水中重金属检测的研究已广泛采用基于化学分析的传统方法,如原子吸收光谱法(AAS)、电感耦合等离子体质谱法(ICP-MS)和电感耦合等离子体光学发射光谱法(ICP-OES)[9],[10],[11]。这些方法精度较高,但存在操作成本高、需要危险化学品、分析时间长以及现场应用受限等缺点。也有研究尝试结合电化学方法、生物传感器和新型材料传感器技术以提高检测效率,但这些技术在重现性、实施成本和灵敏度方面仍存在挑战。寻找新的、更快速、更实用、更环保的重金属检测方法仍是当前研究的重点。
近十年间,近红外(NIR)光谱技术与机器学习(ML)和深度学习(DL)技术的结合在化学和环境数据建模方面展现出巨大潜力。NIR光谱具有分析速度快、非破坏性、无需化学试剂且能获取大量光谱数据的优势。ML/DL算法还能捕捉光谱数据中的复杂非线性模式,从而提高对某些物质(包括重金属)含量的预测精度。先前研究已证明ML和DL在环境污染物检测方面的有效性[12],[13],[14]。虽然已有研究利用偏最小二乘回归(PLSR)、支持向量机(SVM)、人工神经网络(ANN)和卷积神经网络(CNN)分析水质和土壤,但NIR与人工智能结合检测低浓度铅的应用仍较为有限,需进一步发展。
目前利用NIR光谱与ML/DL算法结合检测低浓度铅的研究较少,存在明显不足。亟需开发环保、实用的替代方法。以往研究大多关注高浓度重金属的检测,或采用不适合现场应用的常规仪器方法[12],[13],[14],[15]。现有预测模型在泛化能力、稳定性和外部验证方面仍存在挑战。通过结合NIR光谱预处理、ML/DL算法及R2、RMSE和RPD等统计参数进行综合评估,可以填补这一空白。快速检测系统的需求迫切,尤其是在潜在污染区域进行可持续水质监测时。
基于上述背景,本研究旨在开发一种利用NIR光谱与人工智能结合预测地表水中铅含量的方法。不仅测试了偏最小二乘回归(PLSR)、k-最近邻(kNN)、人工神经网络(ANN)、梯度提升(GBC)和随机森林(RF)等传统机器学习算法的性能,还引入了卷积神经网络(CNN)架构以提高检测精度。本研究的主要贡献在于其环保、非破坏性的方法,能够在资源有限的地区快速提供水质监测结果。与以往研究相比,本研究更关注低浓度铅的检测,有望拓展基于AI的光谱技术在可持续环境管理中的应用前景。
地点与数据采集
本研究采样地点位于印度尼西亚亚齐省,地理坐标为2.5°–6°N和95°–98°E,海拔范围从沿海低地到丘陵地带,大约在100–500米之间。选择这些地点是为了涵盖多种环境条件。共采集了30个地表水样,来自河流(IS)、稻田灌溉渠道(AS)、垃圾填埋场周边河流(TPA)和山区河流(NG)。
水中的铅含量及化学性质
光谱数据显示,铅的存在并不直接影响吸收强度或位置。本研究中铅的浓度范围为0.003–0.447 mg/L,平均值为0.288 ± 0.122 mg/L。约7000–4000 cm?1波段的峰值通常与水分子的O-H键振动相关,而6000–5000 cm?1波段的吸收则与溶解有机化合物的C-H键振动相关。
结论
本研究证明,近红外(NIR)光谱技术与机器学习和深度学习算法的结合可以快速、环保地检测地表水中的铅。在测试的各种算法中,CNN模型表现最佳,Rc2值为0.933,Rp2为0.893,RMSEp为0.039 mg/L,RPD为3.057,适用于筛查应用。这些结果证实了NIR与人工智能结合的有效性。
作者贡献声明
Devianti:撰写初稿、监督、资源协调、项目管理、方法论设计、数据采集、数据分析、概念构思。
Zalniati Fonna Rozali:撰写初稿、监督、资源协调、项目管理、方法论设计、数据采集、数据分析、概念构思。
Siti Mechram:撰写初稿、资源协调、项目管理、方法论设计、数据采集
利益冲突声明
作者声明不存在可能影响本研究结果的已知财务利益或个人关系。
致谢
我们衷心感谢印度尼西亚高等教育、科学和技术部研究与发展总局的“研究与社会服务处”以及USK大学LPPM项目办公室,感谢他们在“基础研究——常规项目”计划下提供的资金支持(合同编号:86/UN11.L1/PG.01.03/DPPM/2025)。