USP:结合事后标准正态变量的非中心化奇异值分解,用于水生环境中塑料的背景解耦近红外分类

《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》:USP: Uncentered SVD with post-hoc SNV for background-decoupled NIR classification of plastic in aquatic environments

【字体: 大 中 小 】 时间:2026年10月01日 来源:Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy 4.3

编辑推荐:

   • 提出了用于近红外塑料分类的非中心化SVD与事后SNV方法(USP)。 • 事后归一化可在无需参考光谱的情况下解耦散射。 • 在波段偏移和泡沫状分布外条件下,USP的表现优于预处理SNV流水线。 • 消融实验确认该方法的收益主要来自解耦结构,而非SNV公式本身。 引言

  

• 提出了用于近红外塑料分类的非中心化SVD与事后SNV方法(USP)。
• 事后归一化可在无需参考光谱的情况下解耦散射。
• 在波段偏移和泡沫状分布外条件下,USP的表现优于预处理SNV流水线。
• 消融实验确认该方法的收益主要来自解耦结构,而非SNV公式本身。

引言

可靠的塑料识别对环境监测和回收作业具有重要支撑作用。全球年塑料产量从2000年约2.34亿吨增至2019年的4.60亿吨,塑料废弃物增至3.53亿吨;最终仅9%被回收,19%被焚烧,近50%被填埋,22%被不当管理[1]。河流是从陆地到海洋的重要输运途径:估计年河流携带塑料排放量约为115万至241万吨,排放量最高的20条河流占建模总量的67%[2]。近红外(NIR)高光谱成像非常适合塑料识别,因为它能够捕捉聚合物的C–H倍频和组合特征带[3]。机器学习算法可进一步将这些高维光谱特征映射到聚合物类别上。

基于PLS、SVM和神经网络的分类方法在实验室或其他受控塑料分类场景中已取得了显著成果[4][5][6]。然而,特定应用的数据集相较于光谱变量数量,其标注样本可能相对较少。在样本量固定的情况下,维度增加最终可能降低分类精度,这就是所谓的休斯现象[7]。因此,紧凑的光谱表示对于降低计算成本和提高可解释性具有重要价值。

主成分分析(PCA)是塑料光谱中广泛使用的无监督降维基线方法[4][6]。由于相邻光谱波段之间存在强相关性,PCA可以提供紧凑的表示,并可通过奇异值分解(SVD)高效计算。然而,PCA在最大化方差时未使用类别标签;因此,其主要成分并不保证与分类最有用信息对齐。

传统的近红外流水线通常先对原始光谱进行预处理,以降低加性和乘性效应[8]。标准正态变量变换(SNV)可消除样本级偏移和标量缩放因子,去趋势可进一步减少基线弯曲[8][9]。乘性散射校正(MSC)则基于参考光谱估计线性校正[10]。这些基于标量或参考的模型在许多场景下是有效的,但波长相关的散射和分布变化可能违背其简化假设;在这种情况下,所选的MSC参考光谱对新样本的代表性可能下降。

大多数成熟的工作流程都在PCA或有监督建模之前应用散射校正。尽管近期应用研究积极比较预处理、降维和分类器的不同组合,但在本研究考虑的应用文献中,对此顺序反转——尤其是使用非中心化投影——的效果较少被评估。因此,在投影过程中保留主导宽波段方向是否能改善后续归一化及背景变化下的鲁棒性,仍有待明确。

为回答该问题,我们在一个模拟河流塑料碎片关键变量的实验室测试平台上评估了USP,包括水体背景变异性和塑料风化,同时保留了适合可重复基准测试的采集条件。分析不仅关注预测性能,还关注评估所提机制所需的分量能量、载荷向量、消融和扰动证据。

贡献

本研究的方法论核心在于评估了传统预处理顺序的反转:在投影过程中保留非中心化能量结构,随后在所得评分空间中执行样本级归一化。主要贡献如下:

• 我们提出了USP,一个基于非中心化截断SVD后接事后SNV的预处理框架。PC1能量占优的论证为一种机制性解释提供了依据:非中心化PC1集中了主导的宽波段背景方向,事后归一化在保留有用低能量结构的同时减小了由此产生的评分幅值差异。能量比、载荷向量分析和受控消融实验支持了这一解释。我们在主要的水体塑料测试平台以及两个独立的光谱库上评估了该框架。

• 我们展示了标准SNV + PCA流水线在离散波段偏移压力测试下性能严重下降。我们将不同预处理顺序的鲁棒性差异与其学习所得载荷向量的偏移敏感性相关联,并对观察到的行为提供了可检验的解释。

• 我们检验了所观察到的顺序效应是否依赖于SNV公式本身:在报告的消融实验中,Drop-PC1和L2归一化的表现与事后SNV相当,表明在该协议下,相关的评分空间操作可以产生类似的行为。

章节摘要

近红外光谱在塑料识别中的应用

Scott [11] 利用近红外辐射(NIR)通过计算PET(位于1660 nm)和PVC(位于1716 nm)两个特征峰的吸光度比来区分两者。该研究是最早将近红外应用于塑料分拣的应用之一。尽管其分类方法依赖手工设计的规则而非机器学习,但确立了选择与聚合物吸收特征相关的光谱波段这一长期原则。Serranti等[4]……

非中心化截断SVD和事后SNV的定义

当光谱波段数超过样本数(B > N)时,数据矩阵的秩最多为N。因此,非零奇异值不超过N个。截断SVD仅保留前k个分量,其中k ≤ min(N, B),以获得低维表示。

为标准定义截断SVD,设X ∈ ?^(N×B) 为原始光谱矩阵,并进行中心化:X? = X ? 1·x??。

对于中心化截断SVD,我们分解中心化矩阵:
X? ≈ U?·Σ?·V??
其中 U? ∈ ?^(N×k),Σ? ∈ ?^(k×k),V? ∈ ?^(B×k)。

分布内分类

清晰背景子集包含54个PET、30个HDPE、18个LDPE、52个PP、16个EPSF和23个风化塑料光谱样本。为应对此类不平衡问题,分类器使用逆频率类权重 n/(C·n?),其中n为训练集大小,C为类别数,n?为类别c的训练样本数。分层划分确保每个类别在每个评估中均有代表性。

结论与局限性

USP将样本级归一化置于非中心化截断SVD之后。在清澈水体基准测试、受控预处理顺序消融、模拟分布偏移和多背景测试中,该顺序总体上优于对应的预处理SNV和中心化替代方案。更广泛的线性SVM和RBF-SVM比较表明,相同的鲁棒性模式可在两种决策边界下观察到,尽管其程度和正常条件下的排序因分类器而异……

CRediT作者贡献声明

Yi Le:概念化、方法论、软件、验证、正式分析、调查、数据整理、可视化、初稿撰写。
Bo Zhu:监督、审校与编辑。

生成式AI及AI辅助技术在写作过程中的声明

在本工作准备过程中,作者使用了Perplexity Deep Research、DeepSeek及类似的大语言模型来提高手稿的语言质量和可读性。大语言模型还用于辅助编写实验、统计和绘图脚本。未使用这些模型直接分析原始数据或生成图表。所有报告的统计结果均通过Python脚本计算并由作者审阅。

利益冲突声明

作者声明没有已知的可能影响本文报告的金融利益关系或个人关系。

致谢

本研究得到福建省中青年教育科研项目资助(项目编号:JAT231013)。

Yi Le | Bo Zhu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号