《Chemosensors》:Artificial Intelligence-Assisted FT-IR Spectral Sensing: From Molecular Fingerprints to Quantitative and Interpretable Chemical Information
编辑推荐:
傅里叶变换红外光谱(FT-IR)可提供快速、易获取且富含化学信息的分子指纹,但复杂样品的定量分析常受谱带重叠、基线漂移、基质效应以及光谱与目标性质间非线性关系的阻碍。本综述考察了人工智能(AI),包括机器学习、深度学习和可解释人工智能(XAI),如何将FT-I
傅里叶变换红外光谱(FT-IR)可提供快速、易获取且富含化学信息的分子指纹,但复杂样品的定量分析常受谱带重叠、基线漂移、基质效应以及光谱与目标性质间非线性关系的阻碍。本综述考察了人工智能(AI),包括机器学习、深度学习和可解释人工智能(XAI),如何将FT-IR指纹转化为定量且可解释的化学信息。研究人员按照分析功能对近期研究进行归类,并从光谱采集与数据组织、预处理与输入准备、模型开发、验证、不确定性、可迁移性及化学解释等方面进行审视。AI辅助FT-IR已应用于组成与浓度预测、掺假与污染水平估计、理化性质与材料属性预测,以及过程、时间和状态依赖的预测。在这些应用中,稳健性能取决于代表性的独立样本、无泄漏验证、透明预处理、不确定性评估、校准转移以及模型相关区域的光谱学合理阐释。数据增强、迁移学习和XAI可提高模型稳健性和可解释性,但需要使用独立的真实样本进行验证。总体而言,AI能够将FT-IR从定性指纹识别拓展至定量与预测性光谱传感,前提是未来研究应强调以方法为中心的验证、可重复性、可迁移性和化学意义明确的解释,而非仅依赖分类准确率和回归误差指标。
**1. 引言**
傅里叶变换红外光谱(FT-IR)是一种成熟的分子光谱技术,通过振动吸收提供分子、材料及复杂混合物的指纹信息。该技术具有测量快速、样品制备简单、成本较低等优势,并与衰减全反射(ATR)、透射和漫反射等采样模式兼容,已广泛应用于化学、材料、生物医学和环境监测等领域。然而,真实样品的FT-IR光谱常因谱带重叠、基质效应、基线变化等因素而难以用单一吸收带解释。人工智能(AI),尤其是机器学习(ML)和深度学习(DL),为建模复杂的光谱-性质关系提供了框架,可解释人工智能(XAI)则有助于识别对预测有贡献的光谱区域。本综述以分析功能为导向,将AI辅助FT-IR视为一种分析传感方法,侧重评估其代表性采样、无泄漏验证、不确定性评估、校准转移和光谱学合理解释方面的可靠性。
**2. FT-IR光谱数据与AI辅助分析的需求**
**2.1 化学信息编码**
红外吸收源于分子振动引起的偶极矩变化,谱带位置由键强度、原子质量、分子结构及化学环境决定,强度则受浓度、相互作用和测量条件影响。官能团带提供局部结构信息,而指纹区包含大量耦合且重叠的振动,整体反映分子结构、组成和基质状态。在复杂混合物中,光谱是多种组分响应的组合,但氢键等相互作用会改变谱带,使单一变量难以唯一归属。目标信息可编码为特征带、强度比、宽泛组成模式及指纹区的细微变化,因此FT-IR光谱应被视为有序的多变量信号。
**2.2 真实FT-IR传感数据的分析复杂性**
真实样品的光谱受多种因素干扰,包括谱带重叠、基线漂移、大气水和二氧化碳、粒径、散射及仪器差异。ATR测量受有效穿透深度、样品接触和压力影响;透射测量与光程和厚度相关;漫反射则对粒径和堆积敏感。预处理虽能减少这些变化,但并非化学中性的操作,例如归一化可能抑制浓度信息,导数变换可能放大噪声。此外,光谱与目标性质之间的关系可能间接、非线性,模型可能利用样品来源或批次等代理信息而非化学目标本身,因此验证时必须区分直接目标信息与相关代理信息。
**2.3 AI辅助转化**
经典化学计量学为多变量定量和分类奠定了基础,现代ML和DL可建模非线性关系、变量间交互和分布式模式。卷积模型可学习局部谱形和相邻波数关系,基于变换器的模型能表示跨区域的相互作用。AI辅助FT-IR的功能包括光谱识别与分类、浓度及性质预测、数据重建与增强,以及过程或状态监测。AI的价值并不局限于准确率或误差,更在于能否结合代表性样本、独立验证和化学一致性评价,将重叠且可变的光谱响应转化为可用的定量或决策信息。
**3. AI定量FT-IR光谱传感的工作流程**
**3.1 光谱采集与数据组织**
可靠建模要求光谱可重复且代表预期应用。需根据基质和分析目标选择采样模式,并标准化光谱范围、分辨率、扫描次数、温度和样品呈现方式。校准样品应覆盖目标范围,并包含产品类型、批次、操作者、环境条件和仪器等干扰变化来源。参考值应采用适当分析方法测定并考虑其精度。独立物理样品应作为基本分析单元,技术性重复或同一批次的多次扫描不应在训练集和测试集之间分割,否则会产生乐观偏差。
**3.2 光谱预处理与输入准备**
预处理的目的是减少非目标光谱变化,但区分目标与非目标变化通常需要结合重复样、参比样和质控样。常用操作包括基线校正、平滑、归一化、标准正态变量(SNV)变换、多元散射校正(MSC)、光谱对齐和导数变换。Savitzky–Golay滤波广泛用于导数光谱。输入准备还可能涉及去除大气或水吸收区域、分箱或降采样。若变量选择依赖于目标响应,则它属于模型优化的一部分,需在训练-验证流程内进行。预处理参数应仅使用训练数据拟合,并原样应用于验证和测试样本。
**3.3 回归与分类的模型开发**
模型选择取决于分析目标、独立样本数量、光谱复杂度和可解释性要求。回归模型用于预测连续量,分类模型用于分配类别。常用方法包括偏最小二乘回归(PLSR)、主成分分析-线性判别分析(PCA–LDA)、偏最小二乘判别分析(PLS-DA)、K近邻(KNN)、支持向量机/回归(SVM/SVR)、随机森林(RF)、梯度提升及神经网络。一维卷积神经网络(1D-CNN)可直接从有序光谱学习局部模式,变换器结构可建模远距离交互。超参数优化和特征选择必须限制在开发数据内,并与适当的基线模型在相同的样本划分下比较。
**3.4 模型验证与性能评价**
验证应估计模型对真正未见过样本的性能。内部交叉验证(CV)用于选择模型,独立测试集用于最终评估。样本量有限时可使用嵌套CV。所有目标感知的预处理、变量选择和超参数调优必须留在训练流程中,防止信息泄漏。回归指标包括预测均方根误差(RMSEP)、平均绝对误差(MAE)、偏差和决定系数(R2),并需结合校准范围和参考方法精度解释。分类评价应报告敏感性、特异性、精确率、召回率、F1分数和混淆矩阵。不确定性需通过重复测量、重采样、预测区间和适用域评估,最终测试集应保持未接触状态,外部验证应包含批次、来源、仪器等实际变异。
**4. AI辅助FT-IR光谱传感的定量与预测应用**
**4.1 组成相关筛查与浓度预测**
连续浓度预测是传统定量FT-IR的直接延伸。已有研究使用PLSR定量啤酒中多种挥发性化合物,利用RF和SVM对彩色水稻的酚类和抗氧化性状进行高含量/低含量筛查,使用PCA/PLSR估计稻米中蛋白质、脂类和碳水化合物含量,以及用PLSR将木质部汁液和叶片光谱关联至激素浓度。RF回归也用于复杂生物流体中多项血清生化指标的预测。但这些研究多采用内部CV或随机划分验证,部分研究将生成的目标值与重复光谱配对,可能高估独立样品的数目,因此结果应结合具体基质和参考范围解释。
**4.2 掺假、污染与安全相关检测或水平估计**
此类分析的目标涉及非天然、欺诈或危险组分,输出可能是二元检测、掺假物类型分类、浓度回归或阈值判断。代表性研究包括在无麸质玉米面包中检测小麦粉,在椰子水中对多种糖类及甜味剂掺假物分类,在香菜粉中预测锯末掺假比例,使用CNN-变换器框架对三七掺假进行分类和定量,对小麦粉中脱氧雪腐镰刀菌烯醇(DON)进行可解释分类与预测,对辣椒粉中黄曲霉毒素B1(AFB1)进行筛查,以及结合微FT-IR成像对姜黄掺假进行化学计量筛选。多数验证依赖实验室制备样品的内部划分或CV,仅有部分研究使用市场样本或实验室间比较。
**4.3 理化性质与材料属性预测**
这类预测的目标来源于分子结构、官能团分布或整体材料行为,而非单一化合物含量。例如,利用ATR-FTIR光谱预测醋酸纤维素的取代度,基于核磁共振参考值建立校准;预测生物质热解油的不饱度、有效氢碳比、低位热值及元素组成;使用非负矩阵分解(NMF)和集成回归预测可持续航空燃料的沸点、闪点、冰点、密度和运动粘度;比较PCA辅助SVR、ANN和RF对类似燃料性质的预测性能。一项土壤性质研究显示,随机CV表现良好,但按行政区域留出验证时部分目标出现负R2,说明模型对新地区或新样本总体的外推能力有限,适用域对属性预测至关重要。
**4.4 过程、时间与状态依赖的预测与监测**
在此类应用中,目标随反应、处理、储存、年龄或阶段而变化。研究实例包括预测碳捕集溶剂中二氧化碳负荷及单乙醇胺组成,定量加热-冷却结晶过程中3-硝基-1,2,4-三唑-5-酮(NTO)浓度,使用FT-IR特征预测食品冻干曲线,以时间为目标估计骨骼肌伤口年龄,通过深度学习分类黄精的蒸晒阶段(同时使用FT-NIR和ATR-FTIR,属于多模式示例),以及将黑色凝胶墨水在三种环境条件下12个月的月龄作为分类目标。更综合的研究通过线性组合纯组分光谱生成模拟反应混合物,训练神经网络产率模型,并将实时在线FT-IR预测与闭环反应优化相结合。验证以CV或留出测试为主,外推或独立批次验证仍有限。
**5. 用于化学意义FT-IR光谱传感的可解释AI**
**5.1 为什么模型解释在分析上是必要的**
高预测性能并不能确保模型学到了目标特异信息。模型可能依赖与目标共变的基质特征、样品来源、批次或测量条件,而非直接的分析物信号。模型解释可帮助识别代理预测或伪影,判断模型关注区域是否与已知振动信息一致,并考察谱学基础的稳定性。必须区分模型解释、化学解释和因果证据:一个谱区被模型使用,仅证明其对该拟合模型行为有影响,并不自动表明该区域与目标存在独特的化学关联。
**5.2 一维光谱模型的XAI方法**
可解释性工具包括化学计量学输出(载荷、回归系数、变量重要性)、树集成重要性、Shapley加性解释(SHAP)和梯度加权类激活映射(Grad-CAM)。SHAP将单个预测分解为相对于参考输出的加性特征贡献,对高度相关的光谱,其结果依赖解释器、参考分布和特征依赖的处理方式。Grad-CAM对一维CNN将目标输出的梯度加权到卷积特征图,并投影至输入域。由于FT-IR光谱高度共线,应把相邻波数分组为光谱学上有意义的区域以得到稳定解释,同时需说明输入表示、预处理、解释方法和聚合水平。
**5.3 SHAP和Grad-CAM在FT-IR中的代表性应用**
SHAP已用于比较食用油在吸光度与二阶导数输入下分类决策的贡献谱区、识别影响小麦粉中DON预测的谱区、以及将微塑料分类与化学相关FT-IR区关联。XAI还可前瞻性地指导数据增强,例如根据聚合物特征指纹区生成增广数据。Grad-CAM已用于一维红外光谱的纸张来源分类,识别与羰基和纤维素振动相关的ATR-IR区域,以及用于多层复合膜厚度预测,并据此构建更紧凑的FT-IR-1D-CNN回归模型。不同解释方法并非可互换,当方法间一致时增强可信度,不一致则可能反映解释目标和假设差异。
**5.4 从光谱归因到化学落地解释**
特征归因并不等同于化学识别或因果性。重要的SHAP值、回归系数或激活信号可能来自相关基质组分、基线结构、水贡献、散射或预处理伪影。化学上可信的解释应在谱带或谱区层面开展:将模型相关区间映射至合理的振动归属,检查贡献方向是否与目标一致,评估解释在重采样、独立样本、预处理选择和合理模型替代下的稳定性,并尽可能利用纯组分谱、受控混合物或具有独立支持机制的实验进行检验。XAI应作为模型审计和假设生成的工具,而非自动化学鉴定。
**6. 迈向稳健FT-IR光谱传感的当前挑战与未来方向**
**6.1 数据代表性、验证、不确定性与光谱增强**
许多研究的限制是真正独立分析单元数量少。重复扫描、技术重复或同一批次的多次测量增加了光谱数量,但没有增加化学多样性。当相关光谱被分入训练和测试集时,性能会被夸大。验证设计应与声称的使用相匹配:样品级分割估计面向代表总体的性能,批次、来源、区域或仪器分层分割测试更严格的泛化轴。所有目标感知的预处理、变量选择、增强和超参数优化都必须留在训练工作流中。不确定性来自光谱重复性、样品呈现、参考值、模型拟合和外推,应构建数值不确定性预算。报告RMSEP/MAE、偏差、校准范围和参考精度,不应仅依赖相关系数。光谱增强可提高对合理变化的容忍度,但只应应用于开发数据,并保持化学与测量物理的一致性;合成数据不能替代独立化学多样性,外部适用性需要独立实验室间验证。
**6.2 光谱变异性、预处理稳健性、校准转移与迁移学习**
FT-IR光谱中温度、基线漂移、大气水二氧化碳、散射、ATR接触压力、光程和探测器响应等都会引入与目标无关的变化。温度尤其应控制或记录。预处理可减少一些变化,但也可能抑制浓度相关强度或放大噪声,因此应通过敏感性分析评估预处理选择对性能和模型关注区域的影响。校准转移用于处理仪器间系统差异,常用方法包括标准化、直接/分段直接标准化以及斜率和截距校正。迁移学习通过保留预训练特征提取器、部分或完全微调、域适应和参数高效方法(如低秩适应)来适应新域,但需与简单校准转移基线比较,并用独立目标域样本验证。目前尚无普遍最优的转移策略。
**6.3 化学可解释性、标准化报告与实际部署**
模型归因并不证明化学因果,解释应联系振动归属、参考谱和受控实验。需要标准化报告:说明独立样本数、技术重复、批次结构、采集条件、排除谱区、预处理序列和参数、模型结构、数据划分单元、优化流程和最终验证设计;区分内部、外部和仪器间验证,区分统计归因和光谱学解释。实际部署需要明确分析用途:筛查模型应报告阈值附近的敏感性、特异性和错误决策行为;定量模型应报告校准范围、偏差、精度、预测不确定性和适用域。还需质控样品、预测漂移监测、版本控制、预设再校准标准,以及将域外或模糊样品送给确认分析的程序。AI应支持而非遮蔽决策过程。
**7. 结论**
FT-IR作为快速、易获取的光谱传感平台,其分子指纹编码了组成、相互作用和材料状态。AI将信息从定性比较拓展至分类、定量校准、性质预测和动态监测。核心结论是:仅凭预测性能不足以证明分析可靠性。代表性样本和匹配声明的验证是确立泛化的前提,稳健预处理和校准转移维持跨条件的性能,化学可解释、不确定性感知和透明报告支撑可辩护的部署。未来研究应以方法为中心,结合代表性采样、无泄漏验证、不确定性评估和化学约束解释,使AI辅助FT-IR真正将分子指纹转化为定量、可解释且可迁移的化学传感信息。