《Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy》:Spectral-tokenized prompting of pretrained transformers for industrial NIR hyperspectral impurity segmentation
编辑推荐:
•STPT弥合了工业近红外高光谱分割中的光谱-空间不匹配问题。•将全谱线索进行标记化处理,以提示一个冻结的视觉编码器。•可靠性感知的解码缓解了光谱噪声和类别不平衡问题。•STPT在烟草分拣中实现了0.6949的IoU和58.48 ms的推理时间。引言工业杂质分拣是烟梗加工中一
- •
STPT弥合了工业近红外高光谱分割中的光谱-空间不匹配问题。
- •
将全谱线索进行标记化处理,以提示一个冻结的视觉编码器。
- •
可靠性感知的解码缓解了光谱噪声和类别不平衡问题。
- •
STPT在烟草分拣中实现了0.6949的IoU和58.48 ms的推理时间。
引言
工业杂质分拣是烟梗加工中一个关键的质量控制环节,需要将塑料、橡胶、纸屑、纤维及其他污染物等异物从高吞吐量物料流中识别并去除[1], [2]。在实际操作中,许多外来杂质表现出与烟梗高度相似的视觉特征,包括颜色、纹理和细长形状,使得仅通过人工目视或常规RGB摄像头难以将其区分[1], [3], [4]。在此背景下,近红外高光谱成像(NIR-HSI)因其能够提供逐像素光谱信息,编码了与材料相关的吸收特性,从而实现了超越可见纹理或颜色的判别能力,成为极具吸引力的感知模态[5], [6], [7], [8]。
尽管具有高光谱分割模型的诊断潜力,但将其部署于工业环境仍面临诸多挑战[9]。高光谱测量本质上具有高维度且常存在冗余,而其有效信息内容可能因传感器噪声、光照漂移、散射效应、光谱响应重叠以及复杂背景而受损[10], [11], [12]。此外,像素级标注成本高昂,因为除了空间上下文之外,通常还需要专家对光谱特征进行解读。这些实际约束与传送带系统及其他快速光谱检测场景中的严格实时要求相互叠加,端到端延迟(包括预处理和后处理)必须控制在极窄的预算范围内[13]。因此,实际的挑战不在于实现高离线精度,而在于在标注有限、长尾分布和实时约束下维持稳定可靠的分割效果[14]。
我们认为,一个更根本的障碍在于高光谱信号与现代预训练视觉模型之间的结构性不匹配。高光谱数据通过连续的高维光谱响应来表征材料,而广泛使用的预训练骨干网络——尤其是基于Transformer的编码器——则是针对RGB图像等低维度、外观为中心输入进行优化的[15]。为了利用预训练的空间先验,高光谱立方体通常被压缩为伪RGB表示(如PCA),或被当作多通道图像处理。然而,此类压缩可能丢弃微妙但具有诊断意义的光谱变化,而这些变化恰恰是区分视觉上相似材料所必需的[16]。相反,从头训练重型光谱-空间网络可以改善光谱利用率,但会增加计算负担,且在专家标注稀缺时容易产生过拟合[17]。在工业杂质分割中,这种光谱-空间不匹配被进一步放大,因为相对于背景而言,杂质像素极为稀少[18]。在严重类别不平衡的情况下,主要依赖空间线索的模型倾向于将预测结果"收缩"向占主导的背景,这对于细长或低对比度的杂质尤为不利,并导致漏检。
现有方法大致可分为两大范式,均受到上述不匹配的制约[19]。经典化学计量学和传统机器学习方法能够显式利用光谱信息并捕捉材料可分性,但它们通常以逐像素方式应用,缺乏空间连贯性机制,导致分割掩膜碎片化且对背景杂乱敏感[20]。另一方面,深度分割网络提供了强大的空间建模能力,可以输出连贯区域,但许多方法将高光谱输入视为普通多通道图像或操作于压缩后的表示上,隐式地假定光谱信息可以被空间架构所吸收[21], [22]。在实践中,当光谱必须在视觉模糊条件下提供决定性证据,且训练数据有限且呈长尾分布时,这些假定将不再成立[23]。
为在工业约束下弥合光谱-空间不匹配,我们提出了一种光谱提示视角:不再迫使预训练空间编码器直接建模高维光谱,而是利用全谱信息生成紧凑的、与材料相关的提示标记(prompt tokens),从而引导空间特征提取[24], [25]。在此视角下,光谱信息充当条件线索,查询或引导空间嵌入空间,帮助模型保留光谱一致的杂质候选区域,同时受益于稳健的预训练空间先验。由于提示路径轻量化,它避免了重型光谱-空间骨干网络的计算成本,并在专家标注稀缺时降低了过拟合风险[26]。此外,可以集成可靠性感知的解码与细化策略,以在光谱噪声和类别不平衡下稳定预测,提高分割掩膜在线分拣中的实用性。
本工作的主要贡献总结如下。第一,我们将工业高光谱杂质分割重新定义为在严重类别不平衡和实时约束下的光谱-空间不匹配问题,为传统光谱流水线的局限性以及预训练视觉模型的简单适配提供了结构性解释。第二,我们提出了一种光谱标记化提示策略,以高效且有原则的方式将全谱材料线索注入预训练的空间表示中,使高光谱测量与现代视觉骨干网络之间能够进行有效交互,而无需依赖重型光谱-空间架构。第三,我们在真实工业NIR-HSI数据上进行了系统的实验验证,包括与代表性基线的比较、敏感性分析和消融实验,以量化光谱提示和细化机制在实现稳健且可部署的杂质分割中的作用。
章节摘要
高光谱成像系统与数据集准备
本研究使用的高光谱数据集采集自一条用于在线杂质检测和去除的工业烟梗分拣线,如图1所示。该系统将物料输送、传送带运输、近红外高光谱成像以及下游喷阀去除整合为一个连续的生产流程。在工作过程中,混合烟梗和异物在传送带上经过NIR-HSI摄像头下方,线扫描
评价指标
我们使用五种标准指标对分割性能进行定量评估。所有评估均基于二值杂质前景掩膜:将11种外来杂质类别作为目标杂质区域,而烟梗和背景像素被视为非杂质区域。
1) IoU(交并比):其中为预测掩膜,为真实标注掩膜。IoU越高(范围0到1)表示分割重叠越好(1.0表示完
讨论
本研究探讨了工业烟草分拣场景中高光谱杂质分割的挑战,特别关注当高维NIR光谱与预训练空间编码器结合时所产生的光谱-空间不匹配问题。为解决该问题,我们提出了一种基于光谱提示的框架,有效地将全谱线索整合进轻量级分割流水线。实验结果表明,STPT取得了更优的
结论
本文提出了光谱标记化提示Transformer(STPT),一种用于工业烟草分拣中高光谱杂质分割的轻量级实用框架。通过将全谱信息编码为紧凑的提示标记,并通过基于注意力的融合将其与预训练的视觉Transformer相结合,STPT有效地弥合了限制RGB预训练模型应用于高光谱数据的光谱-空间不匹配问题。
在大量实验
基金
本研究受江苏省研究生科研与实践创新计划资助(项目编号:KYCX25_1394)。
利益冲突声明
作者声明不存在已知可能影响本文所述工作的竞争性经济利益或个人关系。
薛晟|李振业|李宁然|王东益|费一岐|陈增涛|朱婷婷|倪超