基于高光谱成像与几何影响校正及深度学习技术的无损检测——以水果早期碰伤检测为例

《Current Research in Food Science》:Hyperspectral non-destructive detection based on geometrical influence correction and deep learning technology: A case study on early bruise detection in fruits

【字体: 大 中 小 】 时间:2026年06月08日 来源:Current Research in Food Science 7

编辑推荐:

  高光谱成像(Hyperspectral Imaging, HSI)因能捕获由组织结构和化学成分变化引起的光谱差异,被广泛用于水果无损检测。然而,水果曲面几何形状的变化常引入非结构性光谱畸变,降低检测精度并限制模型泛化能力。为解决光照—几何—光谱耦合带来的不利影

  
高光谱成像(Hyperspectral Imaging, HSI)因能捕获由组织结构和化学成分变化引起的光谱差异,被广泛用于水果无损检测。然而,水果曲面几何形状的变化常引入非结构性光谱畸变,降低检测精度并限制模型泛化能力。为解决光照—几何—光谱耦合带来的不利影响,研究人员提出一种融合高SI与三维(Three-Dimensional, 3D)点云数据、基于本征分解(Intrinsic Decomposition)几何影响校正的水果碰伤检测框架。首先从3D点云中提取像素级表面法线(Surface Normal)和光照特征,联合获取光谱与几何信息;随后设计双分支编码器—解码器(Encoder-Decoder)网络,融入点云几何约束,将观测光谱解耦为本征反射率(Intrinsic Reflectance)分量和光照(Illumination/Shading)分量;最后利用本征反射率图像构建碰伤检测模型,实现果面碰伤区域的像素级识别。实验结果表明,该方法在保持光谱结构一致性的同时显著增强了碰伤区域的可分性。与基于原始光谱数据的模型相比,所提方法提高了检测准确率并提升了碰伤区域的召回率(Recall)。该框架为HSI检测提供了一种新颖的基于物理的解耦机制,在抑制由水果表面几何变化引起的非结构性光谱变异方面具有明显优势。
《基于几何影响校正与深度学习技术的高光谱无损检测——以水果早期碰伤检测为例》论文解读
该研究发表于《Current Research in Food Science》。水果在采收、搬运及运输过程中易受机械撞击导致内部组织损伤,不仅影响外观和风味,还缩短货架期并降低商品价值,因此实现表面碰伤的及时可靠检测是现代农技领域的重大挑战。传统人工检视或机器视觉方案存在精度不足、环境鲁棒性差及处理速度低等局限。高光谱成像(Hyperspectral Imaging, HSI)可提供数百个波段的连续光谱信息,敏感捕捉机械损伤诱导的细微结构与生化改变,是颇具前景的碰伤检测手段。但大多数水果天然具有弯曲且异质的表面形态,使实测光谱受表面朝向、局部曲率、光照分布及光散射路径共同影响,导致相同组织在果面不同位置呈现显著差异光谱响应,产生与碰伤状态无关的非结构性光谱变异。这种几何—光照耦合引致的畸变尤其不利于早期碰伤检测——因为健康与碰伤组织的光谱差异微弱,易被掩盖。现有基于支持向量机、卷积神经网络(Convolutional Neural Network, CNN)的深度学习方法多需大量数据且仍受表面曲率干扰,常用主成分分析(Principal Component Analysis, PCA)等预处理手段在果面几何多变时效果锐减。虽有研究将HSI与三维(Three-Dimensional, 3D)点云融合做像素级曲率与散射路径校正,但多数仅将几何线索作为预处理附加步骤,未深入挖掘光谱与几何信息的深层耦合关系,复杂阴影下畸变误差仍存。为此,研究人员开展此项研究,旨在通过HSI配准3D点云数据,在几何引导下将被观测高光谱信号分离为反射率与阴影分量,抑制果面曲面与光照变化导致的非结构性光谱畸变并保留碰伤相关光谱特征,最终基于恢复的本征反射率进行像素级早期碰伤检测,实验证明该方法有效提升检测性能与模型泛化能力,为水果品质检测提供了基于物理意义解耦的新思路。
研究人员为开展研究采用以下关键技术方法:选用富士苹果(陕西洛川)与秋月梨(山东胶东)各100个共200个形状规整果实样本,以垂直导向装置控制AGCr15钢球以2.5±0.1 m/s速度撞击果面制造碰伤;使用SPECIM FX10推扫式系统采集400–1000 nm(224波段)高光谱图像,并用ORBBEC Gemini 2XL深度相机同步采集3D点云;经暗电流与白板校正后,选取黑白标定板对比度最大波段做2D–3D特征点匹配,通过PnP(Perspective-n-Point)算法与RANSAC(Random Sample Consensus)求解点云到相机坐标系的旋转矩阵与平移向量完成配准;构建几何引导的双分支编解码网络,高光谱编码器用堆叠3D卷积提取空—谱特征,点云编码器用多层感知机(Multilayer Perceptron, MLP)与最大池化编码表面法线与曲率,特征通道拼接融合并分别解码出对数域下的本征反射率与阴影分量,训练中施加谱一致性重构、法线感知空间平滑及图正则化三项物理约束损失;对恢复反射率做Z-score归一化后输入随机森林(Random Forest, RF)分类器(以基尼不纯度Gini Impurity为分裂准则、Bootstrap抽样建树、多数投票输出),按7:3划分训练测试集并以网格搜索调优超参数,80%/20%划分做验证并采用早停策略与余弦退火学习率调度,重复实验20次取均值评估结果。
3.1. Geometry-aware reflectance recovery results(几何感知反射率恢复结果)
通过对比原始高光谱图像、恢复的本征反射率图像及代表性波长下绝对误差图,发现恢复反射率在保持原始光谱结构高度一致性的同时,削弱了由曲面光照效应导致的局部强度变化;误差图显示重建误差总体较低且集中于物体边界。进一步对比同波长下恢复的反射率分量与阴影分量,可见反射率图像中表面纹理及碰伤相关空间模式得以良好保留,而阴影分量主要捕获果面光照分布;恢复反射率既维持整体光谱保真度又增强碰伤与健康区域对比度,表明该方法在抑制非结构性光谱干扰的同时保留了碰伤相关信息。
3.2. Spectral discriminability of recovered reflectance(恢复反射率的光谱可分辨性)
3.2.1. Inter-class separability of recovered reflectance(恢复反射率的类间可分离性)
原始数据中健康与碰伤区域光谱曲线在可见光至近红外范围仅有中等差异且多处波段大幅重叠,类间平均差异为0.033775,欧氏距离为0.571368,曼哈顿距离为7.565684;恢复反射率使类间平均差异升至0.181448,最大与最小类间差异分别从0.058690和0.001542升至0.222831和0.140733,欧氏距离升至2.728907,曼哈顿距离升至40.644432,且在可见光早期波段、过渡波段及短波红外波段均保持更高类间差异,证实反射率恢复有效放大碰伤相关光谱差异并抑制几何与光照干扰。
3.2.2. Intra-class consistency of recovered reflectance(恢复反射率的类内一致性)
原始数据健康区域平均类内方差为0.007086、平均类内欧氏距离为1.045999,碰伤区域分别为0.004028和0.860446;恢复反射率使健康区域降至0.001392和0.479230,碰伤区域降至0.000080和0.117915,平均标准差与变异系数亦显著降低,光谱分布更紧凑、波动更小,说明恢复反射率有效压制了非均匀光照、曲面及局部纹理变化引发的非结构性波动。
3.3. Early bruise detection performance(早期碰伤检测性能)
苹果样本上,原始高SI数据测试集准确率83.72%、交叉验证准确率82.15%、碰伤召回率68.34%、F1值0.724;基于恢复本征反射率测试集准确率升至91.45%(+7.73%)、交叉验证准确率90.83%(+8.68%)、碰伤召回率85.12%(+16.78%)、F1值0.881(+0.157),可视化结果漏检与误判减少且与真值吻合更好。梨样本上,原始数据测试集准确率84.73%、交叉验证83.91%、碰伤召回率仅47.83%、F1值0.563;恢复反射率使测试集准确率90.25%(+5.52%)、交叉验证89.82%(+5.91%)、碰伤召回率大幅提升至81.92%(+34.09%)、F1值0.847(+0.284)。恢复反射率在多指标上一致优于原始高光谱数据,证明所提光谱校正策略提升光谱一致性与类别可分性,增强水果早期碰伤检测可靠性。
3.4. Discussion(讨论)
实验证明融合配准3D点云数据的HSI可有效改善水果早期碰伤检测;该框架明确考量果面几何形态对光谱校正的影响而非将其简单视为噪声,在几何引导下恢复反射率降低了曲面与光照变化影响,提升类间可分性与类内一致性。恢复反射率较原始数据为苹果与梨提供更稳定的组织光谱表征,检测准确率与碰伤召回率均有提高,表明几何感知反射率恢复可作为水果高光谱品质检测的预处理与表征策略。但本研究在相对受控实验条件下开展且仅涉及两种水果,需在更多水果品种、表面属性及光照条件下广泛验证;此外需进一步提升框架计算效率以满足在线或实时实际应用需求。
Conclusions and future work(结论与展望)
为解决果面几何变化引起的高光谱水果检测光谱畸变,研究人员提出融合HSI与配准3D点云数据的几何感知框架,通过在几何引导下恢复反射率降低曲面与光照变化导致的非结构性光谱畸变,为检测提供改进的光谱特征。苹果与梨早期碰伤检测实验表明,恢复的本征反射率在测试准确率与碰伤召回率上均优于原始高光谱数据,证明该框架在稳健水果品质检测方面具备潜力。未来研究应聚焦于更多水果种类与成像条件下的方法验证,以及提升其效率以适应实际在线应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号