基于可见光-近红外与短波红外(VNIR-SWIR)高光谱融合的多任务检测 method:以水果产地-品类鉴别与碰伤检测为例

《Foods》:VNIR-SWIR Hyperspectral Fusion-Based Multi-Task Detection Method: A Case Study on Fruit Origin-Category Authentication and Bruise Detection

【字体: 大 中 小 】 时间:2026年07月05日 来源:Foods 6.0

编辑推荐:

  摘要:人工智能辅助食品检测正逐渐从单任务分类向集成分析系统发展,该类系统能够基于单一传感工作流程产生多种品质相关输出。然而,大多数高光谱食品检测研究仍依赖单一光谱范围或简单的特征拼接,限制了其对异质传感器互补理化信息的利用。本研究提出一种人工智能赋能的可见光–

  
摘要:人工智能辅助食品检测正逐渐从单任务分类向集成分析系统发展,该类系统能够基于单一传感工作流程产生多种品质相关输出。然而,大多数高光谱食品检测研究仍依赖单一光谱范围或简单的特征拼接,限制了其对异质传感器互补理化信息的利用。本研究提出一种人工智能赋能的可见光–近红外与短波红外(Visible-Near Infrared–Short Wave Infrared, VNIR-SWIR)高光谱融合框架,用于水果多任务检测,以产地认证(origin authentication)和碰伤(bruise)定位为代表性任务。该方法首先从高分辨率VNIR图像和低分辨率SWIR图像构建观测一致(observation-consistent)的融合表示。采用协同光谱解混(collaborative spectral unmixing)耦合跨模态物质分布,并引入丰度一致性(abundance-consistency)和下采样观测一致性(downsampled observation-consistency)约束,在未假设存在实测高分辨率SWIR真值的前提下,在VNIR空间网格上估计含SWIR信息的特征。随后,融合表示经由共享的空谱深度编码器处理,并连接两个任务专属头:用于产地认证的果实级分类头及用于碰伤检测的像素级分割头。苹果与猕猴桃数据集实验表明,在五种果实级分层随机划分下,所提方法优于仅VNIR、仅SWIR、双三次(bicubic)融合、CNMF式融合及全变分(Total Variation, TV)正则化融合基线。对于产地–品类认证,所提方法在苹果上准确率达约93.85%,在猕猴桃上达约94.35%。对于碰伤定位,所提方法在各果品类别上均获得更高的总体精度(Overall Accuracy, OA)、平均精度(Average Accuracy, AA)和Cohen's Kappa系数。
论文解读:基于VNIR-SWIR高光谱融合的多任务水果产地–品类认证与碰伤检测研究
研究背景与意义
人工智能辅助食品检测正从单一品质指标判别向一体化多输出分析系统演进。高光谱成像(Hyperspectral Imaging, HSI)可同时获取被测物的空间与连续窄波段光谱信息,适合无损检测。可见光–近红外(VNIR, 400–1000 nm)对色素、果皮颜色及表面散射敏感,可反映品种、成熟度与产地背景;短波红外(SWIR, 1000–2500 nm)对水、碳水化合物、干物质及有机基质吸收更敏感,与内部组织属性和碰伤引起的变化密切相关。然而现有研究多局限于单一光谱段、简单波段拼接或独立任务建模,且VNIR与SWIR传感器在空间分辨率、光谱响应及采集几何上存在差异,直接融合易导致配准误差放大和伪影,尤其影响像素级碰伤分割。此外,缺乏将双传感器融合构建为观测一致表示学习问题、并与多任务学习(Multi-Task Learning, MTL)框架结合的研究。该研究在《Foods》发表,提出一种观测一致的VNIR-SWIR协同光谱解混融合框架驱动多任务网络,同步实现果实级产地–品类认证(origin-category authentication)与像素级碰伤(bruise)定位,验证互补光谱信息与物理约束融合对集成化果蔬品质无损检测的价值。
主要关键技术方法
研究人员选用苹果(4个产地–品类:陕西秦阳、陕西洛川红富士、栖霞红富士、甘肃天水花牛,共约800果)与猕猴桃(4个产地–品类:瑞玉、四川红心、徐香、陕西周至金福)为样本队列。碰伤由钢球自由落体撞击诱导,3 min后采集VNIR(SPECIM FX10, 400–1000 nm, 224波段, 1024×像素, 8 μm像元)与SWIR(SPECIM SWIR, 1000–2500 nm, 273波段, 384×像素, 24 μm像元)线推扫高光谱图像,经暗电流与白板辐射定标。SWIR经仿射变换配准并重采样至VNIR网格。融合模块基于协同线性混合模型(Linear Mixing Model, LMM)做协同光谱解混(collaborative spectral unmixing),设端元数P=5,VNIR与SWIR共享丰度矩阵(abundance matrix)并施加丰度一致性约束,以VNIR引导SWIR超分辨率重建,引入下采样观测一致性(downsampled observation-consistency, 重建SWIR经面积下采样须吻合实测低分辨率SWIR)与全变分(Total Variation, TV)正则抑制伪影,经轻量残差精炼网络得VNIR网格上含SWIR信息的估计分量,与定标VNIR波段拼接成虚拟全谱融合立方体。多任务网络以3D卷积提取空谱特征、Transformer建模长程波段依赖作为共享编码器;果级分类头对空间全局平均池化后接MLP做交叉熵损失;碰伤分割头以浅卷积解码做加权二值交叉熵(bruise类权重5.0),引入中心–邻域余弦自相似重加权。融合模块先无监督预训练,再固定生成融合输入训练多任务网络,同果所有像素/块严格同属一划分以防泄露,采用果实级分层重复随机拆分与早停。
研究结果
3.1 光谱分析(Spectral Analysis)
研究人员综述文献指出VNIR区间关联色素、成熟度及表皮散射,利于产地–品类差异;SWIR区间关联水分、糖分及细胞破裂致碰伤后吸收变化,两波段范围具互补机理,为VNIR-SWIR融合提供理化依据。
3.2 融合驱动重建质量(Quality of Fusion-Driven Reconstruction)
重建高分辨率SWIR估计经面积下采样后与实测SWIR比较,验证集RMSE=0.0217±0.0043,光谱角制图(Spectral Angle Mapper, SAM)=3.42°±0.76°,表明重建SWIR在光谱上忠实于实测低分辨率观测且继承VNIR空间结构,融合立方体为具物理约束的重建辅助拼接而非简单插值。
3.3 多任务性能——产地–品类认证与碰伤检测(Multi-Task Performance on Origin-Category Authentication and Bruise Detection)
—产地–品类认证:在相同骨干网络输入对比实验中,融合输入使苹果准确率由90.52±1.15%提升至93.85±0.75%,猕猴桃由91.20±1.25%提升至94.35±0.65%;各类别精确率、召回率及宏平均F1(Macro-F1)均提升,混淆矩阵对角占优增强,残余误分集中于光谱相似产地–品类间,证明VNIR-SWIR融合拓宽全局指纹信息改善类别区分。
—碰伤检测:扩展指标下,苹果碰伤分割F1/Dice=93.41±0.92%,AUPRC=0.958±0.008;猕猴桃F1/Dice=94.26±0.83%,AUPRC=0.965±0.006;总体精度(OA)、平均精度(AA)及Cohen's Kappa均优于仅VNIR输入、双三次融合法及SVM/1D-CNN基线,可视化显示所提方法边界保持佳、健康组织少误判、相邻损伤间隙分辨改善,说明SWIR吸收线索结合VNIR高空间网格提升弱对比组织损伤检出。
3.4 双源融合设置的消融实验(Ablation of the Dual-Source Fusion Setting)
去除观测一致性约束导致产地认证与碰伤检测性能降幅最大,其次为丰度一致性约束与精炼残差块,证实各约束协同保障融合表示光谱可靠与空间保真,观测一致性尤为关键。
3.5 统计稳健性与同骨干输入对比分析(Statistical Robustness and Same-Backbone Input Comparison Analysis)
五次重复分层随机拆分结果表明所提一致性融合显著优于仅VNIR、双三次融合法及典型解混(CNMF)与TV正则融合基线,性能提升具统计稳健性。
3.6 讨论(Discussion)
研究人员指出观测一致性约束防止重建SWIR偏离实测,VNIR提供表观空间细节、SWIR提供内部成分吸收互补信息;共享空谱编码器使产地认证所需的全局指纹与碰伤检测所需的局部异常特征互利;丰度一致性维护跨模态结构对应,TV正则抑伪振。局限含重建SWIR非直接实测、产地–品类为预设类别非完全真实溯源、碰伤为可控撞击而非自然碰伤,需在多季节多产地自然碰伤及在线检测中拓展验证。
结论(Conclusions)翻译
本研究提出一种观测一致的VNIR-SWIR高光谱融合框架,用于多任务无损水果检测,以产地–品类认证和碰伤定位为代表性任务。该方法通过协同光谱解混、丰度一致性、观测一致性及轻量精炼,在VNIR空间网格上构建含SWIR信息的表示,避免将异质双传感器数据简单视为波段拼接,强调物理约束表示学习。实验证明该融合驱动的多任务框架比单波段输入、简单插值融合及典型高光谱融合基线提供更有效的空谱表示。单任务与多任务对比进一步表明共享空谱编码对异质果实级与像素级检测具一致增益。组分消融确认丰度一致性、观测一致性和精炼块对构建可靠融合表示的重要性。总体而言,本工作展示了一致性约束VNIR-SWIR高光谱融合在集成食品品质检测中的潜力,可从统一传感与学习流程同时生成样本级分类输出与像素级缺陷图。但本研究仍属基于选定果品类别与诱导碰伤条件的受控案例研究,未来应将验证扩展至更多季节、果园、品种、自然碰伤情景及在线检测环境。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号