基于双流交叉注意力门控框架的声学振动与光谱融合多品种桃子硬度预测方法
《Food Control》:Acoustic vibration and spectral fusion for multi-variety peach firmness prediction via a dual-stream cross-attention gating framework
【字体:
大
中
小
】
时间:2026年06月29日
来源:Food Control 7.0
编辑推荐:
吴秋晨|江博文|费树瑞|施涛|江学松|江洪哲|曲茂珍|王大辰|周洪平中国南京林业大学机械电子工程学院,南京210037摘要桃子的硬度是衡量果实质地、成熟度及保鲜期的关键指标。现有的单模态无损检测方法在多品种预测方面缺乏足够的精确度和稳定性。为解决这一难题,本研究利用激光多普勒振动
吴秋晨|江博文|费树瑞|施涛|江学松|江洪哲|曲茂珍|王大辰|周洪平中国南京林业大学机械电子工程学院,南京210037摘要桃子的硬度是衡量果实质地、成熟度及保鲜期的关键指标。现有的单模态无损检测方法在多品种预测方面缺乏足够的精确度和稳定性。为解决这一难题,本研究利用激光多普勒振动仪和可见光/近红外光谱仪采集桃子的多模态数据。进而提出了一种基于多模态声学振动与光谱数据的交叉注意力门控融合框架(CAGFusion)用于桃子硬度预测。该框架采用双流冻结骨干网络进行独立特征提取,多头跨模态注意力模块实现异构特征对齐与模态间交互,以及自适应门控融合头进行回归预测。实验结果表明,CAGFusion的性能优于单模态声学振动和光谱模型,其均方根误差分别为0.8457 N/mm和0.8703 N/mm。与决策级融合基准相比,CAGFusion的预测精度提升了5.0%。消融实验表明,去除自适应门控模块或跨模态注意力机制分别会使预测精度下降2.32%和3.68%,从而证明了各组件的关键作用。梯度加权类激活映射分析表明,声学振动和光谱数据能够捕捉与果实硬度相关的互补性物理化学信息。总体而言,本研究为多品种桃子的无损硬度评估提供了一种可行且具有通用性的多模态框架。引言桃子(Prunus persica (L.) Batsch)因其独特的风味和丰富的营养价值而广受青睐,这些营养素包括维生素、生物活性化合物以及矿物质(Bento等人,2022)。随着市场标准的不断提高,消费者对高质量水果的需求也日益增加。然而,桃子容易软化,且保鲜期较短。果实硬度是衡量桃子质量的关键指标(Bu等人,2025),它与果实的质地、成熟度及储存性密切相关(Guizani等人,2019)。在最佳硬度范围内采收的桃子通常具有更强的抗机械损伤能力,且保鲜期更长。Magness-Taylor(MT)穿刺试验是衡量硬度的标准方法,即用圆柱形探针压入果肉,记录破裂时的最大力值作为硬度值(Magness & Taylor,1925)。但MT方法属于破坏性检测,无法对同一样本进行多次测量。因此,在桃子的采后管理及品质分级中,无损硬度评估技术越来越受到重视。声学振动响应(AVR)和可见光/近红外(Vis/NIR)光谱分析是两种常用的无损果实硬度评估方法。声学振动方法通过分析果实在外力作用下的动态响应信号来评估硬度,并从中提取与力学特性相关的特征(Nouri & Abdanan Mehdizadeh,2024)。根据振动理论,果实可近似视为弹性球体,其共振频率与组织的弹性模量和质量之间存在明确的物理关系。Chen等人(2025)将黄肉桃的AVR转换为多域图像阵列,并将其与Swin Transformer架构结合用于硬度预测,取得了良好的预测效果。Vis/NIR光谱分析则从物理化学成分的角度来表征硬度。果实软化涉及细胞壁中的生化过程,包括果胶的溶解和降解以及半纤维素的分解(Peng等人,2022;Shi等人,2023)。细胞壁多糖(如果胶和半纤维素)富含C-H和O-H等分子键,Vis/NIR光谱对这些官能团具有高敏感性,因而能够间接反映与果实软化相关的化学成分变化,进而实现硬度检测(Uwadaira等人,2018)。不过,Vis/NIR光谱易受到果皮色素、叶绿素、蜡质表皮以及组织内部光线散射的干扰,从而影响模型的稳定性和泛化能力(Liu等人,2024)。相比之下,AVR从物理特性的角度为Vis/NIR光谱数据提供了补充信息(O’Brien等人,2024)。因此,整合多模态的AVR和Vis/NIR信号有望提升果实品质预测的准确性。Ding等人(2021)将AVR和Vis/NIR光谱融合用于西瓜硬度检测,结果表明这种融合方法比单一模态方法具有更高的预测精度。类似的研究也表明,多模态融合是克服单一模态检测瓶颈、实现高精度无损果实品质检测的有效途径(Guo等人,2025;He等人,2026)。根据融合发生的阶段,多模态融合策略通常可分为三类:数据级融合、特征级融合和决策级融合(Robert等人,2021)。数据级融合是在原始输入阶段直接将多个模态的信号拼接在一起,实现简单,但要求各模态之间的数据高度同质化(Strani等人,2024)。决策级融合则是先为每个模态构建独立的预测模型,然后再汇总这些模型的输出结果。由于这种融合主要是基于预测结果而非原始样本信息或中间特征表示,因此跨模态信息交互仅发生在输出层面(Guo等人,2024)。特征级融合则从各个数据源中提取并整合特征表示,相比直接拼接能降低维度。对于那些由不同仪器捕获不同物理参数的非同类传感器数据,这种方法尤为有效(Kodogiannis & Alshejari,2025)。Liu等人(2024)使用独立的编码器提取振动和Vis/NIR特征,再通过双输入MLP-Transformer将它们整合起来,从而实现了99.31%的苹果霉心病分类准确率,这一结果显著优于单模态及数据级拼接的基准方法,证明了该融合策略在声学振动与光谱数据整合方面的有效性。鉴于AVR和Vis/NIR光谱在采集机制、信号维度及物理语义方面存在显著差异,特征级融合是最合适的整合策略。然而,现有的特征级融合方法往往假设各模态的特征对预测结果的贡献是相同的,忽略了不同模态在信息丰富度和区分能力上的差异,这往往会导致某些模态占据主导地位(Xiao等人,2025)。为解决这一问题,本研究在交叉注意力融合之后引入了门控机制,以动态调节跨模态融合特征与原始单模态特征之间的平衡。基于上述研究进展,本研究提出了一种结合跨模态交互与样本级自适应门控的多模态融合建模策略,用于多种桃子的无损硬度预测。具体目标包括:(1)从多种桃子品种中采集AVR信号和Vis/NIR漫反射光谱,构建多模态数据集;(2)为每种模态开发单模态1D-CNN基准模型;(3)提出一种交叉注意力门控融合框架(CAGFusion),明确建模跨模态特征关联,并实现样本级自适应门控;(4)比较单模态模型与多模态模型的性能,并通过模块级消融实验阐明各组成部分的作用。材料部分本研究共收集了三个桃子(Prunus persica (L.) Batsch)品种的样本。具体而言,2024年9月从中国江苏省无锡市采集了128个‘Hujing’桃子,2024年11月从中国山东省烟台市龙口市采集了167个‘Jinqiuhong’桃子,2024年12月从中国云南省大理市采集了176个‘Dongxue’桃子。采收后,所有样本都被运送至实验地点。多品种桃子的振动与光谱分析为进一步了解不同桃子品种间的多模态响应差异,图5a展示了‘Hujing’、‘Jinqiuhong’和‘Dongxue’三个品种的平均AVR曲线。这三个品种都出现了明显的共振峰,‘Hujing’品种的第一和第二共振频率分别为841.7 Hz和1293.2 Hz,‘Jinqiuhong’品种分别为900.3 Hz和1401.9 Hz,而‘Dongxue’品种则为665.7 Hz和1403.8 Hz。总体而言,随着样本硬度的增加,f2频率呈上升趋势,而f1频率则……讨论本研究证明了AVR和Vis/NIR光谱在多品种桃子无损硬度预测中的互补性。融合模型相较于单模态基准模型的性能提升表明,跨模态信息并非简单叠加,而是被转化为更具泛化能力的回归预测特征。 Specifically,跨模态注意力机制建立了振动特征与光谱特征之间的明确关联,而样本自适应门控机制则……结论本研究提出了一种名为CAGFusion的多模态硬度预测框架,该框架通过整合AVR和Vis/NIR光谱,实现对多品种桃子的无损硬度评估。该框架结合了用于单模态特征提取的双流冻结骨干网络、用于异构特征交互的多头跨模态注意力模块,以及用于回归预测的自适应门控头。实验结果表明,多模态融合策略比单一模态策略更能有效提升预测精度。CRediT作者贡献声明费树瑞:验证、软件、形式分析。施涛:写作——审阅与编辑、形式分析。江学松:写作——审阅与编辑、指导、资源提供。江洪哲:可视化、资金获取。吴秋晨:写作——初稿撰写、验证、软件、形式分析。江博文:研究调查、形式分析、数据整理。曲茂珍:研究调查、形式分析。王大辰:写作——审阅与编辑、验证、指导、资金获取、数据整理。未引用参考文献Chen等人,2024;Liu等人,2024。利益冲突声明? 作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。致谢作者衷心感谢江苏省自然科学基金(项目编号BK20240682)、江苏省高等学校自然科学基金(项目编号24KJB210014)、国家自然科学基金(项目编号32502338)以及江苏省农业科技创新基金(项目编号CX(24)3051)对这项工作的支持。同时,作者也要感谢本文中提及的所有参考文献作者以及匿名审稿人。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号