利用基于声学振动信号的双输入卷积神经网络-Transformer(DCNNT)对“黄冠”梨的硬度进行预测
《Journal of Food Composition and Analysis》:Firmness prediction of 'Huangguan' pear using a dual-input CNN-Transformer (DCNNT) based on acoustic vibration signals
【字体:
大
中
小
】
时间:2026年03月28日
来源:Journal of Food Composition and Analysis 4.6
编辑推荐:
李彦兵|雷德祥|刘志|刘彦德|陈楠
华东交通大学水果智能光电检测技术及装备国家与地方联合工程研究中心,南昌330000,中华人民共和国
摘要
硬度是梨果质地特性的关键质量因素,与成熟度和口感密切相关。在本研究中,借助一种创新的声学振动装置,收集了梨样的声学振动信号。
李彦兵|雷德祥|刘志|刘彦德|陈楠
华东交通大学水果智能光电检测技术及装备国家与地方联合工程研究中心,南昌330000,中华人民共和国
摘要
硬度是梨果质地特性的关键质量因素,与成熟度和口感密切相关。在本研究中,借助一种创新的声学振动装置,收集了梨样的声学振动信号。研究探讨了利用水果声学振动信号结合双输入卷积神经网络-Transformer(DCNNT)预测梨硬度的可行性。基于不同的训练数据集,将DCNNT预测梨硬度的性能与几种代表性深度学习模型(MobileNet、ResNet和Transformer)以及传统方法(如偏最小二乘法(PLS)和支持向量回归(SVR)进行了比较。结果表明,结合声学和振动信号的模型在预测效果上优于仅依赖声学或振动信号的模式。深度学习模型(DCNNT、MobileNet、ResNet和Transformer)在性能上优于传统的化学计量模型(PLS和SVR)。具体而言,DCNNT模型在预测梨硬度方面的表现最佳,其R2T、RMSET和RPDT分别为0.958、0.522 N/mm和5.091。
1. 引言
硬度是评估梨果内部质量的关键因素,与其果肉的物理结构和机械特性密切相关(Ding等人,2021;Li等人,2011)。准确测量梨的硬度对于确定最佳采收时间、产后储存、产品分级以及相关水果加工机械的设计至关重要。对于生产者而言,梨的硬度与成熟度的密切关系可用于确定最佳采收时机(Guo等人,2015)。对于销售商来说,硬度决定了梨的运输和包装方式及储存条件(Castellanos等人,2016;Saquet,2019)。对于消费者而言,适当的梨硬度意味着更好的口感和更长的保质期(Ding等人,2021)。因此,开发非破坏性和可靠的水果硬度检测技术至关重要,因为它为水果供应链的管理提供了可量化的参考。为了准确客观地评估水果硬度,已经开发了多种破坏性和非破坏性方法。破坏性方法主要涉及对水果施加压力和穿刺以获取评估硬度的相关机械参数,例如使用硬度计(Padda等人,2011)和穿透仪(用于Magness-Taylor穿刺测试)(Kim等人,2022)。然而,破坏性水果硬度测试方法存在许多局限性,包括耗时、劳动密集、浪费样品以及不适合大规模测试。因此,研究人员提出了多种非破坏性硬度评估技术,包括光谱学(Yu和Yao,2022)、超声波(Liu等人,2022)、高光谱(Yang等人,2024)、声学振动(Ding等人,2020;Nan等人,2025)、触觉(Lin等人,2023)等。其中,声学振动方法由于其简单性、快速性和适合在线分选的特点,成为最常用的非破坏性评估整果硬度的技...
2. 材料与方法
2.1. 梨样制备
2024年2月6日,在中国江西省南昌市共采集了520个名为“黄冠”的梨品种。由于运输过程中受到严重碰伤而影响储存性的样品被排除在最终样本集之外。剔除5个受损样品后,共有515个梨样编号。随后,将梨样存放在15°C和相对湿度80-90%的冷藏环境中。表1列出了梨的物理特性。在56天的实验期内,每14天对103个样本进行一次声学和振动信号、参考硬度和重量测量。一些样本最初仅出现轻微的可见碰伤,但在储存过程中出现了可见的碰伤,也被排除在实验样本之外。最终,共有508个样本用于声学振动、硬度和重量测量。
2.2. 信号采集与处理
图1展示了自开发的声学振动检测系统的组成。该装置主要包括作为激励源的共振扬声器(S8BT,Anything Speaker),其基座内集成了功率放大器和电池;用于收集振动信号的微型LDV(LV-M200,Sunnyoptical,中国);以及用于捕获声音信号的麦克风(INV9206,COINV,中国)。在检测过程中,将梨放置在一个橡胶制成的水果托盘中,并固定在共振扬声器上。然后,计算机生成一个频率范围为100-1500 Hz的正弦扫描信号,该信号传输到共振扬声器以引起梨的振动。表面振动响应信号XV由微型LDV测量,而声学响应信号XS由麦克风捕获。这些信号通过数据采集卡(INV3060V,COINV,中国)传输到计算机进行存储。为了获得最佳的信噪比(SNR),优化了频率扫描速度、输出增益和梨的放置方向(三种方向:梨柄向上、梨萼向上、梨柄-萼水平)。参数优化过程详见参考文献(Zhang等人,2015b)。优化后,频率扫描持续时间设定为1秒,采样频率设定为8192 Hz,输出增益设定为0.12,梨的放置方式为梨柄-萼水平。为了减少外部振动对水果振动响应的影响,实验装置放置在一个聚酯纤维声学垫上。实验在无外部噪声干扰的安静房间环境中进行。
2.3. 梨硬度的参考测量
完成声学振动测量后,使用电子天平(BA6002,杭州Qiuea科技有限公司,中国)获取梨的重量。使用质地分析仪(TMS-PRO,FTC,美国)在沿梨赤道等距设置的点上测量硬度。通过将直径为5 mm的圆柱探头以每秒1 mm的速度插入样本8 mm深处,获得三次力-位移曲线。根据现有研究(Wang等人,2023),水果的MT硬度、果肉硬度(FF)和刚度(Stif)都可以作为评估水果质地的硬度指标。参考文献(2014;Zhang等人,2014;Zhang等人,2015a,b)使用了这三个硬度指标对产后梨的质量进行了全面评估和比较(包括四种不同的梨品种,本研究中使用的黄冠梨也在其中)。研究表明,Stif随着储存时间的增加而呈现相对线性且稳定的下降趋势,变化范围较广,因此更适合作为评估梨的新鲜度、储存寿命和剩余保质期的硬度指标。因此,本研究采用Stif作为硬度指标。Stif硬度值是通过计算曲线的起点和终点的斜率来确定(图2),三个测量参考硬度的平均值被视为实际参考硬度。
2.4. 建模方法
2.4.1. 深度学习
本研究建立了基于Transformer和CNN的双输入CNN-Transformer(DCNNT)模型来预测梨的硬度。DCNNT模型的结构如图3所示。CNN是一种监督式神经网络,其优势在于能够提取局部特征;然而,在提取全局特征方面存在一定局限性。Transformer能够有效捕获全局特征,将卷积神经网络与Transformer结合使用可以充分提取声学振动信号中的特征信息,从而提高模型性能。DCNNT模型结构概述。一维振动谱和声学谱分别作为DCNNT的输入1和输入2。在振动谱和声学谱数据的分析处理中,采用了双层变换器编码器模块来提取两组数据的全局特征。随后,变换器编码器模块提取的特征将被输入到注意力特征融合(AFF)模块(Dai等人,2021年),以整合提取的特征。AFF模块通过引入注意力机制来整合不同通道的特征,从而充分利用各个层次的语义信息,使网络能够更好地理解输入数据。声学和振动数据特征的双重输入提高了任务性能。融合的特征被输入到两个瓶颈块和两层变换器编码器模块中进行后续分析和处理,旨在提取更深入的特征。最后,经过线性层后,输出预测的硬度值。变换器编码器中的多头注意力机制(公式2)使模型能够同时捕捉不同注意力头中的各种表示。(1)Attention_i = softmax^Q_i Ki T_d^k V_i (2) Z = Concat(Attention_1, Attention_2, …, Attention_H) W_o。在上述公式中,i表示注意力头索引,Q_i、K_i和V_i是通过将H个注意力头变换应用于输入X得到的,d_k是键K_i的维度,Concat表示串联操作,而W_o是输出权重矩阵。为了评估DCNNT的预测性能,还使用MobileNet、Resnet和Transformer进行比较。所有四种模型在训练过程中都使用自适应时刻估计(Adam)优化器进行训练,DCNNT、Resnet和Transformer模型的训练学习率为0.0001,训练批量大小为32。MobileNet的学习率为0.001,训练批量大小为8。每种模型的训练周期为150。为了评估DCNNT模型的性能,实验将其与主流的ResNet、MobileNet和Transformer模型进行了比较。为了使ResNet和MobileNet适用于一维数据建模,将二维卷积(Conv2D)和池化(Pool2D)层替换为相应的一维对应层(Conv1D、Pool1D),而其余架构保持不变。
2.4.2 PLS模型和SVR模型
为了评估深度学习模型的性能,本研究还将其与PLS和SVM模型进行了比较。使用五折交叉验证技术训练PLS模型,并使用验证集中的最高准确率来计算理想的分量数量。在训练SVM模型的过程中,使用格子搜索算法来确定最佳核函数、惩罚系数、多项式度和伽马值。
2.5. 评估指标
使用校准集和预测集的确定系数(RT2和RP2)以及均方根误差(RMSE_T和RMSEP)来比较不同模型的预测能力,以及两组的残差预测偏差(RP_DT和RP_DP)。上述参数的表达式如下:
(3) R^2 = 1 - ∑_i=1^n (y_i - y^?_i)^2 / ∑_i=1^n (y_i - y?)^2
(4) RMSE = 1/n ∑_i=1^n (y_i - y^?_i)^2
(5) RPD = SD / RMSE
在此背景下,n表示包含在校准集或预测集中的样本数量;y_i和y^?_i分别表示第i个样本的参考和预测硬度或重量参数;y?表示平均参考值;SD表示参考值的标准差。R^2表示回归模型与数据之间的吻合度,而RMSE是一个统计指标,用于量化预测值与实际值之间的差异,RMSE越高表示两组数据之间的差异越大。一般来说,R^2和RP_D越高,RMSE越低,预测模型的性能越好。当RP_D超过2时,模型被认为具有良好的泛化能力(Lu等人,2020年)。本研究中使用的算法是在Python 3.7环境下执行的。计算机配备了第12代Intel (R) Core (TM) i7-12700H CPU(2.30 GHz)、RTX 3050(8 GB)和24GB的RAM。
3. 结果与讨论
3.1 测量硬度和声学振动谱的分析
图4展示了不同硬度级别的梨的声学振动谱曲线变化。图4(a)展示了三个硬度不同但重量相似的梨的振动谱。硬度最低的梨(2.61 N/mm)在大约200-400 Hz的频率范围内显示出较高的能量水平;相反,两个较硬的梨品种在大约500-800 Hz的频率范围内显示出较低的能量水平。此外,在200到1400 Hz的频率范围内,随着硬度值的增加,峰值频率逐渐向更高频率移动。图4(b)展示了不同硬度梨的麦克风响应的频谱图,显示出三个样本之间的显著差异。不同硬度样本的第二个共振频率分别为约为685 Hz、757 Hz和800 Hz。随着梨的硬度增加,200-1400 Hz范围内的第二个共振频率逐渐向更高频率移动。图5展示了储存过程中参考硬度指标的时间变化。正如预期的那样,所有硬度指标在储存过程中都呈现下降趋势。总体而言,200-1400 Hz范围内的声学振动谱为建立梨硬度预测模型提供了有价值的信息。
3.2 PLS和SVR的预测结果
为了验证PLS和SVR的性能,使用频域谱建立了传统的化学计量模型来评估声学振动信号预测水果硬度的准确性。PLS和SVR开发中的一个关键步骤是确定最优建模参数。表2展示了用于预测梨硬度的PLS和SVR的最优参数。对于基于不同谱的PLS模型,预测梨硬度的最优分量数量分别为13、44和22。
3.3 深度学习的预测结果
为了进一步提高预测性能,使用声学信号、振动信号和声学-振动融合信号作为输入,建立了多个深度学习模型来预测梨的硬度。表4展示了DCNNT、Transformer、MobileNet和ResNet模型在预测梨硬度时的R2、RP_D和RMSE值。我们的结果表明,深度学习模型通常优于传统的SVR和PLS模型。使用声学-振动融合数据的模型显著优于仅使用振动数据或声学数据的模型。没有一个模型的R2P值超过0.9,表明还有很大的改进潜力。这可能使其更适合作为评估采摘后梨的新鲜度、储存寿命和剩余保质期的硬度指标。然而,Stif作为硬度指数,其应用主要局限于基于声学振动的果实硬度预测研究领域。在工业应用中,硬度通常与机械硬度(MT硬度)相等。(Mishra等人,2022年)指出,在‘会议’梨中,声学硬度对脱水的敏感度是成熟过程的10倍,而参考硬度受水分损失的影响很小,并直接反映了与成熟相关的细胞壁退化。这种声学信号与水分状态之间的内在关联可能会限制该模型在储存湿度变化的实际场景中的适用性。模型的泛化能力受到样本同质性和环境控制的限制。本研究仅针对‘黄冠’梨进行,实验在具有减震材料的安静实验室中进行,以消除外部噪音和振动干扰。然而,商业水果分选环境涉及多种品种、不同的脱水程度以及不可避免的环境噪音——这些因素在本文中未予以模拟。Mishra等人(2022年)指出,声学数据对硬度预测的贡献因品种和任务(回归与分类)而异,而Hertog等人(2004年)强调温度和湿度的相互作用可以独立于成熟过程改变声学硬度。缺乏对多种梨品种和实际环境条件的验证限制了该模型的实际应用。
为了解决这些局限性,未来的研究应重点关注三个方向:(1)量化储存过程中的水分损失动态,并将脱水校正算法整合到DCNNT模型中,参考Hertog等人(2004年)提出的基于WVPD的建模方法来分离脱水和成熟效应;(2)扩大样本范围,包括多种梨品种,并在可变的湿度、温度和噪音条件下进行实地测试,以提高模型的鲁棒性;(3)结合生理和感官数据(如硬度、多汁度评分),开发一个将声学-振动信号与消费者感知的质地联系起来的混合模型,正如Harker等人(2019年)所验证的,这种模型在感官与仪器测量结果之间具有一致性。此外,探索将声学-振动数据与Vis-NIR光谱学相结合的方法可能通过补充果实的物理和化学信息进一步提高预测准确性。
结论:本研究使用自主研发的设备收集了储存了不同时间的‘黄冠’梨的声学振动响应信号,并开发了一个双输入卷积神经网络-变换器(DCNNT)模型来预测梨的硬度。结果表明,利用声学-振动融合信号的模型比仅依赖声学或振动信号的模型表现更好。由于能够同时捕捉局部和全局特征,DCNNT模型在其他模型中表现出更优秀的预测性能,其预测指标R2T、RMSET和RPDT分别达到了0.958、0.522 N/mm和5.091。
未引用的参考文献:Zhang等人,2014年;Mayorga-Martínez等人,2016年
资助:本研究得到了国家自然科学基金(项目编号32560602)、国家重点研发计划(项目编号2023YFD2001301)、江西省教育厅科技研究项目(GJJ2202206)、江西省自然科学基金(项目编号20242BAB20060)以及赣鄱人才重大学术技术领军人才培养项目(20243BCE51173)的财政支持。
CRediT作者贡献声明:
陈楠:方法论、研究、资金获取、数据管理。
乐德祥:验证、监督、软件开发。
李彦兵:撰写-审稿与编辑、撰写-初稿、方法论、研究、资金获取、数据管理、概念构思。
刘彦德:方法论、研究、数据管理、概念构思。
刘志:撰写-审稿与编辑、软件开发、方法论。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号