MIFFNet:面向生菜鲜重估计的多维图像特征融合网络

《Pattern Recognition》:MIFFNet: A multidimensional image feature fusion network for lettuce fresh weight estimation

【字体: 大 中 小 】 时间:2026年04月04日 来源:Pattern Recognition 7.6

编辑推荐:

  生菜鲜重是评估作物生长状态和优化栽培管理的关键指标。传统测量方法效率低、误差大且依赖人工,难以满足连续监测需求。计算机视觉技术为实现基于图像的非破坏性鲜重估计提供了新途径。本研究提出MIFFNet,一种端到端的网络架构,旨在集成RGB图像、可见光植被指数(Vi

  
生菜鲜重是评估作物生长状态和优化栽培管理的关键指标。传统测量方法效率低、误差大且依赖人工,难以满足连续监测需求。计算机视觉技术为实现基于图像的非破坏性鲜重估计提供了新途径。本研究提出MIFFNet,一种端到端的网络架构,旨在集成RGB图像、可见光植被指数(Visible Light Vegetation Indices, VIs)、几何特征和颜色特征进行高精度生菜鲜重估计。该模型采用Inception结构作为多尺度特征提取(Multi-Scale Feature Extraction, MSFE)模块,并与提出的多维图像特征融合(Multidimensional Image Feature Fusion, MIFF)模块交替堆叠构成主干网络,以增强多尺度特征捕捉能力与多维特征融合深度。研究人员在三个生菜数据集(自建数据集、AGC数据集和CAAS数据集)上与10种主流模型进行了对比实验。结果表明,MIFFNet在所有数据集上均优于对比模型。在自建数据集上,其决定系数(Coefficient of Determination, R2)达到0.929,均方根误差(Root Mean Square Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)分别为28.544g和14.446g。在两个公开数据集上,R2分别达到0.94和0.943,且RMSE和MAE均低于对比模型。此外,MIFFNet在模型复杂度和参数量方面表现出显著优势。该研究证明了MIFFNet在实现准确、高效的生菜鲜重估计方面的卓越性能。
论文解读:《MIFFNet:一种用于生菜鲜重估计的多维图像特征融合网络》
研究背景与意义
生菜富含营养且生长周期短,是全球广泛种植的作物。鲜重(Fresh Weight)是衡量作物生长状况的核心指标,对于植物工厂的智能决策至关重要。然而,传统的鲜重测量方法多为破坏性的,依赖人工操作,导致数据获取效率低、误差大、成本高,且难以实现连续监测。计算机视觉技术为实现非破坏性、高效率的作物监测提供了可能。尽管现有研究已尝试利用机器学习或深度学习从图像中估计鲜重,但仍面临两大挑战:一是多数方法依赖图像分割预处理,流程复杂且易造成信息损失;二是现有网络模型往往难以充分提取和利用图像中的深层特征,限制了估计精度。为此,中国科学院大学的研究人员提出了一种名为MIFFNet的新型多维图像特征融合网络,旨在克服上述局限。
主要关键技术方法
研究人员构建了三个数据集支撑研究:包含罗马生菜和散叶生菜的自建数据集(3947张图像)、AGC数据集(387张图像)和CAAS数据集(284张图像)。研究设计了端到端的MIFFNet架构,无需图像分割预处理。模型输入包括原始RGB图像、通过计算生成的可见光植被指数(VIs)、以及从图像中提取的几何特征(如面积、凸包周长)和颜色特征(多颜色空间均值)。核心技术包括:1)初始特征提取(Initial Feature Extraction, IFE)模块,针对不同形态输入数据设计专用分支;2)基于Inception结构的多尺度特征提取(MSFE)模块,并行使用不同卷积核捕捉多尺度信息;3)多维图像特征融合(MIFF)模块,将VIs及几何颜色特征作为增强因子,通过逐元素相乘的方式渐进式地融入RGB特征流中。模型训练采用Adam优化器,以均方误差(Mean Squared Error, MSE)为损失函数,并通过超参数敏感性分析确定了最优配置(N=3, r=16)。
研究结果
4.1 鲜重估计结果比较
研究人员将MIFFNet与10种竞争模型(包括经典卷积神经网络及现有生菜鲜重估计专用模型)进行对比。结果显示,MIFFNet在所有数据集上均取得最优性能。在自建数据集上,其R2达0.929,RMSE为28.544g,MAE为14.446g。在AGC数据集上,R2为0.940;在CAAS数据集上,R2高达0.943,RMSE和MAE分别降至9.217g和6.008g。这表明该模型具有极强的鲁棒性和泛化能力。
4.2 消融实验
为了验证不同特征维度的贡献,研究人员设计了消融实验。仅使用RGB图像作为输入的基线模型性能最低。加入植被指数(RGB+VI)或几何与颜色特征(RGB+GC)均能显著提升精度,且在不同数据集上各有侧重。当融合所有特征(RGB+VI+GC,即MIFFNet)时,模型性能达到最佳,相比基线在三个数据集上的R2分别提升了0.067、0.052和0.045,证明了多维特征互补的重要性。
4.3 不同融合策略分析
研究人员比较了多种特征融合策略。早期拼接(Concatenation)或晚期融合(Late Fusion)虽然能提升精度,但效果有限,甚至可能因融合不当导致精度下降。相比之下,MIFFNet采用的渐进式、多层次的特征增强融合策略表现最优,有效利用了多维特征间的互补信息。
4.4 超参数敏感性分析
针对超参数N(第二级MSFE-MIFF结构组数)和r(GC融合块中全连接层缩放参数),研究人员进行了敏感性分析。结果表明,性能并非随计算量增加单调上升。最终确定N=3且r=16为最优配置,在保证最高精度的同时,有效控制了模型复杂度。
4.5 参数量与计算成本分析
在模型效率方面,MIFFNet展现了显著优势。其乘加运算量(Multi-Adds)仅为1.256 Billion,参数量仅为4.809 Million,是所列对比模型中计算成本最低的之一。相比仅使用RGB输入的模型,MIFFNet仅增加了极少的算力消耗便换取了显著的精度提升,非常适合实际部署。
4.6 局限性
研究人员客观指出了本研究的局限性:首先,研究主要针对生菜,未在其他作物上验证普适性;其次,数据集采集于受控环境,未测试复杂田间光照或遮挡条件下的鲁棒性;第三,依赖手工设计特征可能需要领域专业知识;最后,在边缘设备上的实时大规模部署可行性仍需进一步验证。
讨论与结论
研究人员成功开发了一种名为MIFFNet的创新网络,解决了基于图像的物体量化任务中特征表示不全的问题。该架构通过异构视觉数据的协同整合,建立了无分割的植物表型分析新范式。MIFFNet的核心在于交替堆叠的MSFE模块和MIFF模块,实现了多尺度语义理解与多维特征的深度融合,且未造成计算开销的过度膨胀。实验证明,MIFFNet在需要多维特征融合的回归任务中达到了业界领先水平。在应用层面,其端到端、免分割的设计使其能够无缝部署于温室环境,利用标准相机或智能手机即可支持精准农业中的收获期优化和质量分级等任务。未来工作将致力于优化模型架构,整合更多模态数据,并探索跨任务场景(如同时进行目标检测与鲜重估计)的通用性。该研究成果发表于《Pattern Recognition》。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号