基于VAG-ViT的咖啡叶片生理指标估算:融合多视角RGB图像与双任务学习的轻量级框架

《Computers and Electronics in Agriculture》:Estimation of coffee leaf physiological indicators based on VAG-ViT: A lightweight framework fusing multi-view RGB images and dual-task learning

【字体: 大 中 小 】 时间:2026年09月21日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

  多视角RGB图像捕捉了复杂田间条件下咖啡叶片的综合表型特征。VAG模块根据特定的生理状态动态分配视图权重。双任务Vision Transformer利用了氮含量与叶绿素含量之间的生理相关性。分层融合策略有效提升了极端营养范围下的估算精度。一个具有3.98 M参

  
多视角RGB图像捕捉了复杂田间条件下咖啡叶片的综合表型特征。VAG模块根据特定的生理状态动态分配视图权重。双任务Vision Transformer利用了氮含量与叶绿素含量之间的生理相关性。分层融合策略有效提升了极端营养范围下的估算精度。一个具有3.98 M参数的轻量级模型被集成到Android应用中,以实现高效诊断。研究人员提出了VAG-ViT,一种轻量级双任务Vision Transformer架构,用于同时从多视角RGB图像估算咖啡叶片的氮含量和叶绿素含量。该模型采用分层中间融合(hierarchical mid-fusion)策略,首先通过共享浅层编码器提取跨视图的公共低层特征,再通过视图特定深层分支重构高阶语义,从而在保留形态共性的同时大幅降低计算与结构冗余。模型引入视图自适应门控(View-Adaptive Gating, VAG)模块,通过软门控策略动态校准跨分支视图权重,抑制田间光照和自然阴影等噪声干扰;同时采用双任务联合学习机制,显式编码氮与叶绿素间的生理相关性。最终,这一参数高效设计在边缘设备上平衡了视图特定独立表示与双任务联合估算,并已集成至Android应用,为咖啡种植者提供原型化的实时现场诊断工具。实验结果表明,该模型在咖啡叶氮浓度(Leaf Nitrogen Concentration, LNC)和相对叶绿素含量(SPAD)估算任务上,五折交叉验证的R2分别达到89.02%和89.81%,同时仅需3.98 M参数和1.14G FLOPs。
咖啡叶片是决定咖啡产量与品质的关键因素,其氮素与叶绿素含量的精准监测对现代咖啡产业至关重要。然而,传统营养诊断方法存在明显局限:人工目视检查主观性强,化学分析时效性差且成本高,SPAD仪等手持设备测量面积仅6 mm2,无法反映叶片空间养分异质性。近年来,深度学习方法虽在作物表型分析中展现了潜力,但多数研究仅使用单一视角图像或人工控制采集条件,难以适应自然田间多视角、多姿态的复杂表型特征。针对这些问题,研究人员以云南省普洱市云南农业大学咖啡试验基地(101.00605°E,22.63133°N)为研究区域,采集了覆盖小粒种咖啡(Coffea arabica L.)花期(2025年4月)和果实膨大期(7月)两个关键物候期、包含原位(In-situ)、近轴面(Adaxial)和远轴面(Abaxial)三种叶片视角的571组(共1713幅)有效RGB图像,并结合生理指标测量构建了多视角表型数据集CCN-2025。在此基础上,提出了一种轻量级双任务Vision Transformer架构VAG-ViT(View-Adaptive Gating Vision Transformer),用于同时估算叶片氮浓度(Leaf Nitrogen Concentration, LNC)和相对叶绿素含量(SPAD)。实验表明,该模型在五折交叉验证下对LNC和SPAD估算的R2分别达到89.02%和89.81%,显著优于现有主流模型,且参数量仅3.98 M,计算量仅1.14G FLOPs,并已成功集成至Android应用实现实时现场诊断。该研究为资源受限设备上的作物营养精准监测提供了高效可行技术方案,相关成果发表于《Computers and Electronics in Agriculture》。

研究人员采用的主要技术方法包括:利用iPhone 16 Pro主摄像头在田间自然条件下采集原位视图,并将离体叶片置于均匀背景拍摄近轴面与远轴面视图;使用X-AnyLabeling工具调用Segment Anything 2.1模型对图像进行半自动分割以去除复杂背景,并通过像素级与运算生成尺寸归一化的224×224样本;采用TYS-4N便携式植物营养分析仪测量叶片氮浓度和SPAD值,每片叶取主脉两侧四个标准测量点的算术平均值作为生理代表值;将571个样本按LNC区间进行分层随机抽样划分为五折交叉验证集,并设计逆频率加权(inverse-frequency weighting)数据增强策略,对稀有营养状态类别施加最高约25倍的增强倍数,以缓解长尾分布问题;构建了包含共享浅层编码器、视图特定深层编码器、VAG模块和双任务回归层的VAG-ViT架构,通过网格搜索确定关键超参数并在NVIDIA RTX 4090 GPU上完成训练与评估。

在总体性能对比中,VAG-ViT在LNC和SPAD两个任务上均取得最优表现,其R2分别达到89.02%和89.81%,比最佳基线ResNet-34(Concat)提升约3.7个百分点,而参数量仅为后者的约1/16,表明多视图信息建模比单纯增加模型规模更为有效。在主流融合策略对比中,VAG模块(R2为89.02%/89.81%)显著优于静态加和(85.12%/85.14%)、逐元素乘(84.17%/85.33%)、拼接(84.26%/84.70%)及动态交叉注意力(85.53%/86.28%)、令牌融合(86.23%/86.73%)和门控融合(84.37%/85.70%),证明自适应门控能更充分挖掘视图间互补信息。在消融实验中,视图组合实验表明原位视图贡献最大(R2为80.23%/79.23%),三视图拼接虽可提升至84.26%/84.70%,但VAG模块将其进一步提高约4.8和5.1个百分点;双任务消融显示联合学习比单任务模型精度更高且仅需一次前向传播即可同时输出两个指标;融合架构消融中,中间融合(89.02%/89.81%)优于早期融合(77.65%/78.31%)和晚期融合(85.92%/86.56%),验证了共享浅层加视图特定深层的渐进式设计的合理性。数据增强强度比较实验表明,随着截断阈值T_max增加,模型性能持续上升并逐渐饱和,说明增强策略主要通过提升低频率营养状态样本的分布覆盖率来释放VAG-ViT的架构优势。

讨论部分,通过t-SNE可视化发现VAG模块能有效重塑异构特征空间,使SPAD相关特征呈现清晰连续梯度;视图权重分布显示不同LNC区间下三视图权重呈动态变化,说明模型能根据营养状态自适应选择判别性视图信息。SHAP归因分析进一步表明聚焦的响应区域集中于叶片主体和结构区域,验证了自适应融合的语义过滤作用。边缘计算评估显示VAG-ViT在GPU、CPU和ONNX Runtime平台上均实现最快单叶推理速度(GPU 10.27 ms),且部署体积仅15.3 MB,结合DeepLabV3+(MobileNetV2)分割模块,端到端参数量小于10 M,满足实时诊断需求。但研究仍存在局限:数据集仅覆盖两个物候期和单一试验基地,缺乏小粒种咖啡全生长周期及多品种(如罗布斯塔)数据,且依赖外部分割模块。未来工作将重点扩展数据规模与跨域鲁棒性、开发无分割端到端架构、融合多光谱与气象等多模态数据,并结合变量施肥等农艺决策系统构建完整智慧营养管理平台。结论部分指出,VAG-ViT通过分层中间融合、视图自适应门控与双任务联合学习的协同设计,仅用3.98 M参数即可在边缘设备上实现高精度氮和叶绿素同步估算,经五折交叉验证的R2分别达89.02%和89.81%,在精度与效率间达到可行平衡;该端到端流程已集成至Android应用,实现从田间成像到农艺评估的实时诊断,证明轻量级多视图方案可实际部署于边缘硬件;同时,由于氮和叶绿素是大多数作物的核心营养指标,VAG-ViT的多视图融合、双任务联合学习及边缘部署总体方案具有向其他经济作物迁移的潜力,可为精准农业中的作物养分管理提供可复用技术方案。未来工作将围绕数据扩展、架构轻量化、多模态融合和决策闭环四个方向推进,最终为复杂大田场景下的精准养分管理提供更鲁棒和实时的决策支持工具。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号