利用多尺度多模态遥感信息,结合迁移学习和多分支中间层融合深度神经网络实现小麦氮浓度监测

《Computers and Electronics in Agriculture》:Transfer learning and multi-branch intermediate fusion deep neural network for wheat nitrogen concentration monitoring using multi-scale multi-modal remote sensing information

【字体: 大 中 小 】 时间:2026年08月28日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

  • UAV的RGB和多光谱图像支持小麦植株氮浓度(PNC)的动态监测。 • 多尺度观测揭示了不同模态的最佳表示尺度。 • 多尺度多模态融合提高了小麦PNC估计的准确性。 • MBIF-DNN在小麦PNC监测中表现出最佳性能。 • 结合迁移学习的MBIF-DNN增强

  • UAV的RGB和多光谱图像支持小麦植株氮浓度(PNC)的动态监测。
• 多尺度观测揭示了不同模态的最佳表示尺度。
• 多尺度多模态融合提高了小麦PNC估计的准确性。
• MBIF-DNN在小麦PNC监测中表现出最佳性能。
• 结合迁移学习的MBIF-DNN增强了跨年份的鲁棒性和泛化能力。

**引言**
植株氮浓度(PNC)是小麦生产力和氮营养状况的关键指标(Li等人,2024a)。它不仅直接影响小麦的产量和质量,还间接影响小麦在食品加工和饲料生产等工业领域的应用价值(Chen等人,2025)。随着现代精准农业对高效大范围PNC监测需求的增加,无人驾驶飞行器(UAV)遥感技术的应用得到了推广。目前,UAV配备了多种传感器,其中红-绿-蓝(RGB)和多光谱(MS)传感器因低成本、易于操作和高效的数据处理能力而在田间PNC监测中得到广泛应用(Wang等人,2023)。RGB图像可以捕捉小麦冠层的颜色、形态结构和纹理,并用于表征冠层生长状况(Du等人,2026)。然而,RGB数据主要依赖于红、绿、蓝三个可见光波段,对作物内部生理和生化状态的直接敏感性相对较低。相比之下,MS图像包含与叶绿素含量、冠层生理状况和氮营养状况密切相关的红边和近红外波段(Fan等人,2026)。因此,整合RGB和MS数据可以将冠层结构信息与光谱响应信息结合起来,有望提高小麦植株氮浓度估计的稳定性和准确性。但由于不同传感器获取的数据在尺度敏感性和信息互补性方面存在差异,现有研究尚未系统地解决多模态数据观测尺度适应性和信息融合的关键问题,这限制了PNC反演精度的进一步提高。

**空间异质性**是遥感监测中的一个基本科学问题,它深刻影响了作物参数反演的准确性和鲁棒性(Wu等人,2025)。这种现象指的是同一目标在不同观测尺度下表现出的信息差异,这是由于目标特性与空间分辨率之间的相互作用(Goodchild,2001)。在UAV遥感监测中,观测尺度与空间分辨率之间存在固有的负相关性。随着观测尺度的增加,单张图像的覆盖范围扩大,但空间分辨率相应降低,低空飞行只能在减少覆盖范围的情况下获得更高分辨率的图像(Zhang等人,2025)。这种尺度和分辨率之间的权衡影响了地面物体特征的表达,导致反演模型和监测准确性的系统性变化。这主要受多种因素影响,包括改变目标图像信息的呈现方式、干扰测量结果以及影响模型的适用性(Yu等人,2022)。然而,大多数现有研究仅限于单一观测尺度,未能充分考虑多尺度空间异质性对特征表达一致性和稳定性的影响(Xu等人,2024)。这一限制在多模态特征的协同反演中尤为突出。不同传感器在观测尺度下获取的光谱和纹理特征的响应机制存在显著差异。多模态特征之间的尺度依赖性不仅使得单一尺度难以同时优化各种特征的提取效果,还会导致特征之间的尺度不匹配,从而削弱了多模态数据的协同增强潜力。因此,分析多模态特征与观测尺度之间的内在相关性、识别不同特征类型的最佳响应尺度以及充分利用每种模态的表征潜力成为实现高精度PNC估计的关键挑战。

最近,配备多种传感器的UAV收集的多模态数据在监测小麦PNC方面显示出较高准确性(Li等人,2025a)。与单一无源传感器获取的信息相比,RGB和MS传感器的结合可以更全面地表征作物氮状况(Yin等人,2025)。然而,随着数据维度和特征复杂性的增加,传统的简单模型难以有效解释来自不同传感器的数据中的深层信息(Maimaitijiang等人,2020)。目前,基于可见光和MS图像的PNC估计主要采用机器学习回归算法(Wang等人,2023)。然而,由于小麦在不同生长阶段的动态表型变化,以及田间管理措施和环境因素的综合影响,其表型特征非常复杂。仅依赖传统机器学习方法难以完全揭示多源数据中的高阶特征相关性(Wang等人,2025a)。深度学习凭借其多层网络架构和强大的特征学习能力,在处理复杂非线性关系和高维输入方面具有显著优势。特别是在处理大规模、非结构化的多源遥感数据时,深度神经网络在泛化性能和估计精度方面更具竞争力(Yin等人,2024)。然而,现有研究在多模态数据的动态融合策略上存在不足,大多数研究仅停留在简单特征连接层面上捕捉不同模态数据之间的内在相关性,对其适应多源遥感数据异质性的能力不足。因此,改进深度学习算法以增强多模态信息的协同建模能力已成为当务之急。如何充分利用RGB和MS数据,结合改进的深度学习算法实现多模态信息的深度融合,从而高效估计小麦PNC,仍是未来研究的关键方向。

同时,小麦的生长和发育受到气象条件、土壤背景和栽培管理实践的全面影响,导致不同年份田间环境和作物表型存在显著差异(Li等人,2025a)。基于单一年份数据建立的监测模型通常会学习到高度特定于该年份环境条件的特征模式。当应用于新的年度场景时,这些模型由于数据分布的变化而普遍出现泛化性能下降,从而限制了其在田间监测中的长期稳定应用。迁移学习(TL)为解决这一问题提供了可行的方法。通过将历史数据集中学到的泛化特征知识转移到目标年度领域,可以有效提高模型对年度间环境变化的适应能力,并减少数据分布变化导致的精度损失(Li等人,2025b)。然而,将迁移学习与多模态深度融合架构相结合用于小麦植株氮浓度估计的研究仍然有限。因此,如何同时实现多模态信息的深度挖掘并增强模型的跨年份泛化能力仍是一个值得深入研究的重点问题。

**研究方法**
为了解决多模态特征融合和跨年份泛化方面的不足,本研究旨在开发一个集成迁移学习的多尺度和多模态融合框架,以提高小麦PNC估计的准确性、鲁棒性和跨年份适用性。具体研究目标包括:(1)分析不同观测尺度下RGB和MS图像中光谱和纹理信息的动态变化模式;(2)评估不同观测尺度下多模态特征及其组合在PNC监测中的有效性;(3)构建一个嵌入迁移学习的多模态融合深度学习模型,并验证其在空间异质性和年度间环境变化情况下的小麦PNC监测中的鲁棒性、泛化能力和应用性能。

**结果**
本研究中使用的小麦PNC监测框架如图1所示,包括以下核心步骤:
**I. 数据获取**:通过无人驾驶飞行器(UAV)获取了多个观测尺度的时间序列数据,包括时间序列多光谱(MS)图像和时间序列RGB图像。在整个生长期间进行了小麦PNC测量,以收集基本的原位数据,为后续分析提供真实值参考。

**观测尺度间的时间特征异质性**
由于不同观测尺度下的空间异质性影响,小麦冠层的光谱和纹理信息随着观测尺度的增加而表现出不同的变化趋势(补充图1、补充图2)。这一现象表明观测尺度是调节小麦冠层遥感信息表达的关键因素,空间异质性可以直接改变不同波段的响应特性。

**结论**
本研究通过多年、不同小麦品种、氮肥梯度和重复实验进行了小麦田间研究,并结合了UAV搭载的RGB和MS传感器在整个生长期间获取的多尺度遥感数据,提出了MBIF-DNN算法用于小麦PNC的动态监测,并将其与传统机器学习和基本深度学习模型进行了比较。主要结论如下:

**作者贡献声明**
Xiangxiang Su:撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、调查、形式分析、概念化。
Huihan Wang:撰写 – 原稿、可视化、监督、软件。
Mi Yang:可视化、验证、监督、方法论、形式分析。
Dongmei Yu:撰写 – 原稿、验证、监督、调查。
Jieyu Li:可视化、验证、方法论、调查。
Weiqiang Wang:可视化。

**资金支持**
本研究得到了新疆生产建设兵团关键领域技术研发计划(编号2025AB065)和安徽省高等教育机构科研项目(编号2023AH051855)以及农业人工智能与智慧生产重点实验室(2026PT02)的资助。

**利益冲突声明**
作者声明没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号