《Agronomy》:Temporal Multi-Scale Spatio-Temporal Network (TMST): Polarization–Temporal Feature Selection and Multi-Scale Spatiotemporal Fusion for Crop Mapping
编辑推荐:
摘要专业翻译
准确且及时的作物制图有助于农业资源管理、产量预测和粮食安全决策。本研究提出时序多尺度时空网络(Temporal Multi-scale Spatio-Temporal Network,TMST),一种通过极化-时间特征选择与多尺度时空融合集成多源
摘要专业翻译
准确且及时的作物制图有助于农业资源管理、产量预测和粮食安全决策。本研究提出时序多尺度时空网络(Temporal Multi-scale Spatio-Temporal Network,TMST),一种通过极化-时间特征选择与多尺度时空融合集成多源遥感时间序列的作物制图方法。TMST结合了Sentinel-1双极化合成孔径雷达(synthetic aperture radar,SAR)、Sentinel-2多光谱数据及植被指数。其时序特征重要性解释器(Temporal Feature Importance Explainer,TFIExplainer)选择信息量丰富的极化-时间特征,多尺度注意力聚合(Multi-Scale Attention Aggregation,MSAA)模块增强空间表征,时空特征编码器(Spatio-Temporal Feature Encoder,STFE)建模长距离空间依赖与物候动态;复合损失函数改善了少数类与困难像素的识别。在新乡数据集上,TMST实现了0.8625的总体精度(overall accuracy,OA)和0.8329的平均F1分数(mean F1-score,mF1)。模块与数据源消融实验表明组合模块与多源融合的益处,而农田掩膜减少了非农田的误分类。在直接跨数据集评估中,在自建的奥地利数据集上训练并在雷达扩展的泛农业卫星时间序列(radar-extended Panoptic Agricultural Satellite Time Series,PASTIS-R)数据集上测试的模型显示,在指定的源-目标设置下TMST优于评估的基线方法。利用逐年特定样本和独立训练的模型对2019-2023年新乡进行年度制图,提供了区域种植结构和空间格局的基于地图的估计。在所评估的设置下,TMST为作物分类和年度更新的作物制图提供了一种有效方法。
论文解读
一、研究背景与问题
作物类型识别对于农业资源调配、产量评估和粮食安全管理具有重要意义。遥感技术能够在大范围区域内提供重复观测,被广泛应用于作物分类与制图。然而,当前建模方法存在两个主要局限:其一,现有方法主要依赖像素级、单尺度的时序表征,未能显式整合多尺度空间结构,限制了区分小地块和复杂边界所需的空间上下文;其二,串行的卷积-循环设计虽能联合表征空间、极化和时序特征,但未将多尺度空间表征与特定生育阶段的极化响应显式关联。此外,光学时间序列易受云层和大气效应影响,导致观测缺失和噪声,阻碍物候特征提取。因此,需要一种能够结合极化-时间特征选择与多尺度时空融合的端到端方法,以应对异质农田和相似作物物候带来的分类挑战。
二、研究内容与意义
研究人员提出了时序多尺度时空网络(TMST),一种集成多源遥感时间序列的作物制图方法。TMST结合Sentinel-1双极化SAR、Sentinel-2多光谱数据及植被指数,通过极化-时间特征选择和多尺度时空融合实现像素级作物分类。在新乡2023年数据集上,TMST在农田掩膜条件下实现了0.8625的总体精度(OA)、0.7829的Kappa系数和0.8329的平均F1分数(mF1),优于随机森林(RF)、梯度提升树(GTB)和卷积门控循环单元(ConvGRU)等基线方法。在跨数据集评估中,在自建奥地利数据集上训练并直接测试于PASTIS-R数据集,TMST在S1A和S1D轨道上均排名第一。2019-2023年新乡年度制图显示玉米面积总体增长9.91%,大豆面积下降12.73%,水稻面积基本稳定。该研究为复杂农业景观中的作物分类和年度区域种植结构分析提供了有效途径。
三、主要关键技术方法
研究人员构建了TMST网络,采用编码器-解码器架构。关键模块包括:时序特征重要性解释器(TFIExplainer),通过特征重要性骨干分支和空间分布分支对VV/VH极化-时间通道进行评分与选择;多尺度注意力聚合(MSAA)模块,通过并行3×3、5×5、7×7卷积结合通道注意力和空间注意力增强多尺度空间特征;时空特征编码器(STFE),通过并行空间视觉Transformer和时序编码器路径分别建模空间依赖与物候动态。损失函数采用Focal Loss与加权交叉熵的复合形式。数据方面,新乡实验使用2023年5-10月Sentinel-1和Sentinel-2时间序列影像,参考样本经分层随机采样、随机森林筛选和双分析师人工验证,最终保留1150个点。跨数据集实验使用自建奥地利数据集(1035个样本,覆盖2019年生长季)作为源域,PASTIS-R作为目标域。
四、研究结果
4.1 新乡2023年区域内实验
主模型对比显示,在农田掩膜条件下TMST的OA为0.8625、Kappa为0.7829、mF1为0.8329,相对第二好的GTB分别提升0.0477、0.0328和0.0912。五次训练运行的平均±标准差为OA 0.8626±0.0011、Kappa 0.7829±0.0011、mF1 0.8329±0.0018、mIoU 0.6970±0.0019,表明对训练随机种子敏感性低。
4.2 模块增量消融
以基础时空特征编码网络为基线(OA 0.8214、mF1 0.7628、mIoU 0.6183),依次添加TFIExplainer后提升至0.8386、0.7845和0.6417;添加MSAA后进一步提升至0.8517、0.8061和0.6642;添加STFE后完整TMST达到0.8625、0.8329和0.6971。三个模块的贡献具有互补性。
4.3 输入数据组合消融
仅用Sentinel-1时OA、mF1、mIoU为0.8017、0.7528、0.6124;仅用Sentinel-2时提升至0.8231、0.7815、0.6362;两者融合后达到0.8625、0.8329、0.6971,表明SAR散射特征与光谱反射信息具有互补性。
4.4 农田掩膜效应
引入农田约束使TMST的OA、Kappa和mF1分别提升0.0208、0.0367和0.0270。掩膜主要消除了城市建成区、道路、森林和水体中的作物误分类,产生更清晰的地块边界和更好的空间连续性。
4.5 空间分块划分性能
在5km×5km地理分块和1km缓冲条件下,TMST的OA为0.8412、Kappa为0.7586、mF1为0.8054,仍为三种模型中最优。相比随机分块,OA和mF1分别下降0.0213和0.0275,但模型排名保持一致。
4.6 参考标签复核
对200个分层随机选取的参考点进行独立复核,181个保留原标签,总体一致性为0.9050,Cohen's Kappa为0.8723。玉米-大豆混淆是最常见的分歧类型,占19个分歧中的7个。
4.7 跨数据集泛化
在奥地利到PASTIS-R的直接跨数据集评估中,TMST在S1A上OA、mF1、mIoU为0.8445、0.6330、0.4642,在S1D上为0.8621、0.6419、0.4725,六项指标均排名第一。相对每项指标的第二名,S1A上分别提升0.0125、0.0248和0.0279,S1D上分别提升0.0315、0.0202和0.0214。
4.8 多年度制图应用
2019-2023年逐年训练独立TMST模型,年度OA范围为0.7315-0.8086,Kappa为0.6387-0.7427,两者均在2021年最低、2023年最高。玉米制图面积增长9.91%,大豆下降12.73%,水稻增长约0.97%。县级分析显示玉米主要分布在封丘县、长垣市和原阳县,大豆主要在延津县,水稻保持以原阳县和长垣市为中心的双核心格局。
五、讨论总结与研究结论
综合讨论表明,TMST在随机分块和空间分块两种划分策略下均保持优于GTB和RF的排名,重复运行结果也证实其性能稳定性。参考标签复核支持了影像判读的一致性。跨数据集结果与已有研究一致,表明时序注意力和多尺度空间编码对作物分割有益。研究结论指出,TFIExplainer、MSAA和STFE分别执行关键时序特征选择、多尺度空间增强和长距离时空依赖建模,复合损失改善了不平衡类别和困难像素的学习。在农田约束下OA、Kappa和mF1分别达到0.8625、0.7829和0.8329。年度制图显示玉米扩张、大豆总体下降且水稻基本稳定的区域趋势。未来研究应评估固定模型跨年份和跨区域的迁移能力,研究不同作物历和观测密度下的物候对齐,并进一步量化作物面积估计的不确定性。