《Electronics》:CrtNet: A Cross-Model Residual Transformer Network for Structure-Guided Remote Sensing Scene Classification
Chaoran Chen,
Tianyuan Zhu,
Tao Cui,
Dalin Li,
Adriano Tavares,
Yanchun Liang and
Yanheng Liu
编辑推荐:
精确的遥感场景分类对于大规模地球观测至关重要,但由于中低分辨率影像中存在显著的类间相似性和复杂的空间布局,该任务仍具挑战性。传统卷积神经网络(Convolutional Neural Networks, CNNs)能有效捕获局部结构模式,但难以建模长距离语义依
精确的遥感场景分类对于大规模地球观测至关重要,但由于中低分辨率影像中存在显著的类间相似性和复杂的空间布局,该任务仍具挑战性。传统卷积神经网络(Convolutional Neural Networks, CNNs)能有效捕获局部结构模式,但难以建模长距离语义依赖关系;而视觉Transformer(Vision Transformers, ViTs)擅长全局上下文建模, yet 常表现出对细粒度空间结构敏感性不足的问题。为应对这些局限,研究人员提出了CrtNet(Cross-Model Residual Transformer Network),一种结构感知的跨模型残差Transformer网络,其通过门控残差跨模型交互建立了融合卷积结构表征与基于Transformer语义建模的双流协作架构。在该框架中,卷积分支首先提取具有强空间归纳偏置的稳定局部结构特征。这些特征通过残差跨模型连接持续注入到Transformer编码过程中,使全局注意力建模过程中获得持久的结构引导。此外,研究人员引入了样本自适应动态门控机制,以在预测阶段灵活平衡结构特征与语义特征。在EuroSAT和UCM两个公开遥感基准数据集上开展的广泛实验表明,CrtNet在总体分类精度方面持续优于代表性的基于CNN、基于Transformer以及混合式的现有最优模型,尤其在视觉模糊的场景类别中表现突出。
随着全球城市化进程的加速,准确识别城市建成区并将其与自然环境区分开来,对于城市规划、生态监测、土地资源管理和灾害风险评估日益重要。在此背景下,能够提供高频次、自动化且经济高效观测的遥感技术在大规模地表分析中发挥着不可替代的作用。其中,中分辨率到低分辨率的卫星影像(如Sentinel-2数据)因其短重访周期、低获取成本和连续全球覆盖而得到广泛应用。然而,低分辨率遥感影像在场景理解任务中存在固有挑战:城市建成区与自然土地覆盖类型之间常出现明显的视觉模糊性,例如城市道路与裸地、工业区与沙漠、低密度住宅区与耕地等在光谱和纹理上具有相似性;细粒度空间细节的进一步缺失加剧了类间混淆,给自动化地形和土地覆盖分类系统带来长期困难。
从方法学角度看,现有遥感场景分类方法主要建立在卷积神经网络及其变体之上。CNN凭借其局部感受野和参数共享机制,在捕获纹理、边缘和重复性空间排列等局部结构模式方面尤为有效,在多种土地覆盖分类任务中表现出稳健性能。然而,CNN方法本质上强调局部特征表征,在建模大规模空间布局、功能区配置和整体语义结构方面存在局限,而这些都是表征城市建成区的关键要素。该局限性在低分辨率条件下尤为突出——局部纹理高度相似但全局语义根本不同的场景难以可靠区分。
近年来,视觉Transformer通过利用自注意力机制建模长距离空间依赖,为遥感场景理解引入了替代范式。现有研究表明,视觉Transformer及其多尺度变体在土地覆盖和遥感场景分类任务中比传统CNN更能有效捕获跨区域语义关系和全局结构信息。但纯Transformer架构应用于低分辨率遥感影像时仍面临若干关键局限:样本效率低、对精细局部结构敏感性不足、以及在小型输入上训练行为不稳定,导致其全局建模的理论优势在实践中往往未能转化为一致的性能提升。近期研究进一步探索了专门针对遥感场景分析的改进型Transformer架构,例如基于Res2Net和Transformer的特征跨层交互混合方法(Feature Cross-Layer Interaction Hybrid Method based on Res2Net and Transformer, FCIHMRT)整合多尺度卷积特征提取与Transformer注意力模块以增强跨层特征交互;特征感知基于Transformer的场景网络(Feature-Aware Transformer-based Scene Network, FATSNet)引入特征感知注意力机制以强化复杂遥感环境中空间关系和语义依赖的建模。这些方法展示了基于Transformer架构在遥感影像分析中日益增长的重要性。
为弥合局部结构建模与全局语义理解之间的差距,近期研究探索了混合CNN-Transformer架构以结合两种范式的互补优势。然而,现有混合设计大多依赖浅层融合策略(如简单特征拼接或阶段式集成),局部结构信息仅在输入或输出阶段被纳入,导致局部几何约束在全球语义学习过程中影响有限且不连续;决策层面的融合方案通常固定或静态,难以适应不同遥感场景对局部和全局信息的差异化依赖。在许多现有方法中,卷积特征在Transformer编码器之前作为浅层嵌入引入,或通过特定阶段的简单拼接进行融合,CNN特征常被视为辅助输入,随着Transformer层加深,结构归纳偏置逐渐减弱。
针对上述局限,研究人员提出了面向结构感知的卷积-Transformer混合地形识别模型——跨模型残差Transformer网络(Cross-Model Residual Transformer Network, CrtNet),专门用于低分辨率遥感影像中城市建成区与自然环境的识别。与主要依赖浅层特征融合或静态特征聚合策略的现有混合架构不同,CrtNet系统性地建立了跨模型残差交互框架,使Transformer基于语义建模过程中获得持续的结构反派结构引导。
CrtNet采用双流协作设计,卷积结构分支与Transformer语义分支保持独立但相互交互的特征表征。卷积分支在显式空间约束下提取地表结构特征,提供稳定的局部归纳偏置。跨模型残差融合机制嵌入Transformer编码器的多个阶段,通过门控残差连接将结构表征循环注入语义建模路径,在全球注意力学习过程中实现持续的结构引导,同时保留Transformer的上下文建模能力。在预测阶段,引入可学习的样本自适应动态门控机制,自动确定每个输入场景中结构表征和语义表征的相对重要性。该自适应策略允许模型根据场景特定特征分布灵活调整决策层面的侧重,从而提高了视觉模糊和异质遥感环境中的鲁棒性和泛化能力。
在EuroSAT和UC Merced Land Use(UCM)两个广泛使用的公开遥感场景分类基准上,研究人员开展了广泛的实验评估。EuroSAT基于Sentinel-2卫星影像构建,包含10个代表性土地覆盖类别,具有中分辨率多光谱观测特征;UCM数据集则包含覆盖21个不同土地利用类别的高分辨率航空影像,具有更复杂的空间布局和场景语义。实验结果表明,CrtNet在总体分类精度和多类性能指标上均优于代表性的基于CNN的方法、ResNet架构和纯视觉Transformer模型,尤其在视觉模糊的场景类别(如建成区和结构相似的自然环境)中表现出更强的鲁棒性。这些结果提示,结构感知的全局-局部协作建模策略为不同空间分辨率和场景分布的遥感场景理解提供了稳健且可泛化的解决方案。
该研究的技术方法主要包括以下关键方面。在特征提取层面,采用轻量级类ResNet CNN架构作为局部特征提取器(Local Feature Extractor, LFE),通过初始卷积主干和三个残差阶段提取多尺度局部结构特征,其中前两个阶段保留较高空间分辨率以捕获局部纹理、边缘和精细空间模式。在CNN与Transformer的接口设计上,特征到标记映射(Feature-to-Token, F2T)模块采用步长卷积投影将卷积特征图转换为标记序列,并融入可学习位置嵌入以保留空间对应关系,该策略利用卷积的局部归纳偏置显著增强了低分辨率遥感任务中的训练稳定性和数据效率。核心组件跨模型融合块(Cross-Model Fusion Block, CMFB)通过多头自注意力(Multi-Head Self-Attention, MHSA)捕获长程依赖,并引入门控残差连接自适应融合局部结构线索——通过Sigmoid激活的门控权重动态调节局部特征贡献,再经多层感知机(Multi-Layer Perceptron, MLP)和前馈细化完成表征精炼。全局特征建模器(Global Feature Modeler, GFM)堆叠4个CMFB层,最终通过全局平均池化(Global Average Pooling, GAP)聚合全局语义描述符。在决策融合层面,动态门控模块(Dynamic Gating Module, DGM)采用轻量级门控网络(MLP+Softmax)生成自适应权重,对LFE全局特征向量与GFM输出进行样本自适应加权融合,使模型能够根据输入特性优先选择纹理主导线索或全局语义上下文。所有实验基于PyTorch框架实现,使用AdamW优化器,初始学习率3×10
?4,权重衰减系数0.01,采用余弦退火学习率调度和短线性预热策略。
实验结果部分包含以下要点。在EuroSAT数据集上的定量结果显示,CrtNet达到98.20%的准确率,Macro-Precision、Macro-Recall和Macro-F1分别为0.9827、0.9820和0.9821,显著优于ResNet34-Base(97.00%)、EfficientNet-B0(95.00%)、ViT-Base-16(83.60%)和Swin Transformer(88.53%)。在UCM数据集上,CrtNet再次取得最优性能,准确率达99.14%,Macro-F1为0.9914,相较于ResNet34-Base(85.57%)和EfficientNet-B0(79.86%)有大幅提升,较Swin Transformer(77.00%)和ViT-Base-16(69.48%)亦优势明显。在混淆矩阵分析中,CrtNet在光谱极端相似的类别(如"Shrubland"与"Forest")上显著抑制了非对角线误分类率,表明CMFB有效保留了低分辨率影像中通常模糊的结构边界;在城市密集环境中,DGM使模型能够利用全局上下文区分传统卷积网络易混淆的类别。
消融研究表明,完整CrtNet架构持续优于基线、仅含CMFB和仅含DGM的变体。完整模型在第15个epoch达到98.52%的峰值验证准确率,CMFB通过双向信息交换增强跨模型特征交互,DGM则动态调节特征传播;两者的协同组合带来最显著的性能增益。计算成本对比显示,CrtNet参数量从ResNet34的21.282M降至12.150M,FLOPs从4.654G降至4.067G,单张图像推理延迟从3.520ms降至1.798ms,实现了精度与效率的 favorable 平衡。
讨论部分指出,CrtNet在视觉相似的城市建成区与自然景观场景中表现稳健,这凸显了联合建模局部结构线索和全局语义关系的必要性。纯Transformer架构的较差结果提示,孤立的全局自注意力不足以维持低分辨率影像中的空间连续性。CrtNet通过渐进式将局部几何信息纳入全局表征学习过程,有效对抗深度语义抽象中结构细节的逐渐衰减。然而,当前实现采用单尺度标记化策略且限于单时相光学数据,未来可通过多尺度特征表征、时序建模和多模态数据融合进一步扩展。
研究结论部分总结如下:该工作聚焦低分辨率遥感影像分析中的两个 fundamental 挑战——城市建成区与自然环境的频繁误分类,以及局部结构信息与全局语义上下文有效融合的困难。为此,研究人员开发了结构感知的卷积-Transformer混合架构CrtNet用于遥感场景分类。利用卷积神经网络提取可靠局部空间模式的能力,该框架进一步整合全局注意力机制以捕获跨区域的长距离语义依赖。通过精心设计的局部-全局协作建模方案,CrtNet在特征提取和分类阶段均实现了保留精细结构细节与维持整体语义 aware ness 的平衡表征。在EuroSAT和UCM两个广泛使用的遥感场景分类基准上的综合实验证明了CrtNet框架的有效性。EuroSAT数据集源自Sentinel-2卫星影像,包含10个代表性土地覆盖类别,具有相对较低的空间分辨率和有限的类间视觉差异;UCM数据集由分辨率更高、土地利用类别更多样、空间布局更复杂的高分辨率航空影像组成。两个数据集上的实验结果均表明,CrtNet在总体分类精度和综合多类性能指标方面持续超越传统卷积模型、ResNet基线、标准视觉Transformer以及Swin Transformer等窗口式注意力方法。对于视觉模糊的类别(包括城市建成区和自然环境),该方法表现出更优的判别稳定性和鲁棒性。这些发现提示,仅依赖局部窗口建模或纯粹全局自注意力的方法均不足以完整刻画复杂地表语义,而结构感知的局部-全局协作策略在表征能力和分类稳定性方面具有明显优势。此外,通过将卷积归纳偏置与Transformer的全局上下文建模能力相结合,CrtNet为提升不同空间分辨率和遥感环境下的场景理解性能提供了有效的机制层面解决方案。未来研究将进一步探索多尺度协作建模策略、融入多源跨模态遥感数据,并整合时间动态以捕获地表演化过程,旨在提高所提框架在复杂多样遥感条件下的泛化能力和适应性。