《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》:Enhancing Hyperspectral Image Classification with Spectral-Spatial Convolutional FourierKAN Transformer
编辑推荐:
本研究针对高光谱图像分类中Transformer架构存在的数学可解释性差和光谱冗余敏感性问题,提出了一种新型谱空卷积傅里叶KAN Transformer(S2CFKAT)框架。该框架通过混合卷积模块进行特征提取,结合傅里叶KAN Transformer实现长程依赖关系与判别性频率模式的自适应融合,在四个公开HSI数据集上表现出优越的泛化能力,特别在小样本和不平衡场景下仍保持高精度。
随着遥感技术的飞速发展,高光谱成像技术已成为对地观测领域的重要工具。高光谱图像能够提供丰富的三维结构化数据,包含宝贵的光谱和空间信息。然而,高光谱图像分类面临着三大核心挑战:数据高维度特性、小样本问题以及显著的光谱变异性。传统方法如支持向量机(SVM)和k近邻(k-NN)主要依赖浅层光谱特征和手工设计的特征,这限制了它们利用空间信息的能力,降低了整体适应性。
近年来,基于深度学习的方法在高光谱图像分类任务中展现出显著优势。其中,卷积神经网络(CNN)和视觉Transformer(ViT)及其变体成为主流方法。然而,这些方法在参数数量和算法复杂度方面面临挑战。特别是Transformer架构,虽然通过自注意力机制和多层感知器(MLP)在HSI分类中占据主导地位,但其数学可解释性差和对光谱冗余敏感等问题亟待解决。
为了突破这些限制,研究人员开展了一项创新性研究,提出了一种名为谱空卷积傅里叶KAN Transformer的新型框架。该研究成果已发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上,为高光谱图像分类领域带来了新的突破。
关键技术方法包括:采用主成分分析(PCA)进行数据降维,设计混合卷积模块结合3D和2D卷积进行特征提取,构建傅里叶KAN Transformer替代传统MLP块,使用双傅里叶KAN层组成傅里叶KAN块增强非线性映射能力,以及基于傅里叶KAN的分类头实现端到端的特征学习。实验在Indian Pines、Pavia University、Augsburg和WHU-Hi-LongKou四个公开数据集上进行验证。
混合卷积模块设计
研究人员设计了一个包含3D卷积和2D卷积的混合卷积模块。3D卷积层专注于保持光谱和空间连续性,通过可学习的权重参数提取三维特征。2D卷积层则重点增强空间细节信息,优化平面特征的捕获能力。这种双卷积策略确保了光谱和空间信息交互的全面捕获,为后续处理奠定了坚实基础。
傅里叶KAN Transformer架构
该研究创新性地将傅里叶KAN模块集成到Transformer编码器中。与传统MLP不同,傅里叶KAN在神经元之间使用可学习的激活函数,这些函数通过傅里叶级数表示,能够更好地捕捉周期性模式和频率信息。多头自注意力机制负责捕获长程依赖关系,而傅里叶KAN层则专注于判别性频率模式的学习,二者协同工作实现了特征的自适应融合。
傅里叶KAN块增强
研究团队设计了由双傅里叶KAN层组成的傅里叶KAN块,专门用于学习谱空特征的复杂非线性交互作用。基于Kolmogorov-Arnold表示定理,该块通过连续函数映射不仅丰富了模型的特征学习能力,还增强了稳定性和有效性。实验表明,使用两层傅里叶KAN的配置在所有数据集上都能获得最佳性能。
分类头优化
与传统方法通过简单线性变换进行映射不同,该研究构建了基于傅里叶KAN的分类头,在每个连接处使用傅里叶系数,实现了更动态和适应性强的变换能力,特别适合捕获数据中的复杂模式。分类头采用softmax函数在傅里叶空间中进行标签学习,确保了光谱一致性和空间连贯性。
多数据集验证结果
在Indian Pines数据集上,S2CFKAT实现了97.12%的总体分类精度(OA),94.98%的平均精度(AA),kappa系数达到96.71,在所有比较方法中表现最优。特别是在"牧草"和"干草"等类别中,分类精度超过99%,显示出卓越的分类能力。
在Pavia University数据集上,该方法的OA达到98.25%,AA为96.92%,kappa系数为97.68。即使对于训练样本较少的"砾石"类别,也能达到92.50%的精度,证明了其在类别不平衡情况下的稳健性。
Augsburg城市数据集上的实验结果尤其令人印象深刻。在"分配地"类别仅有6个训练样本的极端情况下,S2CFKAT仍能达到67.60%的分类精度,显著优于其他方法,展现了其在小样本学习方面的独特优势。
WHU-Hi-LongKou农业数据集的结果进一步验证了方法的普适性。在训练样本比例仅为0.1%的苛刻条件下,S2CFKAT的OA达到98.44%,AA为94.57%,特别是在"芝麻"和"窄叶大豆"等样本稀少的作物类别上表现突出。
小样本场景下的稳健性
研究人员特别测试了不同训练样本比例下的模型性能。即使在极低的0.01%训练比例下,S2CFKAT仍能保持稳定的分类性能,其OA领先第二名方法2.82个百分点,在AA和kappa系数上也分别领先5.16%和5.63,充分证明了其在数据稀缺环境下的实用价值。
计算复杂度分析
在模型复杂度方面,S2CFKAT的参数规模为195.07K,FLOPs为11.23M,在Transformer类架构中属于中等规模。虽然推理时间相对较长,但在精度和效率之间取得了良好平衡。
参数敏感性研究
通过系统性的参数分析,研究人员确定了最佳补丁大小为13×13,傅里叶KAN层数为2,以及分类头网格大小C_grid=6和FKAT网格大小T_grid=2的最优配置。这些参数设置在不同数据集上均表现出稳定的性能。
消融实验验证
消融实验结果表明,混合卷积模块、傅里叶KAN Transformer和傅里叶KAN块三个组件缺一不可。当移除任一组件时,模型性能都会显著下降,特别是移除FKAT会导致OA下降7.29%,证明了各组件的重要性和协同作用。
特征可视化分析进一步证实了各模块的有效性。单独使用混合卷积模块时,不同类别特征存在明显重叠;引入Transformer后类别边界变得清晰;使用傅里叶KAN Transformer后,类内特征更加紧凑;最终完整模型的特征分布最清晰,重叠区域最小,表明傅里叶KAN块在特征增强和对齐中发挥了关键作用。
该研究的创新性主要体现在四个方面:首先,通过混合卷积层有效提取判别性层次特征;其次,利用傅里叶KAN增强Transformer,学习复杂的全局感知特征;第三,傅里叶KAN块通过细化类别判别模式增强特征适应性;最后,端到端的傅里叶KAN使用确保了光谱一致性和空间连贯性。
这项研究为高光谱图像分类提供了新的解决方案,特别是在小样本和不平衡数据场景下展现出了显著优势。未来工作将探索轻量级变体以实现实时处理,并将框架扩展到多模态遥感任务中。该研究成果对推动高光谱遥感技术在农业监测、地质勘探、环境监测等领域的实际应用具有重要意义。