一种基于隐式神经表示(INR)的双流态空间融合网络用于高光谱–多光谱图像融合

《Remote Sensing》:A Dual-Stream State-Space Fusion Network with Implicit Neural Representation for Hyperspectral–Multispectral Image Fusion Baisen Liu, Shuaiwei Wang, Hongxia Chu, Weiming Zheng and Weili Kong

【字体: 大 中 小 】 时间:2026年03月07日 来源:Remote Sensing 4.3

编辑推荐:

  高光谱–多光谱(HSI–MSI)图像融合旨在通过结合低分辨率高光谱图像(LR-HSI)的光谱保真度与高分辨率多光谱图像(HR-MSI)的空间细节,重建高空间分辨率高光谱图像(HR-HSI)。一个关键挑战是在跨模态分辨率失配条件下保持光谱–空间一致性,其中不充分

  
高光谱–多光谱(HSI–MSI)图像融合旨在通过结合低分辨率高光谱图像(LR-HSI)的光谱保真度与高分辨率多光谱图像(HR-MSI)的空间细节,重建高空间分辨率高光谱图像(HR-HSI)。一个关键挑战是在跨模态分辨率失配条件下保持光谱–空间一致性,其中不充分的长程依赖建模和不稳定的跨模态交互可能导致光谱失真和结构不连续性。本文提出了DSIR-Net(DSIR),一种配备隐式神经表示(INR)模块的双流态空间融合架构。DSIR将光谱和空间表示学习解耦为两个协调的流,并利用状态空间建模在渐进融合过程中高效地聚合全局上下文。此外,基于INR的坐标条件细化提供连续的亚像素补偿,增强高频细节恢复的同时抑制融合引起的伪影。在四个常用基准数据集上,DSIR在数值指标和视觉重建质量方面均表现出相对于竞争方法的一致优势。除更清晰的结构细节外,DSIR更忠实地保留了光谱信息。以每个数据集上基线方法中的最佳结果作为参考,PSNR提升分别为0.040 dB(Houston)、0.204 dB(PaviaU)、0.093 dB(Botswana)和0.163 dB(Chikusei)。
**研究背景与问题**

高光谱成像(HSI)能够获取数百个密集采样且连续的光谱波段,支撑精确的物质表征,在土地覆盖分类、矿产勘探、精准农业和环境监测等遥感应用中具有重要价值。然而,受探测器噪声特性、光子预算限制和窄光学孔径等因素制约,高光谱传感器空间分辨率较低且易受光谱失真影响。与之相对,多光谱成像(MSI)系统通过更宽的光谱波段和更短的积分时间提供高空间分辨率,但牺牲了相对于HSI的细粒度光谱保真度。由于光学、探测器灵敏度和传感器能量约束之间的物理权衡,单一成像设备无法同时捕获高光谱分辨率和高空间分辨率,因此HSI–MSI融合成为生成高分辨率高光谱图像(HR-HSI)不可或缺的技术。

现有CNN和Transformer方法在融合过程中存在明显局限。CNN受限于局部感受野,难以充分建模远距离结构依赖关系;Transformer虽通过自注意力机制增强全局建模,但计算开销随输入分辨率快速增长,且基于窗口的分割策略可能导致边界区域特征连续性受损,引发纹理碎片化和光谱不一致。此外,许多融合网络将光谱和空间建模放在同一路径中进行,缺乏针对这两种不同特征的专门模块,使得模型难以同时保持光谱保真度和空间结构清晰度。状态空间模型(SSM)和隐式神经表示(INR)作为新兴方向,在高效长程建模和连续亚像素重建方面展现出潜力,但现有基于SSM或INR的融合模型常采用单流架构或模块组合松散,缺乏明确的跨模态光谱–空间对齐和跨尺度结构细化机制。这些局限性促使研究人员开展本研究。

**研究方法与关键技术**

本研究由Liu Baisen、Wang Shuaiwei、Chu Hongxia、Zheng Weiming和Kong Weili共同完成,论文发表于《Remote Sensing》。研究人员提出的DSIR-Net采用四个公开基准数据集进行评估:Houston数据集(ITRES CASI传感器采集,包含复杂城市结构)、PaviaU数据集(ROSIS传感器采集,高分辨率城市场景)、Botswana数据集(Hyperion传感器采集,30米空间分辨率,覆盖可见光至短波红外波段)和Chikusei数据集(AISA Fenix传感器采集,农业–城市镶嵌景观)。

研究所采用的主要关键技术方法包括:(1)双流框架设计,将HSI输入的光谱表示学习与MSI输入的空间结构信息提取分离为两个协调分支;(2)GCI-Block统一特征提取单元,集成门控选择性状态空间模块(用于长程依赖建模)、CBAM风格通道–空间重校准模块(用于自适应增强特征表示)和坐标条件隐式神经表示分支(用于局部重建细节校正);(3)SS2D-Ref模块,通过四方向扫描(左–右、右–左、上–下、下–上)聚合方向一致的多尺度上下文信息,以近线性复杂度实现全局上下文聚合;(4)渐进式多尺度编码器–解码器融合架构,在编码器阶段通过SS2D-Ref增强融合特征,在解码器阶段通过跳连卷积融合恢复空间分辨率;(5)残差重建策略,将低分辨率HSI经可学习模块上采样后的结果与解码器输出相加,平衡光谱保真度与空间锐度;(6)采用?1损失函数进行网络训练,增强对局部异常值的鲁棒性。

**研究结果**

**Houston数据集实验**:DSIR重建出更锐利的边界和更自然的纹理,在屋顶边缘、道路线条和植被区域等高频内容丰富区域改善最为显著。与传统方法相比,DSIR在PSNR从49.997 dB提升至52.802 dB,RMSE、ERGAS和SAM分别降低约27.6%、14.9%和16.0%。误差图显示DSIR在全场景具有一致的低误差响应,SAM图呈现最均匀且最低的分布。

**PaviaU数据集实验**:该数据集包含密集建筑和强材料对比,DSIR在屋顶图案清晰度和建筑边界干净度方面更接近参考图像。DSIR在所有报告指标上均排名第一,尤其在光谱相关指标上优势更明显,表明DSIR在该城市场景中能更准确地保留光谱信息。

**Botswana数据集实验**:该自然场景以微妙反射率变化和复杂植被纹理为特点。DSIR产生最接近参考图像的结果,保留了更连贯的植被纹理和更平滑的不同土地覆盖类型间过渡。误差图显示DSIR具有更暗且更均匀的误差分布,SAM响应最冷且最均匀,表明在混合像元区域具有更优的光谱完整性。

**Chikusei数据集实验**:该挑战性数据集包含大面积郊区和农业区域,纹理变化丰富。DSIR在所有评估指标上均排名第一,与AELF相比实现更高PSNR和SSIM,以及更低RMSE、ERGAS和SAM。重建光谱曲线在大多数波段紧密跟踪参考曲线,尤其在70–103波段的局部波动区域表现出优势。

**模块排序消融实验**:在GCI-Block中对Gate-SSM(G)、CBAM(C)和INR(I)六种排列组合的评估表明,所提出的G→C→I排序实现最优整体权衡,获得最高PSNR(44.586 dB)和最佳光谱–空间保真度。

**各组件消融实验**:在Houston数据集上的消融研究表明,完整DSIR模型在所有评估指标上表现最佳。移除CBAM导致最显著性能下降(PS降至51.1311 dB),表明通道–空间注意力在抑制光谱失真和增强信息结构方面起重要作用;移除SS2D导致PSNR降至51.4510 dB,反映SS2D在稳定跨尺度结构重建中的作用;移除门控SSM模块导致PSNR进一步下降;移除INR的影响相对最小,因其主要功能为细化残余细节而非主导全局重建。

**模型复杂度分析**:DSIR使用3.618 M参数和10.146 G FLOPs,介于轻量级CNN基线与重量级Transformer模型之间,在重建质量和计算需求之间实现合理平衡。

**讨论与结论**

研究人员在讨论中指出,DSIR在所有评估数据集上表现出始终稳定的融合性能,这归因于各核心模块的互补交互:GCI-Block首先构建跨模态共享表示,然后通过隐式细化机制校正光谱信息与空间纹理之间的残余不一致;状态空间模块高效传播长程上下文信息,对高维高光谱输入尤为重要;SS2D-Ref模块通过融合多扫描路径的方向信息增强空间重建能力。

研究同时承认存在以下局限:当前实验主要基于固定放大倍数和严格配准的HSI-MSI图像对,而真实多传感器数据常伴随空间配准误差、传感器相关噪声、辐射度差异和不匹配的光谱响应;DSIR训练依赖于预定义的退化模型,当实际成像偏离此假设时重建性能可能下降;尽管状态空间模块相对于部分重量级注意力结构具有更好的参数效率,但整体网络因引入多尺度细化机制仍存在不可忽视的计算开销,需进一步轻量化设计。

**研究结论**:高光谱–多光谱图像融合需要在光谱保真度、空间细节保持和计算效率之间取得平衡。DSIR网络通过结合长程依赖建模与局部结构细化,采用统一GCI-Block进行特征提取和跨模态对齐,并在多尺度融合阶段引入SS2D-Ref以改善跨尺度结构一致性。Houston、PaviaU、Botswana和Chikusei的实验表明,DSIR相对于代表性分解基线和深度学习基线取得始终强劲的量化性能,同时产生更干净的纹理和边缘、更少伪影和降低的光谱失真。此外,DSIR保持适度的模型复杂度,在重建质量和效率之间取得实用权衡。这些结果支持将DSIR作为下游遥感任务的有效前端模型。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号