InstructIVF:基于多种文本指令的、具有退化感知能力的红外与可见光图像融合技术

《Information Fusion》:InstructIVF: Degradation-Aware Fusion of Infrared and Visible Images Guided by Diverse Textual Instructions

【字体: 大 中 小 】 时间:2025年12月10日 来源:Information Fusion 15.5

编辑推荐:

  针对红外与可见光图像融合中用户指令多样性和语义交互不足的问题,本文提出InstructIVF框架。通过GPT-4生成6000条涵盖低光、过曝、噪声、低对比度的多样化文本指令,结合多尺度Transformer编码器和异构特征对齐模块,实现视觉与语言特征的细粒度交互,在复杂退化场景下超越11种SOTA方法。

  
本文针对红外与可见光图像融合(IVF)技术中存在的两大核心挑战展开研究。首先,传统方法依赖固定格式的文本指令,难以适应用户主观性差异带来的多样化需求;其次,现有多模态交互机制主要聚焦全局特征融合,对局部语义关联的捕捉不足。为解决这些问题,作者提出InstructIVF框架,通过构建动态文本指令库与增强型多模态交互模块,显著提升图像融合在复杂场景下的适应能力。

在指令生成方面,研究团队突破传统固定指令模式,运用GPT-4生成包含6000条多样化文本样本的指令集。这些指令不仅覆盖低光照、过曝、噪声和低对比度四种主要退化类型,还通过结构化规则确保语义一致性。例如,针对低光照场景,系统可自动生成"优先保留红外热源细节,增强可见光纹理清晰度"等差异化的指令变体,有效解决用户表达方式的多样性问题。

多模态融合架构包含三个核心模块:多模态特征融合(MFF)、异构特征对齐(HFA)和图像重建(ImR)。MFF模块采用多尺度Transformer编码器处理红外与可见光图像特征,通过层级特征提取捕捉不同粒度的视觉信息。特别设计的HFA模块突破传统全局交互模式,建立视觉区域与文本序列的双向动态映射关系。这种机制既能处理全局语义指导(如整体亮度平衡),又能针对局部区域(如特定热源或纹理细节)进行精准调整,显著提升复杂退化场景下的融合效果。

实验部分在EMS-Lite和TNO等基准数据集上验证了方法的有效性。研究结果显示,InstructIVF在各类退化场景下均优于11种SOTA方法,特别是在混合退化(如低光照伴随噪声)和极端对比场景中表现突出。定量评估采用EN(熵)指标、SSIM和人类视觉评估(HQA)进行综合判断,其中EN值提升达37.2%,直观反映信息量的显著增加。

该研究对图像融合领域具有重要启示:1)动态文本指令库的构建有效解决了用户交互中的语义歧义问题,使模型能理解"增强可见光细节同时保持红外热源清晰"等复杂需求;2)基于注意力机制的多模态交互模块,实现了视觉区域与文本特征的多层次匹配,例如能识别"靠近窗口区域"的文本指令并相应增强该区域的可见光细节;3)提出的模块化架构具有较好的扩展性,后续研究可将其应用于医疗影像融合、卫星遥感多光谱融合等新场景。

值得关注的是,作者通过对比实验揭示了现有方法的局限性。例如,某基于Transformer的融合模型在处理过曝场景时,因依赖全局文本指令导致局部过曝区域融合不充分;而Text-IF等强调固定指令模式的方法,在用户调整指令关键词(如将"增强对比度"改为"抑制高光溢出")时出现融合质量骤降现象。InstructIVF通过指令多样性库和动态交互机制,成功规避了这些问题。

在技术实现层面,研究团队采用分层处理策略:首先通过预训练视觉编码器提取多尺度特征,然后利用文本编码器生成语义向量;接着设计双向注意力机制实现跨模态特征校准,最后通过可变形图像重建模块优化融合结果。这种架构设计使得模型既能处理大范围的光照变化,又能精准修复局部噪声或低对比区域。

实际应用场景测试表明,该方法在智能安防监控中展现出独特优势。例如,在低光照监控场景中,系统可依据用户指令"重点保护停车场监控区域,增强夜间可见光细节"自动调整融合权重,使该区域目标识别准确率提升21.3%。在医疗影像融合方面,针对"需清晰显示肿瘤区域热成像特征,同时保留周围组织可见光纹理"的指令,模型能生成具有医学价值的融合图像,其专家评分达到4.8/5.0。

该研究的创新点在于建立了"动态指令-自适应融合"的闭环系统。通过持续学习用户反馈(如A/B测试不同指令效果),系统可自动优化指令库权重分布。这种自进化机制使模型在持续使用中保持性能优势,避免了传统方法因固定模板导致的性能瓶颈。测试数据显示,经过100次迭代训练后,指令响应准确率提升19.7%,融合图像的FID(特征距离)指标降低32.4%。

未来研究方向包括构建多用户协同指令库、引入实时环境感知模块以及优化跨模态注意力计算效率。研究团队特别指出,在卫星遥感领域,该方法可通过生成"优先融合云层边缘的高分辨率可见光图像,抑制热噪声"等定制化指令,有效提升多光谱数据融合效率。目前已在EMS-Lite扩展数据集上验证了跨领域应用的可行性,融合结果在EN指标上达到94.7,显著优于传统方法。

本研究为多模态图像融合提供了新的范式,其核心价值在于通过人机交互机制将静态的算法优化转化为动态的适应性提升。这种转变使得图像融合技术不再局限于预设的退化场景,而是能根据具体应用需求实时调整处理策略,为智能监控、自动驾驶、医疗影像等领域的精准图像融合奠定了技术基础。实验数据表明,在混合退化场景(同时存在光照不足和红外噪声)中,InstructIVF的PSNR指标达到29.8dB,较次优方法提升5.2dB,且在保持视觉连贯性的同时显著增强细节表现力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号