基于大核注意力与跨高度策略的轻量级无人机图像超分辨率方法

《Expert Systems with Applications》:Lightweight UAV Image Super-Resolution Method Based on Large-Kernel Attention and Cross-Height Strategy

【字体: 大 中 小 】 时间:2025年12月11日 来源:Expert Systems with Applications 9.4

编辑推荐:

  Tian Tian|Wenzhong Yang|Yabo Yin|Danni Chen|Xiaoming Tao新疆大学计算机科学与技术学院,中国新疆乌鲁木齐市830046摘要无人机图像超分辨率算法是提升成像质量的关键技术,在众多应用领域发挥着重要作用。然而现有研究往往未能充分考

  
Tian Tian|Wenzhong Yang|Yabo Yin|Danni Chen|Xiaoming Tao
新疆大学计算机科学与技术学院,中国新疆乌鲁木齐市830046

摘要

无人机图像超分辨率算法是提升成像质量的关键技术,在众多应用领域发挥着重要作用。然而现有研究往往未能充分考虑高度变化带来的复杂退化因素,这限制了模型在实际场景中的泛化能力。同时,模型参数和计算成本的急剧增加也阻碍了其在无人机平台上的应用。为解决这些问题,我们提出了一种轻量级无人机图像超分辨率方法,该方法结合了改进的大型核注意力机制与专为无人机成像设计的新型跨高度退化建模策略。首先,我们设计了一种跨高度超分辨率策略,通过联合模糊核与噪声估计来构建退化模型,从而生成真实的高高度图像数据。其次,我们开发了多尺度可分离大型核边缘注意力网络,该网络通过可分离分解和多尺度特征聚合扩展了传统大型核注意力的功能,使得其能够有效处理无人机特有的退化问题。该网络运用多尺度大型核注意力模块捕捉不同尺度间的长距离依赖关系,通过双尺度前馈门控单元获取高频与低频信息,最终通过保边前馈网络提升边缘细节的清晰度。大量实验表明,相较于现有的轻量级模型,该网络在退化建模与注意力设计方面实现了创新性整合,性能更为优异。在×4任务中,与SPAN相比,它在Urban100数据集上的PSNR值提升了0.16dB,同时参数量和计算成本分别降低了38.7%和34.7%;在与SAFMN相比时,它在我们自建的LowH数据集上的PSNR值提升了0.07dB。跨高度策略使平均NIQE值降低了28%,显著提升了模型对未知退化情况的适应能力。此外,在ISPRS Vaihingen数据集上的应用评估显示,该方法不仅提升了低级重建质量,还在下游语义分割任务中取得了优异成绩,其mIoU值在所有轻量级超分辨率模型中最高。

引言

高分辨率无人机图像已成为多个领域的核心数据源,包括精准农业以及资源调查等。更高的空间分辨率有助于揭示地面物体的细微结构特征,从而为各类高精度应用提供重要支持。然而,由于硬件升级的成本高昂以及技术限制,进一步提升成像分辨率面临着巨大挑战。在此背景下,超分辨率技术成为提升无人机图像空间分辨率的重要研究方向。
随着深度学习技术的发展,超分辨率领域出现了许多基于深度学习的创新方法。Dong等人提出的SRCNN开创了基于卷积神经网络的超分辨率模型发展历程。随后,残差连接、注意力机制等关键技术的引入进一步提升了基于CNN的超分辨率模型的性能。不过,无人机图像通常具有复杂的地面物体结构且局部相似性较高,CNN模型在捕捉长距离信息方面的能力有限,这严重制约了其在无人机图像处理中的应用效果。近年来,研究人员利用Transformer架构强大的长距离依赖建模能力,开发出了多种基于Transformer的超分辨率模型。然而,核心的自注意力机制会导致较高的计算成本,难以应用于轻量级模型中。目前,大量研究致力于设计更轻量的超分辨率模型,通过优化模块结构、采用大核卷积、蒸馏技术、Mamba架构以及重参数化等方法,这些高效超分辨率方法已取得了出色的重建效果。但对于超分辨率任务而言,感受野的大小对重建质量至关重要,更大的感受野可以利用更多像素来提升重建结果。尽管有些研究通过增大卷积核尺寸来获取更多像素以提升重建质量,但单尺度卷积可能会导致局部信息丢失。
此外,由于无人机具有独特的“从地面到空中”的拍摄视角,且易受飞行高度、速度及大气条件等多种因素的影响,其拍摄的图像往往存在运动模糊和复杂噪声,这与自然图像有很大差异。理想的超分辨率模型应使用覆盖相同区域、同一时间拍摄且具有不同空间分辨率的真实高分辨率与低分辨率图像对进行训练。然而,获取这类严格配对的真实数据集不仅耗时耗力且成本高昂,技术难度也极大。目前,大多数研究采用简化方法模拟图像退化过程,比如合成降采样等。但这种方法在应用于真实、复杂且多变的无人机作业场景时,往往会导致模型性能大幅下降,因此难以满足实际应用需求。虽然也有部分研究尝试在真实退化条件下构建配对数据集,但这种方法存在数据获取周期长、经济成本高的固有缺陷。
为解决上述问题,我们提出了一种轻量级无人机图像超分辨率框架,该框架将新型跨高度退化策略与改进的大型核注意力机制相结合,形成了专为无人机设计的统一解决方案。首先,我们设计了跨高度超分辨率数据生成策略,该策略通过分析真实高高度低分辨率数据来构建图像退化模型并建立退化数据池,进而基于该数据池生成具有无人机飞行高度引起的退化特征的训练数据。其次,我们设计了名为多尺度可分离大型核边缘注意力网络的轻量级超分辨率模型,该网络由多尺度可分离大型核注意力模块、双尺度前馈门控单元以及保边前馈网络三个核心组件构成。多尺度可分离大型核注意力模块能够有效处理长距离依赖关系并形成较大的感受野;双尺度前馈门控单元可在保持较低计算成本的同时捕获有效的低频与高频信息;保边前馈网络则能提升图像边缘信息的清晰度与准确性。与其他最先进的轻量级超分辨率模型相比,该网络在参数更少、计算负荷更低的情况下仍能实现更优异的性能。图1展示了不同轻量级模型的参数数量与性能之间的关系。
本研究的主要贡献如下:
  • •
    我们提出了一种新的跨高度超分辨率策略,通过从不同高度拍摄的真实无人机图像中估计模糊核与噪声分布,从而构建出真实的退化数据池,进而生成能够体现高度差异的训练数据对,弥补了合成数据与真实数据退化效果的差距。
  • •
    我们设计了多尺度可分离大型核注意力模块,将该模块对传统大型核注意力机制进行了可分离、多尺度的重构,这种设计使得模型能够以更低的成本实现动态的感受野扩展,且更能适配无人机成像的特点。
  • •
    我们提出了双尺度前馈门控单元,该单元通过双路径结构同时捕获低频上下文信息与高频边缘特征,实现了比现有轻量级超分辨率模型更强的频率自适应表征能力。

章节节选

相关工作

本节对现有文献进行了系统梳理,涵盖了基于CNN的超分辨率方法、基于Transformer的超分辨率方法、轻量级超分辨率模型方法、基于Mamba的超分辨率方法以及无人机图像超分辨率方法等相关内容。

方法论

在本节中,我们首先详细介绍了所提出的多尺度可分离大型核边缘注意力网络的架构及其专门设计的内部模块,随后阐述了跨高度超分辨率策略的思路与实现流程。

数据准备

本研究共使用了三个数据集开展实验:一个基准数据集、我们自建的LowH数据集以及DFH数据集。基准数据集包括了常用的高质量训练数据集以及相应的测试数据集。
LowH数据集是一种复合数据集

MSLKA的作用

为评估MSLKA模块的设计合理性,我们对它的多尺度策略及核分解结构进行了消融实验。如表6所示,我们首先研究了卷积核大小对模型性能的影响。在Urban100和LowH数据集上的测试结果表明,持续增大核尺寸并不能始终带来性能提升,这是因为在图像超分辨率任务中,长距离相关性与局部纹理特征

结论

这些研究结果证实,我们所提出的跨高度退化建模与可分离大型核注意力机制构成了一种原创且统一的整体设计思路,而非简单地将现有组件组合在一起。我们解决了无人机图像超分辨率技术中的两个核心问题:对轻量级模型的需求以及模型对现实世界图像退化现象的适应性不足的问题。我们提出的综合解决方案既包含了数据生成策略,也包括了高效的网络架构。首先,我们

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号