具有自适应标记选择与特征增强功能的轻量级图像超分辨率网络
《Knowledge-Based Systems》:Lightweight Image Super-Resolution Network with Adaptive Token Selection and Feature Enhancement
【字体:
大
中
小
】
时间:2025年12月08日
来源:Knowledge-Based Systems 8.0
编辑推荐:
黄德田|林明新|甘新伟|戴栾远|曾焕强中国福建省泉州市华侨大学工程学院,邮编362021摘要由于具备强大的长距离依赖建模能力,变换器在图像超分辨率任务中表现优异。然而,现有的基于变换器的方法面临两大挑战:其一,其自注意力机制往往平等对待所有标记,从而引入冗余关联和噪声;其二,基于
黄德田|林明新|甘新伟|戴栾远|曾焕强
中国福建省泉州市华侨大学工程学院,邮编362021
摘要
由于具备强大的长距离依赖建模能力,变换器在图像超分辨率任务中表现优异。然而,现有的基于变换器的方法面临两大挑战:其一,其自注意力机制往往平等对待所有标记,从而引入冗余关联和噪声;其二,基于窗口的注意力机制会限制模型的感受野,妨碍有效的長距离依赖建模。为解决这些问题,我们提出了TSFE——一种具有自适应标记选择与特征增强功能的轻量级超分辨率网络。具体而言,我们设计了标记选择通道自注意力(TSCA),该机制能够沿通道维度自适应选择最相关的Top-K个标记,既保留关键特征又减少冗余计算。此外,我们还提出了稀疏空间自注意力(SSSA),通过抑制低注意力权重并放大高注意力权重来强化关键特征。为扩大模型的感受野,SSSA整合了先验字典,利用外部先验引导注意力分布,进而提升其依赖建模能力。TSCA与SSSA的协同作用使得TSFE能够在保持低复杂度的前提下实现精准的自注意力计算。大量实验表明,所提出的TSFE在各项基准测试中的性能均优于现有最先进方法。
引言
图像超分辨率(SR)是一项高度不适定的逆问题,其目标是从现有的低分辨率图像观测值中重建出逼真的高分辨率图像[1][2]。尽管存在这一固有挑战,SR技术在医学成像[3]、遥感成像[4][5]、自动驾驶[6]以及视频监控[7]等诸多领域仍展现出巨大应用潜力。以医学成像为例,SR技术可以提高MRI或CT扫描的分辨率,从而辅助更准确的诊断,但大型模型的高计算成本往往使其无法在临床场景中实时应用。同样,若要在遥感或自动驾驶系统中的边缘计算平台上部署SR技术,就需要既高效又轻量的模型。这些实际需求凸显出对轻量级SR架构的迫切需求。
视觉变换器(ViT)[8]的最新进展为SR任务带来了革命性变化,它超越了那些主要依赖局部特征提取的传统卷积神经网络框架(如Shufflemixer[9]和BSRN[10]),通过自注意力机制捕捉长距离依赖关系,从而实现了更出色的重建效果。不过,一个关键问题依然存在:传统自注意力的计算复杂度会随着图像尺寸的增大而呈二次方增长,这使得它难以用于生成高分辨率图像。虽然基于窗口的自注意力方案[13][14]能够降低计算复杂度,但这类方案本质上会限制模型的感受野,进而影响长距离依赖关系的建模能力。后续的一些研究[15][16]试图通过增大窗口尺寸或引入跨窗口交互来改善性能,但这些改进往往又会带来新的计算开销。此外,大多数现有的基于变换器的方法都是独立处理所有标记之间的关联,没有考虑到不同图像区域的重要性差异。这种不加区分的处理方式不仅会导致冗余计算,还会削弱模型恢复细节和抑制噪声的能力。
为解决上述问题,我们设计了一种具有自适应标记选择与特征增强功能的轻量级超分辨率网络TSFE,该网络能够抑制冗余的标记关联,同时强化关键特征。与那些通常在空间维度上对标记进行剪枝或重新加权处理的现有基于变换器的SR方法不同,TSFE引入了两个创新组件:第一是标记选择通道自注意力(TSCA),它能够在通道维度上实现标记选择,从而保留完整的空间分辨率,避免细小纹理的丢失;第二是稀疏空间自注意力(SSSA),它通过整合可学习的先验字典和稀疏注意力机制,在不产生全局注意力带来的二次方成本的情况下扩大模型的感受野。据我们所知,TSFE是首个将通道维度的标记选择与字典引导的稀疏空间注意力相结合的SR框架。
具体而言,TSCA模块会根据各个标记的注意力得分,自适应地选择通道维度上最相关的Top-K个标记。这一策略使得自注意力计算更加精准且高效。SSSA模块则通过将可学习的字典映射到键值空间中来引入外部先验,从而增强语义集中度,并有效扩展模型的感受野,突破基于窗口的注意力机制的局限。此外,SSSA还能通过抑制低注意力得分的权重并放大高注意力得分的权重来使注意力图变得更为稀疏,进而有效减少无关标记带来的噪声。通过TSCA在通道维度上消除标记冗余,再结合SSSA在空间维度上的优化,TSFE能够在较低的计算成本下捕获最具代表性的特征。大量实验结果表明,TSFE不仅在性能上优于现有最先进方法,还能显著降低计算开销。
本文的主要贡献如下:
- •
我们提出了TSFE,这是一种全新的轻量级SR框架,它能够自适应地抑制冗余的标记关联,同时强化关键特征提取能力。
- •
我们设计了标记选择通道自注意力(TSCA),该机制能够沿通道维度自适应选择高度相关的标记,从而提升建模的准确性与效率。
- •
我们提出了稀疏空间自注意力(SSSA),该机制能够聚焦于最相关的空间交互关系,同时借助先验字典引导注意力分布,进而扩大模型的感受野。
- •
实验结果证明,与现有的最先进方法相比,所提出的TSFE在保持较低计算成本的同时,依然能实现更优异的性能。
章节节选
基于变换器的SR技术
视觉变换器(ViT)[8]的出现是计算机视觉领域的一个重大里程碑,它证明了纯变换器架构通过有效的长距离依赖建模,能够在图像分类任务中取得优异性能。为了解决ViT计算强度较高且缺乏内在空间归纳偏置的问题,后续研究引入了包含局部自注意力的分层设计。Swin Transformer[13]采用了移位窗口机制,从而实现了……
网络架构
为了解决标记关联冗余以及细节恢复不足的问题,我们提出了一种具有自适应标记选择与特征增强功能的轻量级超分辨率网络TSFE。如图1所示,TSFE架构采用简化的三阶段设计:浅层特征提取、深层特征优化以及高质量图像重建。该流程首先通过浅层特征提取模块将低分辨率输入映射到特征空间,这些初始特征……
数据集与评估指标
数据集:我们的实验使用DIV2K数据集[32]进行训练,该数据集包含1,000张具有丰富边缘和纹理细节的高分辨率(2K)图像。在评估阶段,我们采用了五个标准基准测试数据集:Set5[33]、Set14[34]、BSD100[35]、Urban100[36]以及Manga109[37]。Set5包含5张图像,便于快速验证不同类型的纹理特征;Set14包含14张图像,能够提供更广泛的内容多样性;BSD100则包含100张具有复杂场景结构的自然图像……
讨论
本节将对所提出的TSFE进行深入分析,探讨其实际应用价值、固有局限性、未来的研究方向以及潜在的应用领域。通过客观分析该方法的优点与缺点,我们旨在提供一个全面的视角,并为后续发展指明方向。
结论
本文提出了TSFE,这是一种基于变换器的轻量级图像超分辨率网络,它能够有效缓解标记关联冗余的问题。我们的框架包含了两个核心组件:标记选择通道自注意力(TSCA)和稀疏空间自注意力(SSSA)。TSCA模块采用多分支架构,并通过设置不同的K值,有选择地保留通道维度上最相关的标记,从而大幅降低冗余程度与计算成本。SSSA则……
CRediT作者贡献说明
黄德田:论文撰写——审阅与编辑、论文撰写——初稿编写、实验验证、资源准备、项目管理、方法设计、研究实施、资金获取、形式化分析、数据整理、概念构思。林明新:论文撰写——审阅与编辑、论文撰写——初稿编写、结果可视化、实验验证、软件开发、方法设计、研究实施、形式化分析、数据整理。甘新伟:论文撰写——审阅与编辑、结果可视化、实验验证、研究实施、数据整理。戴栾远:论文撰写——
致谢
本研究部分得到了以下项目的支持:国家科技重大专项项目(编号2024HZ022007)、国家重点研发计划项目(编号2021YFE0205400)、国家自然科学基金项目(编号61901183)、福建省自然科学基金重点项目(编号2023J02022)、中央高校基本科研业务费项目(编号ZQN-921)以及其他相关资助项目……
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号