基于多模态语义自适应残差向量的无人机逆光航拍图像亮度恢复方法

《Expert Systems with Applications》:Illumination recovery method for UAV backlit aerial images based on multi-modal semantic-adaptive residual vector

【字体: 大 中 小 】 时间:2025年12月09日 来源:Expert Systems with Applications 9.4

编辑推荐:

  张浩杰|刘小宝|顾文娟|刘佳|范汉博 中国昆明市呈贡区京明南路727号,昆明理工大学机电工程学院,650500 **摘要** 在背光条件下拍摄的无人机航拍图像往往存在前景过暗、背景过亮的问题,这会显著降低图像质量并限制其实际应用价值。现有方法缺乏对场景语义的自适应理

  张浩杰|刘小宝|顾文娟|刘佳|范汉博
中国昆明市呈贡区京明南路727号,昆明理工大学机电工程学院,650500

**摘要**
在背光条件下拍摄的无人机航拍图像往往存在前景过暗、背景过亮的问题,这会显著降低图像质量并限制其实际应用价值。现有方法缺乏对场景语义的自适应理解,在处理复杂的光照分布和多目标优化方面存在明显局限。为解决这些问题,我们提出了一种用于无人机背光航拍图像的多模态语义自适应残差向量引导式光照恢复方法(UAV-MSARV-LR)。首先,为克服现有方法中缺乏场景语义自适应的问题,设计了多模态语义自适应残差向量(MSARV)引导模块。该模块结合视觉语义聚类与文本提示嵌入技术,利用对比语言-图像预训练模型生成具有场景感知能力的自适应残差向量,从而在图像特征空间提供精确的语义引导。其次,为应对无人机航拍场景中的复杂光照分布,构建了自适应背光光照恢复网络。该网络在MSARV模块的引导下,采用编码器-解码器架构中的多尺度上下文聚合策略,有效处理空间光照差异。最后,为解决多目标优化问题,提出了包含语义对齐、内容保真度、空间连续性约束以及视觉质量评估的多阶段损失优化策略,并引入渐进式训练框架以平衡语义一致性与视觉自然度。实验结果表明,UAV-MSARV-LR在多种数据集上的视觉质量及客观评价指标均优于现有算法,为无人机背光航拍提供了有效的解决方案。

**引言**
近年来,由于具备高灵活性、低成本及快速部署能力,无人机在遥感、测绘和灾害监测等领域展现出巨大的应用潜力(Nex等人,2022;Torresan等人,2017)。然而,背光条件严重制约了无人机拍摄的航拍图像的质量与实用性。具体而言,在无人机背光成像过程中,直射阳光会导致前景物体因曝光不足而丢失细节,而背景区域则因过度曝光而无法保留可识别信息。鉴于成像传感器的动态范围有限,在极端光照条件下同时捕捉高光与阴影细节十分困难,从而导致“前景黑暗、背景明亮”的成像问题。这一问题极大地降低了无人机航拍的实际应用效果。例如,在遥感与测绘中,阴影信息的缺失会降低地形特征分类与3D重建的精度(Moon等人,2022);而在灾害监测中,建筑物结构识别的误差则会直接影响应急响应的可靠性(Khan等人,2022)。因此,提升无人机背光场景下航拍图像的光照恢复技术对于充分发挥无人机的优势并拓展其应用范围具有重要意义。

与地面摄影相比,无人机背光航拍图像的处理面临更高的技术复杂性。首先,较大的覆盖范围导致空间光照分布极不均匀。太阳辐射角度、地形遮挡以及云层变化等因素共同作用,造成明显的亮度差异(Anderson和Gaston,2013)。其次,高空飞行带来的大气衰减进一步加剧了背光条件下前景与背景之间的对比度差异,大大增加了航拍图像恢复的难度(Still等人,2019;Klemas,2015)。此外,航拍图像通常包含多种场景类型(如天空、植被、建筑物、水体),这些场景在光照响应、材料反射率以及视觉感知要求方面存在显著差异。例如,天空需要保持自然的亮度梯度,建筑物需要增强纹理,水体需保留镜面反射特性,而植被则强调色彩饱和度。这些差异要求光照恢复方法具备精细的语义感知能力与自适应处理功能。

在计算机视觉领域,针对背光图像光照恢复这一经典问题,研究人员已提出了多种解决方案。然而,这些方法在处理上述无人机航拍图像的独特特征时存在明显不足。为证明这些局限性,我们在UABD数据集上进行了全面的对比实验(详细内容见第4.3节),此处呈现关键实验结果以说明我们方法的必要性。诸如直方图均衡化(Lu等人,2023)以及基于Retinex的多尺度算法(Land,1977;Cai等人,2023)等传统技术主要针对局部光照不均问题设计,无法处理无人机航拍图像中的大规模空间变化——在这种变化中,光照分布从地面阴影到天空过曝可能跨越数千像素。随着深度学习的发展,基于神经网络的方法出现了更强的特征学习能力。虽然监督学习方法(Liu等人,2021;Zhang等人,2019;Zamir等人,2022)能够学习复杂的光照映射,但它们会对语义差异较大的区域采用统一的处理策略。为验证这一点,我们在UABD数据集上进行了初步对比实验。定量结果显示出显著局限性:RUAS(Liu等人,2021)的MUSIQ得分仅为31.838,且背景区域出现严重的过度增强伪影,其性能较我们的方法低22.1%(详细结果见第4.3节表4)。同样,ExcNet(Zhang等人,2019)的BRISQUE得分为33.428,但其天空区域出现明显的颜色偏移,且无法保持前景建筑物与背景天空之间的自然色调平衡(见图8第1行)。这些失败表明,统一处理范式无法满足多语义航拍区域(如天空、建筑物、植被)的不同恢复需求(Wei等人,2018;Jiang等人,2021)。无监督方法(Guo等人,2020)虽具有训练灵活性,但往往无法泛化到无人机背光场景。如图4所示,Zero-DCE(Guo等人,2020)的MUSIQ得分为37.540,比我们的方法低8.1%,但其高光区域出现明显的颜色失真,整体色调偏暖,降低了视觉自然度(见图8第4行)。Zero-DCE++(Li等人,2021)与SCI(Ma等人,2022)也存在类似局限性,其MUSIQ得分分别为33.722和36.354。出现这些性能下降的原因是,它们的基本假设——如局部光照平滑性及全局颜色恒定性——在存在大规模空间变化及大气散射效应的无人机飞行条件下常常被打破。近期的多模态方法(Liang等人,2023;Gaintseva等人,2024)开始融入视觉-语言理解能力。CLIP-LIT(Liang等人,2023)在颜色校正方面表现较好(PIQE得分:33.861),但在某些区域增强效果不足,且在明暗过渡处出现明显的颜色不连续现象(见图8第5行)。RAVE(Gaintseva等人,2024)是目前性能最佳的基准方法,其MUSIQ得分为39.640,虽然在细节保留方面表现优异,但在噪声抑制及暗区域亮度增强方面存在缺陷(见第4.3.2节)。与我们的方法相比,其性能差距达3.0%,这说明现有的多模态方法缺乏专门的设计架构,无法有效模拟无人机航拍场景中复杂的光照分布模式,并实现跨区域的语义自适应恢复。不同方法类别的这些局限性在表1中进行了系统总结。

这些定量与定性分析表明,现有方法在复杂航拍场景中普遍存在收敛不稳定及鲁棒性不足的问题。因此,将大规模空间变化、复杂大气传输效应以及多语义区域自适应需求整合到统一框架中,是无人机背光航拍图像恢复研究亟需解决的关键科学问题。为此,本文提出了一种名为UAV-MSARV-LR的新方法,旨在同时解决前景区域曝光不足的问题以及背景区域过度曝光的问题,实现平衡的光照恢复。在该方法中,视觉语义理解与物理约束建模深度融合,为不同语义区域的自适应光照恢复构建了统一框架。具体而言,受多模态视觉-语言模型的启发,设计了MSARV引导机制。该机制结合深度视觉语义聚类与多模态文本提示嵌入技术,利用预训练语言模型提供的高层语义先验,实现对不同语义区域的精细自适应处理。其次,开发了无人机自适应背光光照恢复网络(UAV-ABIRN),以高效处理航拍图像中的复杂光照分布。最后,构建了多目标协同优化策略,以确保在多个评估维度上获得高质量恢复图像。通过这些组件的协同整合,所提方法有效解决了无人机背光图像恢复中的核心问题:语义适应性不足、缺乏物理约束以及多目标平衡困难。主要贡献如下:
(1) MSARV机制:为解决场景自适应机制缺失的问题,提出了MSARV机制。该机制通过结合深度视觉语义聚类与多模态文本提示嵌入,建立了具有场景感知能力的自适应光照恢复框架。该框架能够准确识别航拍图像中的不同语义区域(如天空、建筑物、植被、水体)。根据各区域的特定光照响应及视觉感知需求,动态生成差异化的残差向量场,以此指导光照调整过程,有效克服了现有方法在语义感知方面的局限性。
(2) 多损失协同优化策略:为实现多维度的平衡优化,设计了一种包含语义一致性、细节保真度、空间连续性及视觉自然度在内的多目标复合损失函数。采用分阶段的渐进式训练策略,动态平衡这些目标。通过在训练过程中逐步调整各损失分量的权重,可提升整体亮度与局部对比度,同时有效缓解过度增强导致的细节丢失、颜色失真带来的视觉不自然以及空间不连续造成的块状伪影等问题。
(3) 标准化基准数据集:构建了一个名为无人机背光航拍数据集(UABD)的标准化数据集,用于无人机背光航拍场景。所有数据均采集于中国云南省昆明市。尽管该数据集集中在单一地理区域,但它涵盖了高原特有的各种地理特征——如城市建筑、林地和水体——并且涵盖了不同的气象条件(如晴天、多云及轻雾)以及多种光照场景(包括正射光、侧射光以及在不同太阳高度角下的强背光条件)。UABD不仅包含多样的场景类型与复杂的光照变化,还作为算法开发、性能评估及相关领域比较研究的统一且可靠的基准。

**相关工作**
背光图像光照恢复技术已从传统方法发展到深度学习方法。早期的恢复方法主要依赖于物理光照模型。Land和McCann(Land,1977)提出了Retinex理论,该理论将图像分解为反射率成分与光照成分,以此恢复光照。在此基础上,Jobson等人(Jobson等人,1997)发展出了单尺度Retinex(SSR),该方法利用高斯核估计光照成分。

**方法论**
基于上述分析,现有方法在无人机背光图像恢复方面存在两个核心局限性:语义感知不足以及场景适应性差。为解决这些问题,我们提出了UAV-MSARV-LR方法,该方法采用“语义感知→自适应恢复→协同优化”的流程,通过多模态语义引导实现高保真的光照恢复。如图1所示,我们的框架由三个核心模块组成:
(1) 多模态语义自适应……

**实验环境**
由于重建损失、CLIP引导损失、感知损失以及平滑损失代表不同层次的优化目标,直接联合训练容易引发梯度冲突并导致收敛不稳定。因此,采用了多阶段训练机制,以应对背光图像恢复任务中多目标优化的复杂性。前40个训练周期主要用于建立基本的重建能力,主要优化重建……

**结论**
本文提出了一种基于多模态语义自适应残差向量引导的无人机背光航拍图像光照恢复方法(UAV-MSARV-LR),旨在解决无人机背光航拍图像中前景曝光不足及背景曝光过强的问题。该方法将多模态语义信息与深度学习技术相结合。利用CLIP模型,多模态语义自适应残差向量(MSARV)模块能够生成自适应残差……

**利益冲突声明**
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

**致谢**
本研究得到了云南省重大科技计划的支持(项目编号:202302AD080001)。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号