基于卫星图像的小目标检测深度学习方法的实证分析

《Expert Systems with Applications》:An Empirical Analysis of Deep Learning Methods for Small Object Detection from Satellite Imagery

【字体: 大 中 小 】 时间:2026年01月04日 来源:Expert Systems with Applications 7.5

编辑推荐:

  小目标检测卫星遥感图像YOLOv11Faster R-CNN锚框方法Transformer模型

  
袁晓辉|阿尼夫·查克拉瓦蒂|埃莉诺·M·利希滕伯格|顾立川|魏振春|陈天
美国德克萨斯州丹顿市北德克萨斯大学计算机科学与工程系,邮编76207

摘要

尽管关于目标检测的文献众多,但针对小对象检测的实证研究却相对缺乏。此外,小对象的定义仍不明确。本文对六种先进的深度学习方法在卫星图像中小对象检测方面的性能进行了全面评估。使用了三个公开的高分辨率数据集来分析各种影响因素及其泛化能力。在六种方法中,YOLOv11在定位和适应性方面表现均衡,而Faster R-CNN则保持了稳定的检测覆盖率。基于锚框的方法需要大量的微调,而基于变换器的方法则需要更多的计算资源才能获得有竞争力的结果。此外,包括SSD、Faster R-CNN和Cascade R-CNN在内的基于锚框的方法对锚框的大小很敏感,对于小对象检测来说,较小的锚框尺寸更为合适。可变形DETR和RT-DETR方法容易过拟合。RT-DETR在部分遮挡场景(尤其是植被和阴影情况下)的检测效果更佳,而可变形DETR在密集目标群中难以识别单个小对象。通过比较单样本批处理时的计算效率发现,RT-DETR和YOLOv11的训练成本较高,优化主要集中在推理阶段;而Faster R-CNN等方法虽然内存占用较大,但计算成本和时间需求较低。

引言

目标检测为许多计算机视觉应用提供了关键信息,例如目标识别和视频中运动的跟踪(参见Yuan & Sarma (2011); Yuan, Shi, & Gu (2021); Zhou, Han, Yuan, Wei, & Hong (2017))。近年来开发了许多基于学习的方法,如一次检测(YOLO)(Redmon, Divvala, Girshick, & Farhadi (2016))、单次检测多盒(SSD)(Liu et al. (2016)以及基于区域的卷积神经网络(R-CNN)的衍生方法(例如Faster R-CNN (Ren, He, Girshick, & Sun (2015) 和 Cascade R-CNN (Cai & Vasconcelos (2018))。最近基于变换器的技术发展(如DETR (Carion et al. (2020))提高了目标检测的准确性,但计算开销较大。然而,用于卫星图像分析的目标检测方法面临独特挑战:卫星图像中的对象通常尺寸较小且分布分散,并且与不同地理位置的地形和形态有很大差异。
小对象通常根据其绝对大小(像素数量)或在图像中的相对大小来定义(参见Cheng et al. (2023); Miri Rekavandi et al. (2025))。由于缺乏区分特征,检测小对象较为困难,这导致了一些问题:关键特征缺失、与较大对象的部分混淆以及对学习过程的贡献较弱。由于可用于分析的像素有限,小对象通常缺乏纹理、区域和形状等有助于区分对象与其周围环境的线索。因此,特征提取通常仅限于颜色和上下文。在较大的视野中,多个特征模糊的小对象使得目标检测任务极具挑战性。图1展示了一张包含用绿色框标出的感兴趣的小对象(车辆)的卫星图像示例。该卫星图像的空间分辨率为0.3米,每辆车大约有150个像素。虽然车辆可以识别,但与其他地面物体(如建筑物)相比,它们的尺寸要小得多。大型物体的某些部分可能与小目标相似(例如屋顶上的物体),从而增加误检测的概率。此外,小对象对训练过程中的损失贡献较小,模型往往更倾向于关注较大对象。
从图像和视频中检测对象是一个长期的计算机视觉问题,过去几十年里已经开发了许多方法,从滑动窗口策略到深度学习方法(参见Amjoud & Amrouch (2023) 的文献综述)。最近,Sun et al. (2024) 对基于深度学习的目标检测方法进行了综述,包括基于卷积神经网络和基于变换器的方法。Huang et al. (2023) 专注于处理未标记数据的少量样本学习和自我监督学习方法。Gui et al. (2024) 总结了针对目标检测的深度学习方法,并强调了应对数据和标签限制的方法。Liu et al. (2021) 调查了从航空图像中检测小对象的方法。关于视频目标跟踪的小对象检测的最新分类研究(参见Mirzaei, Nezamabadi-pour, Raoof, & Derakhshani (2023); Xie et al. (2024))指出了各自面临的挑战,而Miri Rekavandi et al. (2025) 则强调了在检测小型船只等场景中的特定任务挑战,这些挑战涵盖了数据集获取到水中的动态反射变化等多个方面。这些研究提供了目标检测方法最新技术进展的全面视图,以及它们的时间线和地理分布。然而,这些方法的基准测试仍然不足。特别是,评估现有方法在复杂和大型卫星图像中检测小而关键对象的效果仍然需要进一步研究。此外,小对象检测还经常受到样本缺乏的影响(参见Miri Rekavandi et al. (2025))。
在本文中,我们回顾了用于在遥感图像中检测小对象的方法,并提供了实证评估,以了解方法性能和技术挑战。我们以城市卫星图像中的车辆检测和农业用地卫星图像中的蜜蜂蜂箱检测作为应用场景。基于现有调查和文献,我们选出了几种表现优异的方法进行评估。实验使用了两个公开的高分辨率卫星图像数据集(xView (Lam et al. (2018) 和 SkySat PBC (2018))。
本文的贡献包括:
  • •
    对用于卫星图像中小对象检测的深度学习方法的综述。
  • •
    对先进深度学习方法在小对象检测方面的优势和劣势的深入评估。
  • •
    对问题、进展及未解决挑战的多方面分析和讨论。
  • 本文的其余部分安排如下:第2节回顾了与小对象检测相关的深度学习方法;第3节介绍了我们的实证研究,包括评估方面和指标;第4节从五个主要方面讨论了结果,并强调了优势和存在的问题;第5节总结了本文。

    相关研究

    深度网络的最新进展产生了许多目标检测方法及其相应的综述(参见Liu et al. (2021))。Kang et al. (2022) 研究了航空和卫星数据集中的小对象检测,强调了空间分辨率对平均精度的影响。Li et al. (2022) 总结了遥感检测器的相关内容。

    遥感图像中的小对象检测

    小对象通常根据表示对象的像素数量或相对于图像大小的对象尺寸来定义(参见Cheng et al. (2023); Miri Rekavandi et al. (2025))。例如,MS COCO数据集将小于32×32像素(约1,000像素)的对象定义为小对象(图像大小约为640×480像素)。在遥感应用中,这些对象可能由一个像素或一小簇像素表示,具体取决于空间分布。

    实验设置

    xView和SkySat的原始图像被裁剪成512×512大小的瓦片。如果图像的高度和宽度都是512的整数倍,则直接裁剪瓦片;否则,通过将高度(或宽度)除以512并取整来计算瓦片数量,然后进行相应的裁剪。这样可以确保裁剪后的瓦片能够完整覆盖图像,且重叠部分较小。

    结论

    本文对用于卫星图像中小对象检测的深度学习方法进行了实证评估。由于缺乏描述性特征,小对象的检测面临很大挑战。基于现有调查和文献,我们确定了表现优异的方法,并使用xView、DOTA和SkySat图像进行了全面评估。除了使用两个不同数据集对所有方法进行比较外,我们还...

    作者贡献声明

    袁晓辉:概念提出、实验设计、验证、手稿撰写、资源整理。
    阿尼夫·查克拉瓦蒂:概念提出、软件开发、实验设计、手稿撰写。
    埃莉诺·M·利希滕伯格:验证、手稿撰写。
    顾立川:验证、手稿撰写。
    魏振春:验证、手稿撰写。
    陈天:验证、手稿撰写。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文研究工作的财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号