综述:基于YOLO的航空与卫星图像中小目标检测方法综合综述
《Remote Sensing Applications: Society and Environment》:A Comprehensive Review on YOLO-Based Approaches for Detecting Small Objects in Aerial and Satellite Images
【字体:
大
中
小
】
时间:2026年07月18日
来源:Remote Sensing Applications: Society and Environment 3.8
编辑推荐:
摘要
在计算机视觉领域中,从航空和卫星图像中检测小型物体仍是一项艰巨任务。这些物体包括行人、车辆以及小型建筑,它们通常尺寸极小、轮廓模糊,且容易被复杂的背景遮挡,从而导致难以准确识别和定位。在交通监控、应急响应、国防以及农业等诸多领域,精确的物体检测至关重要,因为这些应用都需
摘要
在计算机视觉领域中,从航空和卫星图像中检测小型物体仍是一项艰巨任务。这些物体包括行人、车辆以及小型建筑,它们通常尺寸极小、轮廓模糊,且容易被复杂的背景遮挡,从而导致难以准确识别和定位。在交通监控、应急响应、国防以及农业等诸多领域,精确的物体检测至关重要,因为这些应用都需要快速且可靠的检测结果。YOLO模型因其高效性和简洁性而被广泛使用,但其早期版本在检测小型物体时表现不佳。为改善这一问题,人们设计了多个新版本,这些改进型模型采用了更有效的特征提取方法,整合了不同分辨率图像的信息,并聚焦于图像中的关键区域。本文综述了近期为提升小型物体检测能力而设计的模型,涵盖了既有成熟模型也有新提出的模型,它们采用了不同的设计思路。文章从结构、准确率以及实际应用效果等方面对这些模型进行了比较,旨在总结当前研究进展,并为未来研究方向提供参考。
引言
物体检测是计算机视觉领域的核心任务之一,其目标是识别并定位图像或视频流中的物体。除了对物体进行分类外,还需将它们以边界框的形式标出位置。深度学习技术的出现极大提升了物体检测的性能,相关技术已被应用于自动驾驶汽车、监控系统、医学成像、交通监控以及无人机航拍等领域。如[5]、[14]、[22]、[23]、[24]中所提到的,在许多应用场景中,都需要高速检测多个物体。对于自动驾驶车辆而言,实时检测行人、汽车和道路标志对于安全导航至关重要。在医学领域,通过早期检测肿瘤可实现及时诊断,从而提升诊疗效果[49]。在灾难应对和城市规划方面,通过检测车辆、建筑物和船舶等目标,可有效实施安全监控。高性能GPU的发展为深度学习模型的训练以及其在实时应用中的运用提供了重要支撑。
如[5]、[22]、[24]所述,根据检测策略的不同,物体检测模型可分为两类:单阶段检测器和双阶段检测器。双阶段检测器如Faster R-CNN,首先生成物体候选框,然后再进行分类,虽然准确率较高,但计算成本极高,因此无法用于实时应用。相比之下,单阶段检测器如YOLO和Single Shot Multi Box Detector(SSD)可在一次处理中同时完成分类和定位,虽然速度更快,但准确率相对较低。另一种分类方式是根据模型估计物体位置的方式来划分。基于锚点的检测器在训练过程中会为物体匹配不同比例和尺寸的固定边界框,YOLOv3和SSD[14]就属于此类。尽管这种方法效率较高,但需要进一步微调,且会产生大量候选框,从计算成本角度来看较为耗费资源。为解决这一问题,人们提出了无需预定义锚点框的无锚点检测器[14],这类模型可直接检测物体的中心、角点或关键点,检测方式更为灵活高效。基于关键点的检测方法则通过识别物体上的显著点,如角点或中心,来更准确地判断物体的姿态和形状。
尽管已有诸多研究成果,检测小型物体仍然是一项具有挑战性的任务。这类物体在图像中占据的像素数量极少,且缺乏明显的视觉特征,因此很难被定位。它们还可能被遮挡、变得模糊,或隐藏在背景噪声中,进一步增加了检测难度。深度神经网络通过池化操作和步长卷积等技术降低图像分辨率,而这些操作恰恰会削弱检测小型物体所需的高分辨率细节。此外,小型物体对尺度变化、位置偏移以及背景噪声更为敏感,这在航空和卫星成像中尤为突出,因为此时相机与物体之间的距离较远。与地面拍摄的图像相比,人类、汽车和船只等物体在卫星图像中显得极为渺小,而图像中的大部分区域则是天空、水域或树木等背景,目标物体仅占极小比例。在环境监测、军事监控、边境巡查、搜救行动以及基础设施检查等应用中,都需要实现快速且准确的物体检测。所有这些应用往往都需要在计算资源有限的边缘设备上运行模型,例如无人机。因此,亟需开发适用于航空和遥感图像的轻量级小型物体检测模型。
在各类物体检测方法中,YOLO系列因其高效性和快速性而备受青睐[23]。自2016年首次推出以来,YOLO经历了多次迭代,从YOLOv1发展到目前的YOLOv8。后续版本不断优化模型架构,同时增加了特征融合方法、注意力机制以及损失函数。YOLO系列模型还能以较小的计算开销实时检测多个物体,因此非常适合在无人机、智能摄像头和手机上运行。为了突破小型物体检测的瓶颈,人们又提出了改进版的YOLO模型,这些模型融入了多尺度特征融合[42]、[43]、注意力模型[4]、[25]以及无锚点预测、轻量级卷积层和损失函数[1]、[8]、[26]等技术,以更好地应对检测挑战。还有一些研究尝试采用变换器模型,这类模型能够更好地理解图像中的上下文信息。虽然变换器模型在检测小型且分布广泛的物体时表现良好,但它们对内存需求较高,且需要庞大的数据集。为解决这一问题,人们提出了将卷积神经网络与变换器层相结合的混合模型,利用两者在局部和全局特征提取方面的优势,从而提升检测性能。
本文对54种基于YOLO的模型进行了系统性综述,这些模型均被用于提升航空、无人机及卫星图像中的小型物体检测能力。这些模型的设计旨在在检测准确率和计算成本之间取得平衡,以满足实际应用需求。综述涵盖了深度注意力机制、多模态与多尺度特征融合、轻量级骨干网络、新型损失函数、旋转与尺度不变性以及领域自适应技术等多种创新手段。文中研究的模型包括SMN-YOLO [25]、SOD-YOLOv8n [26]、MIS-YOLO [30]、PA-YOLO [11]、DS-YOLOv7 [41]、ESOD [27]、MiniAOD [17]、RPLFDet [28]、YOLO-LSD [29]、LCE-YOLO [40]、DMFF-YOLO [42]、YOLC [38]、αS-YOLO [31]、YOLO-UAT [34]、MDSF-YOLO [32]、YOLO-G3CF [16]、iYOLOv7 [33]、AB2D-YOLOv8 [43]、YOLOv5s-GhostNet [35]、SIFDAL [36]、YOLO-CSLA [39]、LEAF-YOLO [15]、ADD-YOLO [20]、DR-YOLO [1]、YOLO-ORE [44]、Ghost-YOLO [44]、YOLO-FA [44]、YOLOv5-CA [44]、S-DAYOLO [44]、SFFEF-YOLO [12]、BFA-YOLO [9]、DB-YOLO [10]、Rotating YOLO [19]、LDS-YOLO [48]、YOLO-SR [8]、SO-YOLOv8 [7]、LSOD-YOLO [13]、Sentinel-2 YOLO [2]、MFR-YOLOv10 [18]、MIR-YOLO [4]、FDI-YOLO [21]、YOLO-ESFM [37]、YOLO-STNet [3]、Thermal Infrared YOLO [47]、YOLOv8 for Eddy Detection [6]、ADR-YOLO[53]、DSG-YOLO[54]、Hedge-MamYOLO[55]、SAYOLO [56]、SUA-YOLO[57]、SuperYOLO [58]以及TAF-YOLO[59]。所有这些模型都采用了多种技术手段来应对遥感图像中小型物体检测的难题。本文的主要贡献如下:
• 对那些为小型物体检测而设计或改进的基于YOLO的模型进行了详细梳理。
• 阐述了各类模型为提升小型物体检测能力所采用的架构优化措施、设计策略以及训练方法。
• 从准确率、效率及速度等指标对这些模型进行了比较,尤其分析了它们在无人机和卫星图像应用中的表现。
• 指出了当前该领域存在的局限性,并提出了未来可能提升小型物体检测系统性能的研究方向。
第二部分探讨了小型物体检测面临的主要挑战。第三部分分析了基于YOLO的模型及其关键技术贡献。第四部分对专为小型物体检测而设计的多种现有YOLO模型进行了全面综述。第五部分介绍了常用的数据集和评估指标,随后对模型性能进行了对比分析,并开展了消融实验。第六部分提出了未来研究的方向。第七部分对全文进行了总结。
片段摘录
**小型物体检测的挑战**
在计算机视觉领域,从视频和图像中检测小型物体是一项极为困难的任务。这类物体通常只占据极少数量的像素,因此所能传递的视觉信息十分有限[14]、[50]。在遥感与航空图像中,小型物体一般指那些面积小于32×32像素,甚至仅占图像总面积不到1%的物体。不过,实际定义可能会因图像分辨率的不同而有所差异。
**YOLO在物体检测中的发展**
随着无人机、监控系统以及智能系统等应用对实时物体检测需求的不断增加,像YOLO(You Only Look Once)这样的高速高吞吐量模型应运而生。如图1所示,YOLO检测网络由一系列滤波器深度逐渐增加的卷积层组成,这些卷积层之间穿插着用于降低空间维度的全局最大池化层。更深层的卷积操作会使用高维度的卷积核,之后再接两个全连接层。
**基于YOLO的小型物体检测模型综述**
小型物体通常需要的像素数量较少,而且常常处于杂乱背景中,或在雾天、光线不足或分辨率较低等恶劣条件下存在。早期的YOLO模型虽能较好地检测中型和大型物体,但在检测小型目标时表现不佳。为提升小型目标的检测能力,人们陆续开发出了多种改进版YOLO模型,这些新模型采用了新的模块、损失函数以及更智能的架构,以针对性地解决相关问题。
**小型物体检测的评估**
本部分概述了小型物体检测(SOD)相关的数据集、评估方法、检测技术所采用的训练方式,以及基于定量结果对这些模型性能的对比分析。评估遥感图像中的小型物体检测模型时,需要充分考虑数据集的多样性、物体尺度分布、感知方式、场景复杂度以及实时部署的限制。与传统物体检测方法不同……
**讨论与未来工作**
通过对基于YOLO的SOD模型的分析,我们发现了若干针对遥感与航空图像检测难题的算法及架构创新。尽管大多数这类模型在检测准确率和效率方面都有显著提升,但仍存在诸多局限。基于我们的分析,我们提出了以下小型物体检测领域的重点研究方向:
1)基于变换器的架构:虽然注意力机制以及变换器的一些组件已得到广泛应用……
**结论**
本文围绕54种基于YOLO的架构,重点介绍了近年来小型物体检测领域的最新进展,尤其是其在航空、无人机、卫星、海洋以及遥感图像中的应用。从DS-YOLOv7 [41]、DR-YOLO [1]、FDI-YOLO [21]等高端模型,到Ghost-YOLO、MINIAOD [17]、YOLOv5s-GhostNet [35]等适合在资源受限设备上运行的轻量级模型,我们对每一款模型都从其架构设计、注意力机制等方面进行了深入评价。
**作者贡献声明**
S. Deivalakshmi:监督工作。Saravanan S:撰写原始稿件。
**伦理声明**
作者声明,本文题为“基于YOLO的航空和卫星图像中小型物体检测方法综合综述”的研究内容均为原创,且是在遵守伦理标准的前提下完成的。本研究未涉及任何人类受试者或动物的实验,也未收集或使用任何个人可识别信息。所有引用资料均标注清晰,本文符合学术写作规范。
**利益冲突声明**
? 作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
S. Saravanan | S. Deivalakshmi
NIT Trichy
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号