EnBoT-SORT:一种用于密集型热红外无人机的分层融合-关联跟踪算法,结合伪样本生成技术
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:EnBoT-SORT: Hierarchical fusion-association tracking with pseudo-sample generation for dense thermal infrared UAVs
【字体:
大
中
小
】
时间:2025年12月31日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
郭金鑫|詹伟达|陈宇|朱德鹏|江一春|徐晓宇|邓汉
长春科技大学国家实验电气示范中心,中国长春130000
**摘要**
热红外密集无人机目标检测与跟踪在数据层面和算法层面都面临重大挑战。在数据层面,真实世界样本的标注数量稀缺且采集成本高昂。在算法层面,主要难点在于
郭金鑫|詹伟达|陈宇|朱德鹏|江一春|徐晓宇|邓汉
长春科技大学国家实验电气示范中心,中国长春130000
**摘要**
热红外密集无人机目标检测与跟踪在数据层面和算法层面都面临重大挑战。在数据层面,真实世界样本的标注数量稀缺且采集成本高昂。在算法层面,主要难点在于处理由于目标高度密集、频繁遮挡和重新出现而导致的频繁身份切换问题。为克服这些挑战,本文提出了一种创新的红外伪样本生成方法,通过设计一种物理驱动的异构交互式退化模型(HIDM)来实现。该模型通过背景-目标协同退化机制模拟真实红外成像,考虑了多种耦合退化因素,并结合随机轨迹生成策略生成大规模的物理真实伪样本数据,显著提升了生成数据的领域适应性。在此基础上,我们提出了一个分层融合-关联跟踪框架——EnBoT-SORT。该框架采用YOLOv12作为强大检测器,并创新性地融入了动态目标密度调节器、混合特征关联引擎和轨迹连续性增强模块,有效保持了目标ID的连续性和稳定性。实验结果表明,EnBoT-SORT在密集无人机运动场景中的性能显著优于现有跟踪器,在IRT-B和IRC-B数据集上的HOTA得分分别为68.7%和67.3%,MOTA得分分别为76.2%和74.6%。此外,对真实红外和可见光数据集的跨模态实验表明,EnBoT-SORT具有很强的泛化能力。这项工作为红外密集无人机跟踪提供了从数据生成到算法优化的全面解决方案。我们的代码和数据集可在GitHub上获取。
**引言**
无人机(UAV)的热红外密集多目标跟踪被认为是智能感知中的核心任务,在边境安全、空域控制和对抗操作等领域具有紧迫的应用价值(Sun等人,2024年)。在复杂的空域环境中,实现对高密度、快速机动的小型无人机的稳健识别和连续轨迹关联仍然极具挑战性。这不仅是因为红外成像的固有低分辨率和低对比度,还由于频繁遮挡、强运动非线性和高外观相似性等干扰因素的耦合。尽管各种先进的跟踪器在可见光场景中取得了显著进展(Zhang等人,2022年;Chu等人,2023年;Cao等人,2023年;Liu等人,2024年),但在密集红外场景中仍存在两个关键瓶颈未得到解决。首先,由于红外传感器和数据采集成本高昂,真实标注样本的可用性有限,严重限制了模型的泛化能力。其次,密集场景中的频繁遮挡和轨迹中断常常导致身份切换和跟踪碎片化,现有跟踪范式尚未系统地解决这些问题(Liu等人,2025年;Aharon等人,2022年)。
为了解决数据稀缺问题,研究人员开发了多种与无人机相关的数据集,这些数据集通常可以根据采集方法分为两类:真实数据集(Jiang等人,2021年;Huang等人,2023年;Zhu等人,2023年;Svanstr?m等人,2021年)和合成数据集(Chen,2025年)。真实数据集由固定相机平台或空中无人机从空对空或地对空角度捕获。虽然它们具有真实的成像特性,但存在轨迹多样性有限、目标尺度变化范围窄和场景密度低等固有局限性。合成数据集虽然可以通过半物理模拟和运动轨迹建模扩大样本量,但在伪样本生成方面存在明显缺陷:一方面,它们依赖于简单的图像处理操作(如剪切粘贴和均匀亮度调整),缺乏对成像距离和大气散射等物理因素的耦合建模;另一方面,它们将背景和目标退化过程孤立处理,忽略了它们在真实世界环境中的交互效应,并且通常使用静态退化参数,无法捕捉连续帧之间的动态一致性。这些局限性导致合成数据和真实数据之间存在显著领域差距,使得在这些数据上训练的模型在复杂实际场景中性能下降。
近年来,提出了许多先进的无人机跟踪方法。Jiang等人(2021年)引入了首个反无人机数据集,并提出了双流特征语义一致性(DFSC)跟踪方法,为远距离无人机跟踪开辟了新途径。在此基础上,Huang等人(2023年)发布了改进的反无人机410数据集,捕捉了红外真实场景的复杂性。他们还引入了基于孪生网络的SiamDT跟踪器,利用双语义特征提取在动态背景杂乱中明确建模目标,实现了对小型无人机的有效跟踪。Zhu等人(2023年)构建了迄今为止最大的无人机数据集Anti-UAV600,并提出了EDTC协同证据检测和跟踪系统,结合了全局检测和局部跟踪。此外,一系列无人机跟踪算法在第1届(Wu等人,2020年;Liu等人,2020年;Wang等人,2020年)、第2届(Zhao等人,2021年;Gokalp Ince等人,2021年;Fang等人,2021年)和第3届(He等人,2023b年;Tang等人,2023年;Yang等人,2023年)反无人机挑战赛中表现出色。
最近,YOLO系列与SORT基跟踪器的结合在多目标跟踪方面取得了显著突破,突显了进一步探索“检测到跟踪”范式下无人机跟踪方法的必要性。YOLO系列从v5到v12(Hussain,2024年;Li等人,2022年;Wang等人,2023年;Khanam和Hussain,2024年;Tian等人,2025年)不断改进其网络架构和训练策略,在可见光场景中的检测任务中表现出色。然而,其在红外环境中的应用仍然相对有限。基于SORT的跟踪方法(如BoT-SORT(Aharon等人,2022年);ByteTrack(Zhang等人,2022年);DeepSORT(Wojke等人,2017年)通过联合建模外观嵌入(ReID)和运动来提高标准场景中的ID保留能力。然而,在密集红外无人机场景中,这些方法仍存在两个关键局限性:(1)它们严重依赖于初始检测框的质量,导致遮挡恢复期间轨迹中断;(2)它们的运动模型基于线性卡尔曼滤波,无法处理无人机的突然和非线性机动。
为解决数据和算法层面的双重挑战,本文提出了一个全面的无人机跟踪检测-跟踪框架。在数据层面,我们设计了HIDM,通过物理驱动的背景-目标协同退化机制克服了传统伪样本生成方法的局限性。与现有方法相比,HIDM具有两个显著优势。首先,它采用三阶段退化链,结合尺度-运动-可见性来准确模拟成像距离、相对运动和变化背景等多种耦合因素的影响。其次,它通过自适应的局部方差调整机制实现了目标和背景之间的物理一致性交互,有效解决了传统方法中不自然的融合问题。在算法层面,EnBoT-SORT在YOLOv12的高效检测能力基础上,集成了场景密度调节器和轨迹连续性增强器。该框架动态调整关联阈值以抑制高密度干扰,同时通过非线性运动补偿和遮挡恢复策略解决身份切换问题,从而提供了从数据生成到算法优化的闭环解决方案,适用于红外密集无人机跟踪。
大量实验表明,所提出的伪样本数据集在运动复杂性和图像结构完整性方面具有可靠的应用价值。EnBoT-SORT不仅在红外模态下表现出色,而且在可见光领域也具有很强的竞争力。
**总结**
本文的主要贡献如下:
• 我们提出了HIDM,构建了背景和目标之间的三阶段交互式退化链——包括尺度、运动和可见性。该模型高效模拟了真实世界红外无人机成像的复杂退化过程。
• 我们提出了一种完整的连续帧密集无人机伪样本生成方案,通过集成随机轨迹生成模型和目标自适应嵌入策略,实现了高保真度的密集红外无人机数据集,具有真实的运动和外观连续性。
• 我们提出了EnBoT-SORT分层融合-关联框架,创新性地融入了动态密度调节器、混合特征关联引擎和轨迹连续性增强模块。即使在初始标注不可用的情况下,EnBoT-SORT也能保持稳定的ID连续性和强大的丢失目标恢复性能。
**部分摘录**
**无人机跟踪**
无人机的多目标跟踪(MOT)已广泛应用于安全监控和交通管理等领域(Sun等人,2024年)。基于检测的跟踪范式依赖于高性能检测器(如YOLO系列(Hussain等人,2024年;Li等人,2022年;Wang等人,2023年;Khanam和Hussain,2024年;Tian等人,2025年)或Faster R-CNN(Maity等人,2021年)来提供对象位置,然后使用SORT中的身份关联算法将这些位置链接成轨迹。
**伪样本生成**
为了解决真实样本稀缺问题以及现有数据增强方法在模拟复杂退化效应、轨迹多样性和不真实的场景内交互方面的挑战,本文提出了一种基于异构退化和轨迹建模的红外无人机伪样本生成算法。该方法包括异构交互式退化模型(HIDM)、多目标轨迹生成和目标自适应嵌入与融合。
**分层融合-关联跟踪**
首先分析为什么我们在本文中选择YOLOv12和Bot-SORT作为基线方法。YOLOv12代表了YOLO系列中最先进的检测器,集成了残差高效层聚合网络(R-ELAN(Al Rabbani Alif和Hussain,2025年);FlashAttention(Dao,2023年);空间感知模块以及7×7大核可分离卷积,实现了以注意力为中心的架构,同时保持低延迟,增强了目标检测能力。
**实验设置**
A. 数据集设置。IRT-B数据集按6:2:2的比例分为训练集、验证集和测试集。图像分辨率为640×512。原始序列中的图像总数约为80,000张。移除了长序列中没有目标的样本。最终的IRT-B数据集包含25个部分,训练子集共有33,606张图像,测试子集共有8,067张图像,测试子集共有9,655张图像。IRC-B中的175个训练序列保持不变。
**局限性**
尽管EnBoT-SORT在无人机跟踪任务中表现出色,但在一般的多目标密集跟踪场景中仍存在某些局限性。首先,该框架在处理高速移动目标时,轨迹预测准确性趋于下降。其次,在极端密集的场景中,当前的外观特征匹配机制在区分相似目标方面的能力有限,可能导致身份切换频率增加。
**结论**
在我们的研究中,我们解决了热红外密集无人机跟踪领域中的两个关键挑战,即数据和算法难题。我们提出了一种伪样本生成方法和一个分层关联跟踪框架。HIDM通过三阶段物理退化链(尺度-运动-可见性)重建了真实的红外背景和目标退化,结合随机多目标轨迹生成和自适应图像融合,取得了优异的结果。
**CRediT作者贡献声明**
郭金鑫:撰写——原始草稿、方法论、概念化。詹伟达:撰写——审阅与编辑、监督、资金获取。陈宇:监督、资源、方法论、形式分析。朱德鹏:可视化、软件、数据管理。江一春:可视化、数据管理。徐晓宇:调查、数据管理。邓汉:资金获取、形式分析。
**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
**致谢**
本研究得到了吉林省发展和改革委员会项目的支持。项目名称:低轨道卫星双波段智能相机载荷的研发。项目编号:2024C021-8。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号