编辑推荐:
红外小目标检测多模态框架LGNet首次整合语言指导和视觉信息,利用GPT-4生成目标位置文本描述指导模型注意力机制,构建LangIR数据集包含图像和文本模态,实验在IoU、nIoU等指标上显著优于传统方法,相对提升达4.41%-113.43%。
普拉纳夫·辛格·奇布(Pranav Singh Chib)| 普拉文德拉·辛格(Pravendra Singh)
印度北方邦鲁尔基(Roorkee)印度理工学院计算机科学与工程系
摘要
IRSTD(红外小目标检测,InfraRed Small Target Detection)能够在红外模糊背景中检测到小目标,对于各种应用来说至关重要。由于目标体积小且在红外小目标数据集中的分布稀疏,这一检测任务具有挑战性。尽管现有的IRSTD方法和数据集已经取得了显著进展,但它们仅依赖于图像模态,这限制了其性能。深度学习和大规模视觉语言模型的最新进展在各种视觉识别任务中表现出了出色的性能。在这项工作中,我们提出了一个新颖的多模态IRSTD框架,该框架结合了语言先验来指导小目标检测。我们利用从语言先验中得到的语言引导注意力权重来增强模型的IRSTD能力,提出了一种将文本信息与图像数据相结合的新方法。通过使用最先进的GPT-4视觉模型,我们生成了能够提供红外图像中小目标位置的文本描述,并通过精细的提示工程确保了准确性的提升。由于缺乏多模态红外数据集,现有的IRSTD方法完全依赖于图像数据。为了解决这一问题,我们创建了一个包含图像和文本两种模态的多模态红外数据集,扩展了流行的IRSTD-1k和NUDT-SIRST数据集。通过广泛的实验和全面的消融研究,我们验证了我们方法的有效性。结果显示,在NUAA-SIRST子集上,相对于最先进方法,我们的方法在IoU、nIoU、Pd和Fa方面的提升分别为9.74%、13.02%、1.25%和67.87%;在LangIR数据集的IRSTD-1k子集上,这些提升分别为4.41%、2.04%、2.01%和113.43%。
引言
红外小目标检测(IRSTD)[52]涉及在复杂、杂乱的背景中识别小目标。该任务遵循特定标准[51]:红外图像中的小目标必须占据图像总面积的0.15%以下,对比度应低于15%,信噪比应低于1.5。在红外图像[9]、[14]中检测小目标具有挑战性,因为目标体积小、红外能量随距离衰减显著,以及目标分布稀疏[22],这通常会导致物体与背景区域之间的严重不平衡。
传统上,研究人员使用图像处理和机器学习技术来检测小目标,例如滤波技术、基于局部对比度的方法和基于低秩的方法。然而,基于滤波的方法[8]只能减少均匀背景噪声,无法缓解复杂背景噪声。基于局部对比度的方法[13]在目标较暗时表现不佳。此外,基于低秩的方法[28]可以适应红外图像中的低信噪比情况,但这些方法通常性能较差[52],尤其是在具有复杂背景和多变光照条件的复杂图像中,误报率和漏检率较高。随着深度学习的出现,红外小目标检测取得了显著进步。利用卷积神经网络(CNN)的检测方法表现出了良好的性能。例如MDvsFA-cGAN[36]旨在通过对抗学习减少误报和漏检,而ACM[9]则结合了低级特征和高级语义。尽管在这一领域取得了进展,但使用现有技术对IRSTD的新视角探索仍然有限。
为此,我们首次从多模态学习的角度探索红外小目标检测,将文本信息与成像模态相结合以增强IRSTD能力。与仅依赖单一模态的输入相比,整合多种模态的信息可以显著提高小目标检测任务的效率。我们的方法有潜力为多模态IRSTD网络的发展做出重大贡献,并为未来的研究开辟新的途径。
此外,大规模视觉语言模型[1]、[16]、[35]以及预训练、微调和预测的新学习范式在各种视觉识别任务[5]、[15]中表现出了良好的效果。在这种范式中,预训练模型使用特定任务的标注数据进行微调。最近模型中还利用了视觉语言目标(如CLIP[26]),以实现图像-文本对应学习,从而提高了对象检测、语义分割等相关任务的性能。
受这些进展的启发,我们引入了一种新颖的语言引导网络(LGNet) ,如图1所示,它将文本模态与视觉数据相结合用于红外小目标检测。LGNet通过结合语言先验来增强IRSTD能力,解决了单模态方法的局限性,提供了关于目标的高级语义信息。这些先验描述了目标的存在、相对位置(例如象限信息)和自然语言中的上下文线索。在训练过程中使用语言先验可以引导模型的注意力,帮助学习红外图像中更具区分性的特征。语言先验通过CLIP文本编码器嵌入,而图像嵌入则由CLIP图像编码器生成。这些文本-图像嵌入对齐后组合成目标描述符,随后用于训练LGNet以执行IRSTD任务。
在训练过程中结合语言先验与不结合语言先验相比,可以显著提高性能。在测试时,无论是否使用语言先验,我们的方法都能正常工作。这种设计选择非常适合实时IRSTD应用,因为及时检测至关重要。因此,我们仅在训练期间使用语言先验(文本描述)。在测试时的推理过程中,我们仅依赖图像嵌入作为目标描述符。这种方法显著减少了推理时间,同时保持了相似的性能。
贡献 。我们的主要贡献有四点:
首先,我们提出了一种新颖的多模态方法,用于红外小目标检测,结合了图像和文本两种模态。据我们所知,这是首次提出用于IRSTD的多模态方法。
其次,我们利用最先进的视觉语言模型GPT-4 Vision [1]生成详细描述红外图像中小目标信息的文本描述,作为语言先验。为了引导视觉语言模型(VLM),我们精心设计了提示以确保准确检测和精确定位小目标。
第三,我们全面比较了现有的红外小目标检测方法,并证明我们提出的方法显著提升了小目标检测能力。
最后,我们为IRSTD任务创建了一个包含图像和文本两种模态的多模态红外数据集。
相关工作
相关工作
我们在学术数据库中搜索了相关文献,包括IEEE Xplore、SpringerLink、Elsevier ScienceDirect和arXiv。搜索中使用的关键词包括:“红外小目标检测”、“IRSTD”、“视觉语言模型”、“多模态融合”、“语言引导检测”、“CLIP”、“语义监督”和“文本引导对象检测”。
方法
我们使用视觉语言模型(VLM)生成语言先验,该先验包含红外图像中目标的文本描述。我们采用多种提示设计来引导视觉语言模型生成准确的描述,以便精确定位红外图像中的目标。现有的IRSTD方法(如MDvsFA [36]、ACM [9]、DNANet [18]、RKformer [47]、ISNet [52]和TCI-Former [6])仅设计用于处理图像数据,无法结合其他模态的信息。
LangIR数据集
受到具有认知和推理能力的视觉语言模型的条件文本生成能力的启发,我们构建了用于红外图像中小目标检测的LangIR 数据集。我们的数据集基于IRSTD-1k [52]和NUAA-SIRST [9]这两个流行的真实图像IR数据集,并生成了能够准确定位和描述红外图像中小目标的文本描述,以完成精确的小目标检测任务。LangIR数据集的详细信息如下
评估指标
我们使用与先前研究[6]、[11]、[17]、[23]、[38]、[51]相同的评估指标。对于性能评估,我们使用以下指标:交并比(IoU),它计算预测目标与真实目标之间的重叠比例;其表达式如下:
其中 表示交集, 表示并集。 表示预测为目标的像素。 表示真实目标像素。 表示真正例像素。
结论
在这项工作中,我们首次提出了一种将文本模态与图像模态相结合的方法,以增强IRSTD能力。利用最先进的GPT-4视觉模型,我们合成了详细描述红外图像中小目标位置的文本描述,并通过精细的提示工程确保了更高的准确性。语言先验仅在训练期间使用,而在推理期间不使用。由于训练成本是一次性开销,我们的方法更具可扩展性。
CRediT作者贡献声明
普拉纳夫·辛格·奇布(Pranav Singh Chib): 撰写——原始草稿、可视化、验证、方法论、研究、数据整理、概念化。普拉文德拉·辛格(Pravendra Singh): 撰写——审阅与编辑、撰写——原始草稿、验证、监督、方法论、研究、形式分析、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
普拉纳夫·辛格·奇布(Pranav Singh Chib) 是印度理工学院鲁尔基分校计算机科学与工程系的博士候选人。他拥有新德里贾瓦哈拉尔·尼赫鲁大学(Jawaharlal Nehru University)的计算机科学与技术研究生学位。普拉纳夫的研究兴趣在于机器学习、计算机视觉和自动驾驶。他的博士研究致力于推动自主系统和深度学习的进步。他已在国际上发表了多篇论文。