用于夜间行人检测的轻量级尺度特定与互补性正则化可见光-热成像融合

《Optics & Laser Technology》:Lightweight scale-specific and complementarity-regularized visible–thermal fusion for nighttime pedestrian detection

【字体: 大 中 小 】 时间:2026年10月22日 来源:Optics & Laser Technology 4.6

编辑推荐:

   摘要夜间行人检测受益于互补的可见光与热成像传感,但由于模态可靠性随光照条件和特征尺度变化,有效融合仍然困难。我们提出了一种轻量级双流检测器,结合了尺度特定的跨模态融合(SSCF)、光照感知加权(IAW)和模态互补性正则化(MCR)。SSCF在多个特征层级学习不同的可见光-热成

  

摘要

夜间行人检测受益于互补的可见光与热成像传感,但由于模态可靠性随光照条件和特征尺度变化,有效融合仍然困难。我们提出了一种轻量级双流检测器,结合了尺度特定的跨模态融合(SSCF)、光照感知加权(IAW)和模态互补性正则化(MCR)。SSCF在多个特征层级学习不同的可见光-热成像交互。IAW使用可见光图像的亮度来调整场景级的模态权重。MCR在训练期间对配对的全局池化P5特征添加平方余弦惩罚,不改变推理图。在LLVIP上,完整模型在置信度阈值为0.25时达到0.8821的VOC-AP@0.5。与仅RGB和早期融合基线相比,分别提升了11.5和7.3个百分点。组件分析表明MCR是全球AP增益的主要来源,而IAW在中等和明亮夜间子集中改进了MCR配置。在KAIST Night-20上额外训练和评估,达到0.4774的VOC-AP@0.5(τ = 0.25),展示了所提出设计在第二个夜间可见光-热成像数据集上的有效性。

引言

可见光和热成像传感器为监控和安全关键系统中的行人检测提供了互补的观察结果[1]、[2]。可见光图像保留了颜色、纹理和上下文细节,但在光照不良时性能下降。热成像通过记录发射辐射在夜间仍能提供信息,尽管其外观细节较少[3]。有效的夜间检测因此依赖于将稳定的热响应与可见光模态中的残余外观信息相结合[4]、[5]。
最近的检测器采用图像级集成、跨模态注意力和多级特征融合[2]、[4]、[6]。夜间有三个问题特别值得关注。第一,特征层级在空间分辨率和语义内容上存在差异,这需要针对每个尺度角色进行自适应的跨模态交互。第二,固定或弱自适应融合无法完全响应场景级光照变化[3]、[7]。Illumination-Guided RGBT [3]和IGT [8]估计了光照依赖的权重,但紧凑亮度提示与端到端检测之间的关系仍未充分探索。第三,检测目标监督预测输出,但没有明确约束两个特征流之间的跨模态相似性。
这些挑战是相互关联的。光照改变两个模态的相对可靠性,而特征尺度决定它们的局部细节和语义上下文如何交互。因此,检测器应该在不同尺度上自适应跨模态融合,并在训练期间保留互补表示。
为满足这些要求,我们开发了一种轻量级双流检测器,集成了尺度特定的融合、亮度引导的加权,以及互补正则化优化。主要贡献如下。
  • (1)
    尺度特定的跨模态融合单元在P3、P4和P5特征层级学习不同的可见光-热成像交互。
  • (2)
    MCR在训练期间对配对的全局池化P5特征添加平方余弦惩罚,不改变推理图。组件分析表明它是全球AP增益的主要来源。
  • (3)
    轻量级光照感知模块将可见光图像亮度转换为场景级模态权重,并在中等和明亮夜间子集中改进了MCR配置。

章节片段

可见光-热成像融合用于夜间检测

可见光-热成像检测器在特征提取前或模态特定流内融合信息。早期融合连接输入图像,但对模态特定表示学习的控制有限[3]、[5]。双流方法保留独立编码器,并在选定特征层级引入跨模态交互。代表性设计包括MFPT [6]、ICAFusion [4]、LRAF-Net [2]、C2Former [9]和DAMSDet [10]。对于弱对齐的图像对,方法……

整体架构

检测器使用两个基于YOLOv8s的骨干网络处理三通道可见光图像和单通道热成像图像。每个流生成具有128、256和512通道的P3、P4和P5特征。SSCF单元在每个尺度融合配对特征,IAW使用可见光图像亮度调节它们的模态权重。MCR在训练期间作用于池化后的P5特征。融合特征金字塔随后被送入YOLOv8风格的PAN-FPN颈部和自定义解耦检测头。……

数据集和训练细节

LLVIP包含15,488对夜间获取的对齐可见光-热成像图像对[38]。我们使用官方划分,包括12,025张训练图像和3,463张测试图像。
骨干网络和匹配的PAN-FPN块从COCO预训练的Ultralytics YOLOv8s检查点[39]初始化。第一个热成像卷积通过通道平均对应的RGB权重进行初始化。自定义检测头、SSCF单元和IAW模块从头开始训练。模型训练50个……

整体检测性能

完整模型达到0.8821的VOC-AP@0.5(τ = 0.25)(表1)。仅RGB、仅TIR和早期融合检测分别达到0.7669、0.8079和0.8086。因此,完整模型与仅RGB和早期融合检测相比分别提升了11.5和7.3个百分点。
在FPPI = 0.1时,完整模型将漏检率从仅RGB检测的0.4209降低到0.1967。
SSCF+MCR达到0.8709的VOC-AP@0.5。添加IAW将AP增加到0.8821,并将漏检率从……

结论

我们提出了一种轻量级双流检测器,将尺度特定的可见光-热成像融合与亮度引导的加权及互补正则化训练相结合。独立的SSCF单元在P3、P4和P5建模跨模态交互。IAW调整场景级模态偏置,而MCR在训练期间对配对的全局池化P5特征添加平方余弦惩罚,不改变推理图。
完整模型在LLVIP上达到0.8821的VOC-AP@0.5(τ = 0.25)。组件……
本研究使用的LLVIP数据集可从原作者处公开获取。用于跨数据集泛化和领域偏移压力测试的KAIST多光谱行人数据集[42]和CVC-14数据集[43]同样可从原作者处公开获取。供同行评审使用,提供了一个匿名仓库:https://anonymous.4open.science/r/Anonymous_code-ED20/。该仓库包含训练和评估脚本、配置文件……

CRediT作者贡献声明

柯新琦:撰写——审阅与编辑,撰写——初稿,可视化,验证,软件,方法学,调查研究,正式分析,数据整理,概念构思。

生成式AI和AI辅助技术在写作过程中的声明

在本工作准备过程中,作者使用了AI辅助语言工具来改善稿件的组织、语言和可读性。使用工具后,作者根据需要审阅和编辑了内容,并对已发表论文的内容承担全部责任。

资助

本研究未获得公共、商业或非营利部门资助机构的任何专门资助。

利益冲突声明

作者声明不存在已知的竞争性财务利益或个人关系,这些关系可能影响本文报告的工作。
柯新琦
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号