《Journal of Imaging》:Spectral-DETR: Learnable Frequency Decomposition with Adaptive Contrastive Regularization for Robust Underground Mine Detection
编辑推荐:
地下矿山目标检测受到低照度、模糊、粉尘散射和重复隧道杂波的挑战,这些因素共同破坏了骨干网络特征,纠缠了DETR的查询,并削弱了小目标的定位。现有的增强型方法和检测器内部方法没有明确地在特征、解码器查询和框细化中传播退化可靠性。研究人员提出了Spectral-D
地下矿山目标检测受到低照度、模糊、粉尘散射和重复隧道杂波的挑战,这些因素共同破坏了骨干网络特征,纠缠了DETR的查询,并削弱了小目标的定位。现有的增强型方法和检测器内部方法没有明确地在特征、解码器查询和框细化中传播退化可靠性。研究人员提出了Spectral-DETR,一个基于RF-DETR的检测器内部可靠性框架。其核心设计是一个跨阶段可靠性路径,连接了退化感知频率分解(DAFD)、退化自适应查询对比去噪(DQCD)和显著性校准不确定性(SCU+LUE)。在Mine-Objects(14个类别,3081张图像)上,Spectral-DETR在交并比阈值为0.5时平均精度达到0.917,在阈值从0.5到0.95的平均值上达到0.493,在数据集特定的评估协议下分别超过YOLOv9m 1.6和0.8个百分点。在受控的RF-DETR验证中,三个阶段将这两个指标分别从0.883提高到0.913,从0.472提高到0.486。Spectral-DETR在ExDark上获得0.848和0.571,在ScienceDB上获得0.973和0.495。DQCD和SCU保持仅训练损失,无推理成本。
地下矿山环境中的目标检测对于安全至关重要,但低照度、运动模糊、粉尘散射和重复隧道杂波等耦合退化因素严重抑制了局部对比度、弱化了目标边界并模糊了前景结构。现有基于增强或检测器内部的方法未能有效解决退化在特征、解码器查询和定位中的可靠性传播问题。为此,研究人员提出Spectral-DETR,一种基于RF-DETR的检测器内部可靠性框架,通过跨阶段可靠性路径连接退化感知频率分解(DAFD)、退化自适应查询对比去噪(DQCD)和显著性校准不确定性(SCU+LUE),旨在应对DETR风格检测器在退化场景中骨干特征损坏、查询表示纠缠和小目标定位优化不足的三大瓶颈。该研究在自建Mine-Objects数据集(14类,3081张图像,来自井下防爆摄像头)、公开ScienceDB煤矿井下钻场目标检测数据集(5类,70948张图像,来自Zhou等)和公开低光ExDark数据集(12类,7363张图像)上验证了有效性。Spectral-DETR在Mine-Objects测试集上达到AP@0.5为0.917、AP@0.5:0.95为0.493,分别超过YOLOv9m 1.6和0.8个百分点;在ExDark上达到0.848和0.571;在ScienceDB上达到0.973和0.495。受控RF-DETR验证中,三个模块组合将AP@0.5:0.95从0.472提升至0.486,且DQCD和SCU仅作为训练损失,无推理成本。该成果发表在《Journal of Imaging》。
**主要关键技术方法**:
研究人员采用三项核心技术:①DAFD:对骨干网络中间特征图进行二维实值快速傅里叶变换(FFT),通过三个可学习高斯软掩码分解为三个频带,每个频带经场景自适应特征线性调制(FiLM)和门控网络处理,再经逆FFT(IFFT)重建至空间域,最后通过跨频带卷积融合与带缩放残差的跳跃连接输出。②DQCD:对解码器最后一层查询嵌入施加监督InfoNCE对比损失,其温度由DAFD门控统计量(各频带平均门控激活值)自适应调制,使得退化更严重的图像获得更低的温度以增强前景-背景分离。③SCU+LUE:通过MLP预测每个坐标的对数方差,利用几何显著性(基于预测框与真实框中心距离)校准对数方差目标,并对小/中目标进行精度加权的L1回归,同时保留标准GIoU损失。
**研究结果**:
- **4.1 数据集**:Mine-Objects为自建(14类,3081张,8:1:1分割,时序分离避免泄漏),ScienceDB为公开(5类,70948张,80:20分割),ExDark为公开(12类,7363张),均采用数据集特定评估协议。
- **4.2 评估协议**:报告COCO风格的AP@0.5和AP@0.5:0.95,以及类别条件的小足迹平均精度(Sm-AP,基于类别平均实例面积<32
2像素)。
- **4.3 实现细节**:采用DINOv2-Small ViT骨干,输入分辨率1344×1344,AdamW优化器,75轮训练,在单张RTX 3090上运行。
- **4.4 与先前检测器比较**:
- 4.4.1 Mine-Objects结果:Spectral-DETR在测试集上AP@0.5和AP@0.5:0.95均最高,分别达0.917和0.493,超YOLOv9m 1.6和0.8个百分点,Sm-AP@0.5为0.892。
- 4.4.2 ExDark低光结果:Spectral-DETR AP@0.5达0.848,AP@0.5:0.95达0.571,超YOLOv8l 5.1和3.7个百分点,Sm-AP增益显著。
- 4.4.3 ExDark组件消融:DAFD贡献最大单模块增益(+0.022 AP@0.5:0.95),DQCD和SCU+LUE贡献较小但一致,全模型增益超单个和。
- 4.4.4 ScienceDB结果:AP@0.5达0.973,AP@0.5:0.95为0.495,提供高粗检测召回率,但定位严格性差距存在。
- **4.5 消融研究**:
- 4.5.1 阶段消融:在Mine-Objects验证集上,DAFD单独提升AP@0.5最大(+0.022),DQCD和SCU+LUE提升AP@0.5:0.95和AP
S;三者组合从基线0.472提升至0.486 AP@0.5:0.95,正交互作用为0.003。
- 4.5.2 DAFD-to-DQCD耦合控制:自适应门控温度(依图像门控统计量)优于固定、打乱和随机模式,表明图像对齐耦合贡献额外收益。
- 4.5.3 DAFD频带数量分析:三个频带在AP@0.5:0.95上最优(0.475),更多频带收益递减,匹配地下退化物理结构(低频照明衰减、中频模糊、高频粉尘噪声)。
- 4.5.4 SCU系数敏感性:SCU斜率与中心变化对AP影响≤0.001,表明其为软先验而非脆弱超参数。
- 4.5.5 退化分层分析:全模型在更模糊(+0.017)和更暗(+0.013)的子集上相比基线增益更大,与退化依赖性一致。
- 4.5.6 跨阶段可靠性证据:各阶段机制与指标对应,DQCD耦合控制证明图像对齐,SCU+LUE的Pearson相关系数0.60支持对数方差与定位误差的关联。
- 4.5.7 定性示例:对比RF-DETR,Spectral-DETR在眩光、不均匀照明和极端黑暗场景下保留更多小目标检测。
- **4.6 效率分析**:DAFD增加0.8M参数,降低2.7 FPS;完整模型17.5 FPS(基线21.3 FPS),AP@0.5:0.95提升0.014,DQCD和SCU无推理开销。
**讨论总结**:DAFD的有效性源于地下退化频带特异性,学习到的多频带门控可针对不同退化模式调节,跨频带融合实现补偿。三个模块在检测器不同位置作用,小正交互作用表明温和协同,DAFD门控直接调制DQCD温度是核心跨阶段接口。局限性包括:FFT/IFFT导致18%吞吐量下降,未达25-30 FPS实时目标;频带数量固定,SCU先验可能依赖目标尺寸分布;仅用DINOv2-Small骨干验证;Mine-Objects紧凑导致方差风险,退化分层为描述性而非因果证据。未来工作包括动态频带分配、更广骨干验证和扩展可靠性至匈牙利匹配。**研究结论**:研究人员提出了Spectral-DETR,一种用于退化地下检测的检测器内部可靠性框架。该方法解决了DETR风格检测器的三个关联失效点:DAFD提升了频率感知特征可靠性,DQCD利用DAFD调制温度改进了查询可分性,SCU+LUE通过显著性校准精度加权提升了小/中目标定位。在领域内矿山基准、额外矿山基准和ExDark上,Spectral-DETR同时提升了AP@0.5和AP@0.5:0.95。在受控RF-DETR验证比较中,三个可靠性阶段将AP@0.5:0.95从0.472提升至0.486。该框架端到端可训练,无需外部增强网络,且DQCD和SCU为仅训练组件。