安全头盔佩戴数据集SHWD的近似重复污染系统性审计及其对基准评估准确性的影响量化

《Applied Sciences》:Near-Duplicate Contamination in a Widely Used Safety Helmet Detection Benchmark: Audit, Controlled Experiments, and a Duplicate-Aware Evaluation Split

【字体: 大 中 小 】 时间:2026年10月22日 来源:Applied Sciences 2.5

编辑推荐:

   公共基准数据集推动了基于视觉的安全监测研究,而安全头盔佩戴数据集(SHWD)已成为头盔佩戴检测的事实标准。本文报告了对SHWD的系统性近似重复审计,并衡量了由此发现的污染问题对基准测试中报告准确性的影响。采用一种两阶段匹配流程——64位感知哈希配合互补的缩略图相关性验证——结

  公共基准数据集推动了基于视觉的安全监测研究,而安全头盔佩戴数据集(SHWD)已成为头盔佩戴检测的事实标准。本文报告了对SHWD的系统性近似重复审计,并衡量了由此发现的污染问题对基准测试中报告准确性的影响。采用一种两阶段匹配流程——64位感知哈希配合互补的缩略图相关性验证——结果表明,7581张图片中有2288张(30.2%)属于193个近似重复簇,其中最大的簇包含来自同一固定相机的802帧;1517张官方测试图片中有421张(27.8%;在不同匹配阈值下为22%–29%)在训练集中存在近似重复的图片。对350对图片进行盲法人工评估发现,100%的通过图片来自同一固定相机的帧(其中28%为严格近似重复)。使用YOLOv8n进行的对照实验(每组三个随机种子)量化了这一后果。在测试数据固定的情况下,移除1534张污染训练图片后,污染测试子集上的mAP@0.5下降了4.4个点;一个规模匹配的随机对照实验表明,这一差异并非数据量效应;在完整官方测试集上,相对于去重模型膨胀了1.92个点,相对于对照模型膨胀了1.35个点。一项在固定训练集领域组成的前提下进行的簇不相交实验表明,来自与测试帧相同相机和会话的帧在那些帧上又增加了0.6个点,因此在官方划分下的差距大部分反映了污染图片所提供的教室影像内容,而非对特定帧的识别。追溯图片来源显示,从SCUT-HEAD教室视频数据集中导入的测试图片有97.1%受到污染,而真正的头盔影像仅为3.0%–5.5%,且这一效应仅局限于导入子集(该子集上+8.1个点,头盔影像上?0.4个点)。使用YOLOv8s(污染子集上+2.1个点)和RT-DETR-l(+2.8个点)均可复现这一膨胀现象。移除占训练集25.3%的污染图片后,干净测试子集上的准确性在种子变异范围内保持不变(?0.14个点)。重复图片列表、感知重复的评估划分以及审计代码已公开发布。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号