从噪声标签中学习复杂场景分割

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Learning Complex Scene Segmentation from Noisy Label

【字体: 大 中 小 】 时间:2026年10月23日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 10.3

编辑推荐:

  摘要深度学习技术的发展和训练集规模的扩大带来了图像分割领域的突破。然而,在复杂的分割场景中,例如涉及伪装物体、密集结构物体或病理物体时,注释的严重缺乏成为进一步发展的重大障碍。尽管弱监督方法具有更高的注释效率,但弱注释中固有的噪声对模型优化带来了巨大挑战,导致性能不佳。受不同类型

  

摘要

深度学习技术的发展和训练集规模的扩大带来了图像分割领域的突破。然而,在复杂的分割场景中,例如涉及伪装物体、密集结构物体或病理物体时,注释的严重缺乏成为进一步发展的重大障碍。尽管弱监督方法具有更高的注释效率,但弱注释中固有的噪声对模型优化带来了巨大挑战,导致性能不佳。受不同类型弱注释所提供信息的启发,我们探索了将框图(boxes)纳入训练过程的潜力。通过将框图注释视为提示,我们提出了一种基于弱半监督的对象分割(WSSOS)训练范式,旨在仅使用最少的像素级注释来实现低成本、高精度的对象分割。尽管如此,我们仍然发现了WSSOS中的两个关键挑战:仅使用框图注释选择最有价值的样本进行注释,以及如何在噪声伪标签上提升学习性能。为了解决这些挑战,我们提出了两种相应的解决方案:一种基于最大空间距离(MSD)的样本选择方法,以及一种噪声校正损失函数\(\mathcal {L}_{NC}\)。具体来说,MSD算法通过量化前景区域和背景区域之间的差异来评估样本的重要性,并利用空间距离度量进行样本选择,从而确保构建的共集(coreset)的多样性和代表性。\(\mathcal {L}_{NC}\)有助于模型在早期学习阶段学习正确的像素,并在记忆阶段纠正由噪声像素引起的梯度误差,最终实现从噪声标签中进行准确的对象分割。我们在三个具有挑战性的任务上验证了所提方法的有效性,并证明当只有20%的完全标记数据可用时,我们的方法优于现有的最先进方法。我们的代码托管在https://github.com/zhangjinCV/NoisyWSSOS。

深度学习技术的发展和训练集规模的扩大带来了图像分割领域的突破。然而,在复杂的分割场景中,例如涉及伪装物体、密集结构物体或病理物体时,注释的严重缺乏成为进一步发展的重大障碍。尽管弱监督方法具有更高的注释效率,但弱注释中固有的噪声对模型优化带来了巨大挑战,导致性能不佳。受不同类型弱注释所提供信息的启发,我们探索了将框图(boxes)纳入训练过程的潜力。通过将框图注释视为提示,我们提出了一种基于弱半监督的对象分割(WSSOS)训练范式,旨在仅使用最少的像素级注释来实现低成本、高精度的对象分割。尽管如此,我们仍然发现了WSSOS中的两个关键挑战:仅使用框图注释选择最有价值的样本进行注释,以及如何在噪声伪标签上提升学习性能。为了解决这些挑战,我们提出了两种相应的解决方案:一种基于最大空间距离(MSD)的样本选择方法,以及一种噪声校正损失函数\(\mathcal {L}_{NC}\)。具体来说,MSD算法通过量化前景区域和背景区域之间的差异来评估样本的重要性,并利用空间距离度量进行样本选择,从而确保构建的共集(coreset)的多样性和代表性。\(\mathcal {L}_{NC}\)有助于模型在早期学习阶段学习正确的像素,并在记忆阶段纠正由噪声像素引起的梯度误差,最终实现从噪声标签中进行准确的对象分割。我们在三个具有挑战性的任务上验证了所提方法的有效性,并证明当只有20%的完全标记数据可用时,我们的方法优于现有的最先进方法。我们的代码托管在https://github.com/zhangjinCV/NoisyWSSOS。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号