《Knowledge-Based Systems》:IGCDet: Independence Guided Co-Training for Sparsely Annotated Object Detection
编辑推荐:
针对稀疏标注目标检测中多分支模型输入依赖性强的问题,提出图像独立性分解(IID)方法增强分支独立性,并引入联合置信度(IoU与分类置信度结合)优化伪标签生成,有效缓解标注缺失对训练的影响,实验验证其在COCO数据集上达到SOTA性能。
Jian-Xun Mi|Jiahui Feng|Haiyang Wang|Yanjun Wu|Ranzhi Zhao|Chang Liu
中国重庆邮电大学图像认知重点实验室,重庆,400065
摘要
对象检测模型在具有完整注释的数据集上可以实现出色的检测性能。然而,由于高昂的人工和时间成本以及不可避免的注释缺失问题,要求每个数据集都具备完整的注释是不切实际的。因此,注释的缺失可能会提供误导性的监督信息,从而损害训练过程。最近的一些方法通过应用协同挖掘(Co-Mining)取得了显著的效果。然而,协同挖掘中各个分支的独立性无法得到保证,这在多视角训练过程中会忽略有价值的信息。为了解决这个问题,我们提出了一种基于独立性引导的协同训练模型(IGCDet),该模型利用图像独立性分解来确保每个协同训练分支的独立性。该模型旨在尽可能广泛地捕捉图像中的不同视角,识别缺失的注释,并将它们作为正样本纳入训练过程。此外,我们提出使用结合分类和回归得到的联合置信度(Joint-Confidence)作为伪标签分数,有效缓解了与伪标签偏差相关的问题。广泛的实验验证了所提出方法的有效性。
引言
完全注释的对象检测总是假设数据集的注释是详细且准确的[1],[2]。然而,由于不可控因素和手动注释过程中的错误,在现实世界场景中实现详细准确的注释是不切实际的。稀疏注释对象检测(SAOD)解决了在训练数据中遇到缺失注释时提高对象检测鲁棒性的问题[3]。它假设每个训练图像中都可能存在未注释的对象。这个数据集的核心问题是在训练期间分配标签。稀疏注释减少了真正例的数量,并引入了假负例,从而降低了网络性能。以前的研究提出了一些有效的采样策略[4],[5],[6],[7],[8],[9]来解决稀疏注释的问题。软采样[4]通过考虑感兴趣区域(RoIs)与已注释实例的重叠来调整损失。背景重新校准损失(BRL)[6]将未标记的实例解释为具有挑战性的负样本,并相应地重新校准其相关损失。
部分感知采样[5]忽略了作为更大主题类别组成部分的部分类别的分类损失。SparseDet[9]将稀疏注释对象检测视为区域级别的半监督对象检测问题,对标记和未标记的前景区域进行不同处理。协同挖掘[8]使用图像的两个视图,并利用一个视图的预测和真实值来训练另一个视图,反之亦然。这种直接而高效的策略涉及从多个角度探索潜在的未标记样本。同时,它利用师生模型将挖掘到的样本整合到训练过程中。我们发现了这种方法的两个主要缺点:
1) 多分支网络难以有效区分不同的未标记样本。这种限制源于不同分支输入之间的缺乏独立性,这阻碍了网络从多样化视角感知输入图像的能力。
2) 不可靠的分类置信度可能导致生成不准确的伪标签。
在本文中,我们主要关注协同训练中的输入独立性问题[11],[12],旨在提高多学习者模型的性能。基于不一致性的方法利用多个学习者,学习者之间的不一致性对于有效利用未标记数据至关重要。协同训练方法是这类方法的一个重要类别,它利用了多个视图的互补性。理论证据表明,如果两个视图足够且条件独立,协同训练可以利用未标记样本将分类器的泛化性能提升到任意高度。然而,在实际任务中实现视图之间的条件独立性往往具有挑战性,这限制了这些方法的有效性。尽管如此,研究表明,增强视图之间的独立性可以有效提高分类器的性能[11]。
这些组件以及原始图像共同作为我们模型每个分支的输入。模型共享一个通用的主干网络。在检测头中,其他分支生成的伪标签与每个分支的真实标签集结合在一起。这形成了一个更全面的集合,对该分支进行积极的监督。这种多视角协同训练策略确保了输入独立性,并通过挖掘更多未标记样本展示了其优势。图2表明,通过独立分解处理的分支比基于数据增强处理的分支表现出更好的独立性。我们对原始图像和独立分解后获得的三个组件进行了独立性分析,并将其与ColorJitter、高斯模糊和随机擦除等数据增强方法进行了对比。为了测量图像独立性,我们使用了以下公式定义的相关系数:其中cov(X, Y)表示X和Y之间的协方差,σX和σY分别是X和Y的标准差。
通过从各个角度全面探讨独立性的概念,我们的目标是提高伪标签过滤的效果,并减轻稀疏注释对分类分支的负面影响。这将通过将分类和bbox回归分支的预测结合起来在检测头中实现。因此,我们将预测框和真实值之间的IoU分数纳入分类分支的分类分数中。具体来说,我们使用了联合置信度模块[13]来整合IoU分数和分类分数。我们将在以下部分介绍这种方法的好处。
本工作的主要贡献如下:
1) 我们提出了一种图像独立性分解方法,用于在稀疏注释的数据集上改进对象检测模型,解决了协同训练中分支间相关性的问题。
2) 我们引入了联合置信度作为协同训练中伪标签的度量标准。该度量标准结合了预测和已注释边界框之间的IoU以及分类分数,有效解决了伪标签偏差问题。
3) 广泛的实验表明,我们的方法在COCO数据集的各种稀疏设置中取得了最先进的结果。
本文的其余部分组织如下。第2节回顾了之前的相关工作。第3节讨论了我们对图像处理的ICA实现以及联合置信度在训练中的重要性。第4节展示了定量和定性结果。
部分摘录
监督对象检测
近年来,对象检测取得了显著进展,方法通常分为两类:两阶段和一阶段检测器。两阶段方法,如RCNN[14]及其变体[15],[16],[17],[18],[19],首先生成潜在的对象提案,然后使用感兴趣区域(RoI)头进行分类或细化。相比之下,一阶段检测器[20],[21],[22],[23]直接从预定义的锚点预测类别和偏移量。此外,无锚点
方法论
在本节中,我们首先详细介绍了如何使用ICA解决SAOD的分支独立性问题。然后,我们提出了一种联合置信度方案来解决伪标签的偏差问题,进一步提高了我们方法的性能。
实验
在本节中,我们首先介绍了使用的数据集,包括训练集和验证集的划分方式,然后描述了评估指标和训练细节。最后,展示了与其他现有最先进方法的比较和分析。
结论
在本文中,我们介绍了IGCDet,它结合了IID和联合置信度模块。我们的定性结果突出了提高输入独立性对于识别稀疏注释数据集中未标记样本的好处。我们通过一系列在SAOD中的实验评估了联合置信度模块对提高分类准确性的影响,并验证了我们方法的有效性。IGCDet是一种适用于
作者协议
提交的工作要求待审作品尚未发表。一旦被接受,作者将授权知识系统部分或全部发布和分发手稿。作者的名字将始终包含在手稿的出版物中。作者拥有以下非独占权利:(1)在作者的教学活动中使用手稿;(2)发布手稿,或允许其部分
CRediT作者贡献声明
Jian-Xun Mi:软件、资源、方法论、概念化。Jiahui Feng:调查、方法论、软件、写作——审阅与编辑。Haiyang Wang:方法论、软件、写作——审阅与编辑。Yanjun Wu:写作——初稿、软件、方法论、调查。Ranzhi Zhao:写作——审阅与编辑、写作——初稿、可视化、数据管理。Chang Liu:验证、监督、资源。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金(编号62221005)和重庆市教育委员会科学技术研究计划(资助编号KJQN202100638)的支持。