《Journal of Visual Communication and Image Representation》:Semi-supervised 2D human pose estimation via adaptive keypoint masking
编辑推荐:
摘要人体姿态估计是计算机视觉中一项基础且具有挑战性的任务。大规模且更准确的关键点标注通常昂贵且难以获取。半监督姿态估计试图利用大量无标签数据来缓解标注样本不足的问题。最新的半监督学习通常采用强-弱数据增广的教师-学生学习框架。针对固定关键点遮挡增广方法未考虑样本学习差异的问题
摘要
人体姿态估计是计算机视觉中一项基础且具有挑战性的任务。大规模且更准确的关键点标注通常昂贵且难以获取。半监督姿态估计试图利用大量无标签数据来缓解标注样本不足的问题。最新的半监督学习通常采用强-弱数据增广的教师-学生学习框架。针对固定关键点遮挡增广方法未考虑样本学习差异的问题,本文提出了一种自适应关键点遮挡方法,能够充分挖掘样本中的信息。为了进一步提高模型的泛化能力和鲁棒性,本文提出了一种双分支数据增广方案,可以对样本和特征执行Mixup。在COCO和MPII数据集上验证了所提方法的有效性,分别比当前最优的半监督姿态估计方法高出5.2%和0.3%。
引言
人体姿态估计是计算机视觉中一项基础且具有挑战性的任务,具有行为识别、人机交互和动作捕捉等各种实际应用。2D人体姿态估计是指从单张RGB图像中识别和估计人体关键点。这些关键点的准确性对于姿态描述和动作分析至关重要。Google于2014年提出了DeepPose [1],这是第一个用于人体姿态估计的深度神经网络。自那以后,基于深度学习的方法发展迅速。尽管它们显著提高了人体姿态估计的准确性和泛化能力,但由于人体姿态的高度变异性以及长尾分布的存在,准确性仍有提升空间。准确的模型依赖于包含各种人体姿态的大型精确标注数据集。遗憾的是,此类数据集难以获取。一方面,人工标注的成本高昂;另一方面,自动人体关键点标注包含噪声。为解决这一问题,一种思路是构建对噪声标签的鲁棒学习方法,另一种思路是通过少量精确标签进行半监督学习来实现同等精度。
半监督学习利用大量无标签数据来提高模型性能,减少对标注的依赖,更适合实际应用。深度半监督学习的一个新研究方向是利用无标签数据增强训练模型,使其满足聚类假设,即学习到的决策边界必须位于低密度区域。受此思想启发,Xie等人 [2] 首次将教师-学生模型应用于2D姿态估计。他们研究了半监督2D姿态估计中遇到的模型坍塌问题,并设计了一种基于关键点遮挡的有效数据增广方法。然而,该方法存在两个明显缺陷。首先,Xie等人 [2] 提出的关键点遮挡数据增广方法未考虑样本难度差异,仅采用固定量的随机数据增广,可能导致模型泛化能力下降。对于易于学习的常规姿态,较少量的关键点标注可能就足够了,而非常见姿态可能需要保留更多关键点以通过监督学习优化其识别。此外,即使对于同一姿态,不同关键点的学习难度也不同。随机选择遮挡关键点的数量可能导致某些姿态或某些关键点始终无法准确估计。其次,模型对攻击不具备鲁棒性,因为它没有利用半监督学习中的平滑假设和流形假设。设计或引入适当的增广策略,如Mixup [29],可以提高模型的泛化能力。
为解决上述问题,本文从优化角度设计了一种自适应关键点遮挡机制。该方法通过分析关键点的后验概率来估计人体姿态的难度,从而动态调整遮挡数量。在自适应关键点遮挡的基础上,本文还增加了Mixup数据增广以响应平滑假设,并增加了Mixup特征增广以响应流形假设。我们在COCO [3] 和MPII [4] 公共数据集上验证了本文提出的方法。在COCO数据集上,我们使用1K标注数据,该方法将平均精度提高了5.2%。在MPII数据集上,我们使用MPII训练集作为标注数据,AI Challenger数据集作为无标签数据。该方法将平均精度提高了0.3%。总之,我们的方法主要有三点贡献:
- •
对于2D姿态数据增广,我们提出了一种自适应关键点遮挡方法。它估计不同样本的学习难度并设置不同数量的关键点遮挡,使困难样本有更多的机会被学习。
- •
为了最大化利用无标签数据,基于教师-学生半监督学习框架,我们设计并使用了一种双分支强增广方法。一个是图像旋转和自适应关键点遮挡;另一个是样本或特征层面的随机Mixup。两种增广方法的组合可以进一步提高模型的泛化能力。
- •
我们在COCO和MPII两个公共数据集上充分实验了所提方法。实验表明,所提出的数据增广可以提供更准确和鲁棒的结果。
章节摘要
2D人体姿态估计
2D人体姿态估计的目标是从图像中准确估计人体关键点的位置和姿态,从而实现对人体姿势的视觉理解和分析。姿态估计技术大致可分为两大类方法:基于热图的方法 [5]、[6]、[7]、[8]、[9]、[10] 和坐标回归方法 [11]、[12]、[13]、[14]。基于热图的方法利用二维高斯分布来表示关键点的检测
初步
我们的方法将数据集分为标注数据集合 和无标签数据 。其中X、N和M分别表示图像、标注数据的数量和无标签数据的数量。公式中的H为热图的真值。许多当前方法将姿态估计视为热图估计任务,为每个关节估计一个热图。热图中每个像素值表示该位置是身体关键点的概率。因此,
基线方法与我们的方法
在实验中,我们将所提方法与半监督姿态估计领域的几个基线和现有方法进行比较。我们考虑的基线和方法如下:
监督学习 这是一种有监督的2D人体姿态估计方法。该方法的网络结构非常简单。它仅在ResNet中插入几层反卷积层,将低分辨率特征图扩展为原始图像大小。最后,输出所需的
结论
在本工作中,我们提出了一种自适应关键点遮挡方法,该方法利用可训练网络对样本进行粗粒度分析,确定每个样本的难度等级,并根据其难度动态调整遮挡数量。这种增广方法有助于网络在人体姿态估计中实现更准确的半监督学习。我们还提出了一种更好的强-弱增广框架,将图像或特征层面的
利益冲突声明
作者声明,他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文所述工作的独立性。
孟可馨|李瑞瑞|姜大光|潘晨曦