从单张图像中恢复人体/手部网格(HMR)[3], [7], [17], [29], [38] 的目标是从单张图像或视频帧中重建具有统一拓扑结构和精确几何形状的3D人体/手部网格。作为计算机视觉中的一个基本任务,它已被广泛应用于AR/VR、虚拟头像创建和运动分析[11], [45], [60]等领域。随着SMPL [35]和MANO [44]等参数化模型的出现,参数化回归逐渐主导了人体/手部网格重建领域。这些方法通常采用编码器-解码器架构,从输入图像中提取潜在特征,然后回归参数(即形状、姿态和全局方向)。由于参数化模型具有拓扑结构和强大的生物力学先验,即使在遮挡或不完整的视觉线索下,参数化回归方法也能表现出较强的泛化能力[24], [29], [32], [44]。
最近的参数化回归方法在准确恢复3D网格方面展现了令人印象深刻的表现[10], [22], [24], [61]。为了降低计算成本和内存使用,并便于在资源有限的设备上部署,现有方法倾向于使用带有模型压缩技术的卷积神经网络(CNNs)[3], [4], [53], [64]。特别是二值神经网络(BNNs),它们将权重和激活值强烈量化为1位,从而显著减少了硬件开销。在本文中,我们专注于使用二值CNNs进行高效的3D参数化网格恢复。
二值卷积神经网络(BCNNs)已在不同的任务中得到广泛应用,如图像分类(例如XNOR-Net [43], Bi-realNet [34], ReActNet [33])、对象检测(例如BiDet [49], JDBNet [52])和图像超分辨率(例如FRB [63])。然而,直接将这些方法应用于参数化人体/手部网格恢复会导致准确度显著下降。HMR需要精确地回归姿态和形状参数,这些参数对量化噪声非常敏感。即使是关节旋转的微小偏差也可能导致肢体方向扭曲、局部姿态细节丢失或自相交,从而产生解剖学上不合理的或不稳定的网格(见图1)。因此,这项任务对二值化带来的信息损失非常敏感。现有的用于姿态估计的BNN方法主要集中在关键点热图估计上[53], [64],而参数化网格恢复方面则几乎没有研究。据我们所知,我们是第一个对参数化模型的二值化进行系统分析的团队,并据此提出了一个专门针对这一任务的框架。
通过分析基线二值化方法中不同组分的特征分布,我们可视化和检查了二值化如何影响编码器和解码器的表示。在编码器中,二值化引入了量化误差,这些误差会扭曲特征统计信息。随着量化误差在层间累积,编码器输出的均值和方差会发生偏移(见图4)。此外,编码器输出自然呈现单极分布,这与二值化后的解码器产生了特征不匹配。在解码器中,多层感知器(MLPs)具有有限感受野的卷积操作[57]。二值化后,它们无法聚合局部空间邻域信息来补偿量化损失,导致性能下降约40%(见图3)。
基于这些观察结果,我们提出了BinParam,它解决了两个关键问题:编码器中的特征分布偏移和解码器中的表示退化。BinParam结合了分布适应和正交残差融合,以保持稳定且表达力强的二值特征。对于编码器,我们引入了熵蒸馏特征对齐(EDA)来减轻信息丢失并稳定特征分布。EDA利用蒸馏机制保留了二值化过程中通常丢失的关键信息,同时使编码器的输出分布与解码器的期望相匹配。此外,我们还应用了基于熵的正则化来增强特征多样性并防止分布崩溃。对于解码器,我们提出了正交残差补偿(ORC),它采用了基于哈达玛变换的正交残差融合路径。这些组件促进了特征的重用和正交补偿,有效恢复了空间细节,并减轻了二值化MLPs的不稳定性。通过整合EDA和ORC,BinParam即使在高压缩比下也能实现一致的特征表示和准确的姿态回归。值得注意的是,与现有的二值化方法相比,我们提出的模块几乎不会增加额外的参数开销。如图1所示,BinParam在准确性、效率和参数紧凑性之间取得了良好的平衡。与全精度方法相比,它将参数数量减少了近九倍,同时保持了竞争性的性能和真实的姿态重建结果。
本工作的主要贡献总结如下:
•我们提出了BinParam,这是一个利用BCNNs进行高效3D人体/手部网格恢复的二值化参数回归框架。
•我们首次对二值化参数回归进行了系统分析,发现性能下降不仅仅是由于一般的量化噪声,而是源于编码器中的特征不对齐和MLP基解码器的结构容量瓶颈。
•为了解决这些问题,我们设计了两个互补的模块:熵蒸馏特征对齐(EDA)以零推理成本校正特征统计信息,以及正交残差补偿(ORC)通过哈达玛变换恢复解码器的表达能力,且不会增加额外的参数开销。
•我们基于两个最先进的参数化回归模型进行了实验,结果显示我们的二值化方法在计算复杂性上实现了
的降低,其PA-MPJPE性能与全精度方法相当。