BinParam:通过分布对齐和正交残差实现二值化的人类参数建模

《Neurocomputing》:BinParam: Binarized human parametric modeling via distribution alignment and orthogonal residuals

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  二进制卷积神经网络参数化人体/手部网格重建框架提出熵蒸馏特征对齐和正交残差补偿模块解决二值化带来的分布偏移与表示退化问题 在计算效率提升近九倍的同时保持与全精度模型相当的重构精度

  
陈英杰|杨琳琳|谢梓琪|贾博树|刘博宇|张宝昌|吴晓宇|金丽彪
中国传媒大学,媒体融合与传播国家重点实验室,北京,中国

摘要

人体/手部网格的重建在虚拟人体的建模、运动分析以及交互式感知中起着至关重要的作用。现有的方法已经取得了令人印象深刻的准确度,但它们通常会带来较高的计算和存储成本,这使得它们难以在资源有限的设备上部署。为了解决这个问题,我们提出了BinParam,这是一个用于参数化人体/手部网格回归的二值化卷积框架。BinParam的核心是熵蒸馏特征对齐(EDA),它在保留关键信息的同时促进了二值特征转换并提高了特征多样性。此外,我们通过正交残差补偿(ORC)增强了解码器的特征表示能力。我们在3D人体和手部重建任务上对BinParam进行了评估,并证明了其强大的性能。广泛的定量和定性实验表明,BinParam在3D人体/手部网格重建方面达到了与全精度模型相当的水平,同时在手部与手部对象交互任务中也保持了性能的提升。所有代码和预训练模型都将被公开,以促进未来的研究。

引言

从单张图像中恢复人体/手部网格(HMR)[3], [7], [17], [29], [38] 的目标是从单张图像或视频帧中重建具有统一拓扑结构和精确几何形状的3D人体/手部网格。作为计算机视觉中的一个基本任务,它已被广泛应用于AR/VR、虚拟头像创建和运动分析[11], [45], [60]等领域。随着SMPL [35]和MANO [44]等参数化模型的出现,参数化回归逐渐主导了人体/手部网格重建领域。这些方法通常采用编码器-解码器架构,从输入图像中提取潜在特征,然后回归参数(即形状、姿态和全局方向)。由于参数化模型具有拓扑结构和强大的生物力学先验,即使在遮挡或不完整的视觉线索下,参数化回归方法也能表现出较强的泛化能力[24], [29], [32], [44]。
最近的参数化回归方法在准确恢复3D网格方面展现了令人印象深刻的表现[10], [22], [24], [61]。为了降低计算成本和内存使用,并便于在资源有限的设备上部署,现有方法倾向于使用带有模型压缩技术的卷积神经网络(CNNs)[3], [4], [53], [64]。特别是二值神经网络(BNNs),它们将权重和激活值强烈量化为1位,从而显著减少了硬件开销。在本文中,我们专注于使用二值CNNs进行高效的3D参数化网格恢复。
二值卷积神经网络(BCNNs)已在不同的任务中得到广泛应用,如图像分类(例如XNOR-Net [43], Bi-realNet [34], ReActNet [33])、对象检测(例如BiDet [49], JDBNet [52])和图像超分辨率(例如FRB [63])。然而,直接将这些方法应用于参数化人体/手部网格恢复会导致准确度显著下降。HMR需要精确地回归姿态和形状参数,这些参数对量化噪声非常敏感。即使是关节旋转的微小偏差也可能导致肢体方向扭曲、局部姿态细节丢失或自相交,从而产生解剖学上不合理的或不稳定的网格(见图1)。因此,这项任务对二值化带来的信息损失非常敏感。现有的用于姿态估计的BNN方法主要集中在关键点热图估计上[53], [64],而参数化网格恢复方面则几乎没有研究。据我们所知,我们是第一个对参数化模型的二值化进行系统分析的团队,并据此提出了一个专门针对这一任务的框架。
通过分析基线二值化方法中不同组分的特征分布,我们可视化和检查了二值化如何影响编码器和解码器的表示。在编码器中,二值化引入了量化误差,这些误差会扭曲特征统计信息。随着量化误差在层间累积,编码器输出的均值和方差会发生偏移(见图4)。此外,编码器输出自然呈现单极分布,这与二值化后的解码器产生了特征不匹配。在解码器中,多层感知器(MLPs)具有有限感受野的卷积操作[57]。二值化后,它们无法聚合局部空间邻域信息来补偿量化损失,导致性能下降约40%(见图3)。
基于这些观察结果,我们提出了BinParam,它解决了两个关键问题:编码器中的特征分布偏移和解码器中的表示退化。BinParam结合了分布适应和正交残差融合,以保持稳定且表达力强的二值特征。对于编码器,我们引入了熵蒸馏特征对齐(EDA)来减轻信息丢失并稳定特征分布。EDA利用蒸馏机制保留了二值化过程中通常丢失的关键信息,同时使编码器的输出分布与解码器的期望相匹配。此外,我们还应用了基于熵的正则化来增强特征多样性并防止分布崩溃。对于解码器,我们提出了正交残差补偿(ORC),它采用了基于哈达玛变换的正交残差融合路径。这些组件促进了特征的重用和正交补偿,有效恢复了空间细节,并减轻了二值化MLPs的不稳定性。通过整合EDA和ORC,BinParam即使在高压缩比下也能实现一致的特征表示和准确的姿态回归。值得注意的是,与现有的二值化方法相比,我们提出的模块几乎不会增加额外的参数开销。如图1所示,BinParam在准确性、效率和参数紧凑性之间取得了良好的平衡。与全精度方法相比,它将参数数量减少了近九倍,同时保持了竞争性的性能和真实的姿态重建结果。
本工作的主要贡献总结如下:
  • •
    我们提出了BinParam,这是一个利用BCNNs进行高效3D人体/手部网格恢复的二值化参数回归框架。
  • •
    我们首次对二值化参数回归进行了系统分析,发现性能下降不仅仅是由于一般的量化噪声,而是源于编码器中的特征不对齐和MLP基解码器的结构容量瓶颈。
  • •
    为了解决这些问题,我们设计了两个互补的模块:熵蒸馏特征对齐(EDA)以零推理成本校正特征统计信息,以及正交残差补偿(ORC)通过哈达玛变换恢复解码器的表达能力,且不会增加额外的参数开销。
  • •
    我们基于两个最先进的参数化回归模型进行了实验,结果显示我们的二值化方法在计算复杂性上实现了
    的降低,其PA-MPJPE性能与全精度方法相当。
  • 章节摘录

    人体/手部网格恢复

    人体/手部网格恢复(HMR)旨在从单张输入图像中重建具有统一拓扑结构和精确几何形状的3D人体/手部网格。作为计算机视觉中的一个基本任务,它已被广泛应用于AR/VR、虚拟头像创建和运动分析[11], [45], [60]等领域。随着SMPL [35]和MANO [44]等参数化模型的出现,参数化回归逐渐成为该领域的主流。这些方法通常采用编码器-解码器架构,从输入图像中提取潜在特征,然后回归参数(即形状、姿态和全局方向)。由于参数化模型具有拓扑结构和强大的生物力学先验,即使在遮挡或不完整的视觉线索下,参数化回归方法也能表现出较强的泛化能力[24], [29], [32], [41], [44]。
    最近的参数化回归方法在准确恢复3D网格方面展现了出色的性能[10], [22], [24], [61]。为了降低计算成本和内存使用,并便于在资源有限的设备上部署,现有方法倾向于使用带有模型压缩技术的卷积神经网络(CNNs)[3], [4], [53], [64]。特别是二值神经网络(BNNs),它们将权重和激活值量化为1位,从而显著减少了硬件开销。在本文中,我们专注于使用二值CNNs进行高效的3D参数化网格恢复。
    二值卷积神经网络(BCNNs)已在不同的任务中得到广泛应用,如图像分类(例如XNOR-Net [43], Bi-realNet [34], ReActNet [33])、对象检测(例如BiDet [49], JDBNet [52])和图像超分辨率(例如FRB [63])。然而,将这些方法直接应用于参数化人体/手部网格恢复会导致准确度显著下降。HMR需要精确地回归姿态和形状参数,而这些参数对量化噪声非常敏感。即使是关节旋转的微小偏差也可能导致肢体方向扭曲、局部姿态细节丢失或自相交,从而产生解剖学上不合理或不稳定的网格(见图1)。因此,这项任务对二值化带来的信息损失非常敏感。现有的用于姿态估计的BNN方法主要集中在关键点热图估计上[53], [64],而参数化网格恢复方面则很少有研究。据我们所知,我们是第一个对参数化模型的二值化进行系统分析的团队,并据此提出了一个专门的框架。
    通过分析基线二值化方法中不同组分的特征分布,我们可视化和检查了二值化如何影响编码器和解码器的表示。在编码器中,二值化引入了量化误差,这些误差会扭曲特征统计信息。随着量化误差在层间累积,编码器输出的均值和方差会发生偏移(见图4)。此外,编码器输出自然呈现出单极分布,这与二值化后的解码器存在特征不匹配。在解码器中,MLPs的功能有限,无法有效地聚合局部空间邻域信息来补偿量化损失,导致性能下降约40%(见图3)。
    基于这些观察结果,我们提出了BinParam,它解决了两个关键问题:编码器中的特征分布偏移和解码器中的表示退化。BinParam结合了分布适应和正交残差融合,以保持稳定且表达力强的二值特征。对于编码器,我们引入了熵蒸馏特征对齐(EDA)来减轻信息丢失并稳定特征分布。EDA利用蒸馏机制保留了二值化过程中通常丢失的关键信息,同时使编码器的输出分布与解码器的期望相匹配。此外,我们还应用了基于熵的正则化来增强特征多样性并防止分布崩溃。对于解码器,我们提出了正交残差补偿(ORC),它采用了基于哈达玛变换的正交残差融合路径。这些组件促进了特征的重用和正交补偿,有效恢复了空间细节并减轻了二值化MLPs的不稳定性。通过整合EDA和ORC,BinParam即使在高压缩比下也能实现一致的特征表示和准确的姿态回归。值得注意的是,与现有的二值化方法相比,我们提出的模块几乎不会增加额外的参数开销。如图1所示,BinParam在准确性、效率和参数紧凑性之间取得了良好的平衡。与全精度方法相比,它将参数数量减少了近九倍,同时保持了竞争性的性能和真实的姿态重建结果。
    本工作的主要贡献总结如下:
  • •
    我们提出了BinParam,这是一个利用BCNNs进行高效3D人体/手部网格恢复的二值化参数回归框架。
  • •
    我们首次对二值化参数回归进行了系统分析,发现性能下降不仅仅是由于一般的量化噪声,而是源于编码器中的特征不对齐和MLP基解码器的结构容量瓶颈。
  • •
    为了解决这些问题,我们设计了两个互补的模块:熵蒸馏特征对齐(EDA)以零推理成本校正特征统计信息,以及正交残差补偿(ORC)通过哈达玛变换恢复解码器的表达能力,且不会增加额外的参数开销。
  • •
    我们基于两个最先进的参数化回归模型进行了实验,结果表明我们的二值化方法在计算复杂性上实现了
    的降低,其PA-MPJPE性能与全精度方法相当。
  • 章节片段

    人体/手部网格恢复

    人体/手部网格恢复(HMR)旨在从单张输入图像中重建3D网格。早期的方法[21], [40], [51], [54]通常首先估计2D关键点,然后使用姿态先验和形状规则化等额外约束来重建3D网格。然而,这些方法往往涉及复杂的优化过程。相反,后续的工作[22], [24]更倾向于使用端到端框架直接回归SMPL或MANO参数。值得注意的是,HMR [22]引入了2D

    参数化网格回归框架

    典型的参数化网格回归框架采用编码器-解码器设计,从单张RGB图像中重建人体或手部网格。给定输入图像,编码器提取潜在特征,解码器预测模型参数,其中(分别对应于人体模型SMPL和手部模型MANO)是姿态参数,是形状参数,是相机参数。需要注意的是,除了,工作[22], [24], [61]还将与初始值连接起来

    分析

    在PyMAF和RBONN的基础上,我们分别对编码器和解码器进行二值化,以研究二值化性能下降的原因。第4.1节指出,二值化后的编码器主要受到特征不对齐的影响,而第4.2节揭示了二值化后的解码器在其表示能力上存在结构限制。

    方法

    根据第4节的分析,我们的设计优先考虑了对齐和补偿,而不是简单的扩展。我们的目标是在不牺牲二值化效率优势的情况下解决已识别的分布和容量问题。如图2所示,我们的参数化网格回归框架采用了编码器-解码器架构。模型参数是通过包括二值化编码器、特征归一化和正交残差补偿解码器的流程来估计的。

    实验设置

    基准。我们采用了两种参数化网格回归方法:PyMAF [61]用于人体网格恢复,ARCTIC [10]用于手部-对象交互。作为比较,我们使用了两种代表性的二值化方案ReActNet [33]和R-BONN [56]。为了确保公平比较,我们对PyMAF和ARCTIC采用了相同的优化设置。
    实现细节。BinParam是在PyTorch [39]中实现的。我们使用了Adam [23]优化器,初始学习率为

    结论

    在这项工作中,我们提出了BinParam,这是一个用于高效人体/手部网格恢复的二值化参数回归框架。通过系统分析,我们确定了参数化回归中的两个关键挑战:编码器中的特征分布偏移和解码器中的表示退化。为了解决这些问题,我们引入了两个新组件:熵蒸馏特征对齐(EDA)和正交残差补偿(ORC)。EDA

    CRediT作者贡献声明

    陈英杰:撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。杨琳琳:撰写——审稿与编辑、撰写——原始草稿、监督、资源管理、项目协调、调查、资金获取。谢梓琪:验证、调查。<
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号