基于通用大型语言模型的人体关键点定位方法在情感识别中的应用

《Pattern Recognition》:Generalizable Large Language Model Based Human Keypoint Localization for Emotion Recognition

【字体: 大 中 小 】 时间:2025年12月27日 来源:Pattern Recognition 7.6

编辑推荐:

  L3M提出通过空间坐标令牌(SCT)优化多模态大语言模型(MLLM)的关键点定位,解决传统方法对预定义关键点的依赖,并提升情感识别效果。

  
李建宁|刘晓斌|欧昌浩|杨双|何建中|姚汉涛|袁静
香港理工大学计算机系,中国香港

摘要

情感识别旨在通过面部特征、姿势和手势来识别情感,这需要灵活的关键点定位技术。然而,传统的关键点检测器仅能识别预定义的关键点类型,对未见过的新类型关键点无能为力。这一问题在情感计算中尤为突出,因为情感状态往往通过微妙且依赖于上下文的关键点变化来表现。多模态大型语言模型(MLLM)具有识别未见过的关键点类型的潜力。但是,现有的基于MLLM的方法通常通过字符串生成或坐标回归来预测关键点坐标,分别存在文本-空间不对齐和长距离回归困难的问题。这些低效的公式限制了定位的准确性和效率。为了解决这些问题,本文提出了一种简单而有效的方法,称为大型语言引导的定位模型(L3M)。与现有方法不同,L3M使用MLLM词汇表中的单个空间坐标标记(SCT)来表示每个关键点坐标,避免了文本编码的开销,并减轻了长距离回归的难度。为了进一步提高定位能力,我们提出了一种视觉标记增强策略,将细粒度细节嵌入到粗粒度图像标记中,使模型能够在计算成本最小的情况下感知到微妙的线索。此外,还构建了多样化的关键点文本指令来指导L3M的学习。在广泛使用的情感识别和关键点定位基准测试上的实验表明,L3M在各种环境下的表现都很有前景。这些结果表明,L3M不仅提升了关键点定位的能力,还为情感计算任务提供了更加适应性的基础,以识别多样化和细粒度的情感线索。

引言

情感计算旨在识别和理解人类的面部表情和姿势情感。自1997年Picard首次提出情感计算的概念以来[1],它激发了相关研究,使计算机能够识别、解释甚至表达情感,从而以更加智能和自然的方式与人类互动。情感识别通常依赖于对面部表情[2]、[3]、[4]和身体姿势[5]、[6]、[7]的准确感知。这些情感通常通过物理线索传递,包括面部动作和肢体语言,因此人类关键点定位是情感识别的基本组成部分。
人类关键点定位任务的目标是在给定图像中定位人体的关键点。以前的方法[8]、[9]、[10]、[11]将关键点定位任务表述为概率图估计或坐标回归,并专注于设计强大的网络或无偏的关键点公式。然而,这些方法在模型设计时依赖于对关键点类型的预先知识。这限制了它们只能预测预定义的关键点类型,阻碍了它们对训练数据之外未见过的关键点类型的泛化能力,而这对情感计算任务至关重要。在情感识别中,往往需要灵活的关键点预测来处理多样化和微妙的姿势和情感表达。
为了解决这些问题,最近的研究[12]、[13]、[14]利用多模态大型语言模型(MLLM)的推理能力进行通用关键点定位。它们将关键点坐标表示为十进制文本字符串[12],[13]或直接在MLLM的最后一层嵌入上进行坐标回归[14]。这些基于文本表示和回归的方法分别如图1(a)和(b)所示。然而,将单个坐标表示为众多字符标记会导致定位精度受到任何单个字符预测错误的影响,如图1(a)所示。此外,相邻位置的数字字符串变化不均匀,例如,“0.198”和“0.201”相差三个字符但空间距离很短,而“0.001”和“0.101”相差一个字符但空间距离很长。这种不对齐使得空间关系的学习变得复杂,并增加了预测难度。基于回归的方法[14]在MLM的最后一层引入了额外的回归头和回归损失,如图1(b)所示。这破坏了MLM的端到端优化,分离的回归结果无法被MLM的上下文理解所感知或利用。此外,长距离回归仍然是一个关键挑战,限制了定位精度[15]、[16]。总体而言,现有方法要么在文本编码上存在不对齐问题,要么在基于回归的方法中缺乏无缝集成,从而影响了它们的关键点定位效果。目前,如何有效利用MLLM的能力进行关键点定位仍然是一个挑战。
为了研究一种适用于关键点定位的有效MLLM,并促进情感计算的发展,本文介绍了大型语言引导的定位模型(L3M)。L3M通过使用专门设计的空间坐标标记(SCT)来表示坐标,从而利用MLLM的定位潜力,如图1(c)所示。SCT将连续的坐标空间离散为均匀划分的区间,并将每个区间视为MLM词汇表中的一个唯一标记。这种设计可以在不修改MLM原始训练目标的情况下进行优化。与以前的方法相比,SCT避免了在文本公式中将坐标转换为众多标记,以及基于回归方法中的额外回归头和损失。为了进一步提高L3M的定位能力,我们引入了一种图像标记增强策略,将细粒度细节嵌入到图像标记中,而不增加标记数量。此外,还构建了多样化的关键点指令来指导L3M的学习,以实现更好的泛化。
我们在几个广泛使用的关键点定位数据集上评估了我们的方法,包括三个2D数据集COCO [17]、MPII [18]和Human-Art [19],以及两个情感识别数据集AIDE [20]和BoLD [21]。广泛的实验表明,所提出的L3M能够在各种环境中有效提高关键点定位的准确性。例如,我们的方法在COCO数据集上取得了79.5%的AP分数,明显优于现有的传统方法和基于MLLM的SOTA方法。得益于有效的坐标标记,我们的方法在跨数据集和类别不可知的设置下表现出良好的泛化能力,例如,在Human-Art数据集上,L3M在跨数据集设置下的AP分数比最近的LocLLM [12]高出5.8%,在MPII数据集上的新关键点设置下高出15.9%。我们在情感识别数据集AIDE [20]和BoLD [21]上的实验也表明,更准确的关键点定位可以有效提高情感分类的性能。上述实验表明,L3M在情感识别和关键点定位任务中都具有优越性。
本工作的贡献可以总结如下:
  • •
    我们提出了L3M,这是一种通过使用空间坐标标记表示关键点坐标来扩展MLLM定位能力的新方法,提供了更高效且易于优化的表示方式。
  • •
    进一步引入了一种图像标记增强策略,使视觉编码器能够在计算成本最小的情况下感知到细粒度细节。
  • •
    所提出的方法在各种关键点定位任务中取得了最先进的性能,并且也有助于情感识别任务。我们希望我们的方法能够启发未来在更多情感计算任务上设计MLLM。
  • 章节片段

    情感计算

    情感计算旨在检测人类的情绪状态,可以分为面部表情识别(FER)和身体手势情感识别(BER)。作为情感计算的核心技术,情感识别引起了研究人员的极大兴趣。
    FER使用包含面部情感线索的图像或视频来实现[22]、[23]、[24]。早期的工作[2]、[25]设计了手工特征并使用基于机器学习的方法进行区分

    问题表述

    给定一张图像I,人类关键点定位任务的目标是预测图像K中出现的人的关键点坐标I,可以表示为:{Ki}i=1n=Loc(I)其中Loc表示关键点定位模型,n是关键点类型的数量,Ki是第个关键点的坐标,例如(xi, yi)对于2D坐标。为了预测K,传统方法将坐标编码成概率热图[8]、[41]或直接进行坐标回归[9]、[15]。由于这些方法嵌入了关键点类型

    空间坐标标记器

    L3M的总体框架如图2所示。如图所示,L3M采用了与LLaVA [34]类似的架构,由3个组件组成:视觉编码器、线性投影器和LLM。给定一张图像I和相应的关键点描述文本T,首先使用视觉编码器将图像编码成一系列图像标记,然后通过线性投影器将这些图像标记投影到LLM的输入空间中。最后,投影后的图像标记和文本被

    数据集

    情感识别:我们在AIDE [20]和BoLD [21]数据集上评估了我们的方法。AIDE是一个辅助驾驶感知数据集,旨在推动视觉驱动的驾驶员监控系统研究。该数据集包含2898个数据样本和521K帧视频,每个样本包括来自四个视角的3秒视频片段。使用Pose Estimator AlphaPose [44]获取驾驶员的2D骨架姿势(26个关键点)。AIDE数据集的评估指标是准确率和F1分数。

    结论

    本文提出了一种大型语言引导的定位模型(L3M),以促进关键点定位和情感识别任务。所提出的L3M通过将关键点坐标表示为空间坐标标记来扩展LLM的定位能力。通过用MLM词汇表中的单个标记编码每个坐标维度,空间坐标标记避免了文本坐标编码中的不对齐和回归中的效率问题

    局限性和未来研究

    本文将关键点坐标位置统一映射到所提出的空间坐标标记中。然而,人类关键点在图像中通常分布不均匀,导致图像边缘区域的标记使用频率较低,浪费了标记容量。此外,本文根据预定义的模板构建了文本指令,限制了灵活的情感描述的多样性。因此,为了未来的改进,需要根据关键点的空间分布来安排空间坐标标记

    CRediT作者贡献声明

    李建宁:撰写——原始草案、软件、方法论、概念化。刘晓斌:撰写——审阅与编辑、监督、概念化。欧昌浩:撰写——审阅与编辑。杨双:撰写——审阅与编辑。何建中:撰写——审阅与编辑、概念化。姚汉涛:撰写——审阅与编辑、概念化。袁静:撰写——审阅与编辑、监督、概念化。

    利益冲突声明

    本文中没有已知的财务利益或个人关系可能影响报告的工作。作者声明以下财务利益/个人关系可能被视为潜在的利益冲突:袁静报告获得了中国国家重点研发计划的财政支持。袁静报告获得了国家自然科学基金的财政支持。刘晓斌

    致谢

    本工作部分得到了中国国家重点研发计划(项目编号2024YFB4708901)的支持,部分得到了国家自然科学基金(项目编号U21A20486、62473208、92367105和62401294)的支持,部分得到了天津杰出青年学者科学基金(项目编号20JCJQJC00140)的支持,部分得到了中国博士后科学基金会(项目编号GZC20240753)的支持
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号