双向定位-交互协作在人物检测中的应用

《Expert Systems with Applications》:Bidirectional Localization-Interaction Collaboration for HOI Detection

【字体: 大 中 小 】 时间:2026年10月01日 来源:Expert Systems with Applications 9.4

编辑推荐:

  •提出了一种双向定位-交互协作框架。•利用基于交互的语义线索来精细化边界框。•精细化的空间提案增强了交互表示学习。•在HICO-DET和V-COCO基准测试中取得了更好的结果。引言人-对象交互(HOI)检测旨在定位交互中的人对象对并识别它们的交互类别。通过将实例级感知与关系理解相

  
  • •
    提出了一种双向定位-交互协作框架。
  • •
    利用基于交互的语义线索来精细化边界框。
  • •
    精细化的空间提案增强了交互表示学习。
  • •
    在HICO-DET和V-COCO基准测试中取得了更好的结果。

引言

人-对象交互(HOI)检测旨在定位交互中的人对象对并识别它们的交互类别。通过将实例级感知与关系理解相结合,HOI检测为机器人感知(Zhang, Zhang, Qu, & Liu (2025a))、自动驾驶(Zhu, Xie, Xie, & Jiang (2025))和视频理解(Chiou, Liao, Wang, Zimmermann, & Feng (2021))等应用提供了基础。与传统的对象检测不同,这项任务不仅要求准确定位单个实例,还需要有效地建模人类和对象之间的语义和空间依赖关系。
在两阶段和一阶段的HOI检测器方面已经取得了相当大的进展。然而,在许多现有架构中,定位与交互推理之间的关系仍然大多是不对称的。实例特征和边界框预测通常用于支持交互分类,而在交互推理过程中获得的语义信息很少被反馈回来以改进定位。因此,不准确的人或对象边界框(例如关节区域覆盖不全或小型对象的粗略定位)可能会降低从这些区域提取的交互表示的质量。一旦这些定位错误传播到识别阶段,通过传统的单向预测流程就很难纠正。
为了研究这一限制,我们对HOICLIP(Ning, Qiu, Liu, & He (2023)生成的预测进行了统计分析。该分析考虑了那些仅仅因为定位结果不符合所需的IoU标准而被拒绝的准确分类预测。对于包括“look_obj”、“stand”和“hold_obj”在内的几个代表性交互类别,由于空间重叠不足,超过10%的预测被丢弃。对于“look_obj”,这一比例达到了14.4%。这些观察结果表明,定位错误可能会抑制大量语义上有效的HOI预测。
成功匹配的HOI预测的定位质量进一步证明了这一瓶颈。根据官方评估者匹配协议,HOICLIP的平均边界框IoU为0.7506,87.85%的匹配人/对象边界框的IoU≥0.7。这些结果表明,即使是在成功匹配到真实HOI的预测中,也存在明显的空间差异。如图1所示,HOICLIP可能正确识别了交互类别,但仍然产生了不准确的人或对象定位。其对应的注意力响应也可能扩展到与交互无关的区域,例如手部或接触区域。相比之下,在完全相同的输入图像上,所提出的方法产生了更好对齐的人-对象定位和更集中的交互响应。这种直接比较进一步说明了将这两个任务耦合起来的好处:基于交互的信息可以指导不准确定位的纠正,而精细化的人-对象几何信息可以为交互推理提供更可靠的空间证据。
这些观察结果激发了一种双向形式的思考,即明确地将定位精细化与交互推理联系起来。具体来说,应该允许基于交互的信息参与纠正最初预测的人和对象边界框,而精细化的定位结果随后应为交互表示学习提供更可靠的空间指导。因此,我们引入了一个定位-交互协作框架,通过两个互补的分支实现了这种双向信息流。由于HOICLIP是所提框架的直接基线和主要实现,我们的主要重点是解决其在原始实例-交互预测流程中未解决的定位错误。与CPD-AQG(Su et al. (2026)不同,后者主要通过锚点引导的查询生成和级联并行解码器协调来改进HOI预测,所提出的框架侧重于建立定位精化和交互推理之间的相互特征交换。
该框架包含两个协作组件:边界框优化分支(BBOB)和交互优化分支(IOB)。BBOB通过整合基于交互的表示、空间布局线索以及CLIP文本编码器提取的对象类别文本嵌入来精细化初始的人和对象边界框。这个分支建立了一条从交互到定位的路径,使得高级语义可以直接参与空间精细化。基于精细化的人-对象提案,IOB通过结合详细的空间描述符和堆叠的自注意力及交叉注意力操作来重构和增强交互表示。由此产生的从定位到交互的路径为关系推理提供了更空间对齐的特征。这两个分支共同建立了定位和交互推理之间的双向信息交换,而不是传统的从定位到交互分类的单向传播。
主要贡献总结如下:
  • •
    提出了一种用于HOI检测的双向定位-交互协作框架,实现了基于交互的定位精细化和随后的定位感知交互增强。
  • •
    设计了一个边界框优化分支,通过整合基于交互的特征、空间布局线索和对象类别文本嵌入来精细化人和对象的定位。
  • •
    开发了一个交互优化分支,通过空间编码和堆叠的自注意力及交叉注意力操作来增强从精细化的人-对象提案中提取的交互表示。
  • •
    在HICO-DET和V-COCO上的广泛实验表明,定位质量和HOI检测性能都得到了稳步提升,验证了所提出的双向协作机制的有效性。
  • 本文的其余部分组织如下:第2节回顾相关工作。第3节描述所提出的框架。第4节展示了实验结果和分析。第5节总结了文章并讨论了未来研究的可能方向。

    章节摘录

    相关工作

    人-对象交互(HOI)检测旨在共同定位人对象对并分类它们的交互。现有方法可以根据检测和交互推理是顺序进行还是同时进行,大致分为两阶段和一阶段两种范式。随着基于Transformer的检测器的出现,最近的研究进一步探索了多分支架构,以平衡任务解耦和特征共享,从而实现了从解耦流程的转变

    方法

    所提出的框架在实例定位和交互推理之间建立了双向协作。如图2所示,它由三个主要分支组成:实例和交互分支(IIB)、边界框优化分支(BBOB)以及交互优化分支(IOB)。IIB首先生成初始的实例预测和交互表示。然后BBOB利用交互表示、人-对象布局线索和对象类别

    数据集

    该论文在两个广泛用于人-对象交互检测的基准测试上进行了实验,分别是HICO-DET(Chao, Liu, Liu, Zeng, & Deng (2018)和V-COCO(Gupta & Malik (2015))。
    HICO-DET。 HICO-DET包含47,179张图像,其中37,633张用于训练,9,546张用于测试。其注释空间涵盖了80个对象类别和117个动作类别,形成了600个预定义的HOI类别。对象词汇遵循MS COCO(Lin et al. (2014)中使用的80个对象类别。

    结论

    本文提出了一个用于人-对象交互检测的双向定位-交互协作框架,明确地将基于交互的定位精细化与定位感知的交互增强联系起来。通过结合边界框优化分支和交互优化分支,所提出的架构建立了定位和交互推理之间的相互信息交换:交互语义指导空间精细化,

    CRediT作者贡献声明

    Hang Su:数据整理、方法论、撰写——初稿。Hong-Bo Zhang:概念化、方法论、撰写——审阅与编辑。Jia-Yin Luo:形式分析、撰写——审阅与编辑。Jing-Hua Liu:软件实现、撰写——审阅与编辑。Zhen-Zhen Sun:可视化、撰写——审阅与编辑。Ji-Xiang Du:验证、撰写——审阅与编辑。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    Hang Su|Hong-Bo Zhang|Jia-Yin Luo|Jing-Hua Liu|Zhen-Zhen Sun|Ji-Xiang Du
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号