
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于Mamba驱动的全面上下文学习方法,用于零样本图像目标检测(Zero-Shot HOI Detection)
《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Mamba-Driven Comprehensive Context Learning for Zero-Shot HOI Detection
【字体: 大 中 小 】 时间:2025年12月25日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3
编辑推荐:
人类与物体交互检测在零样本场景中面临语义空间信息挖掘不足及异质特征融合困难问题。本文提出Mamba驱动的综合上下文学习框架(MCCHOI),通过双向交互上下文建模弥合语义空间鸿沟,并设计语义空间协同机制实现多尺度特征自适应聚合。采用空间感知扫描获取细粒度空间表征,创新性构建语义到空间、空间到语义的双向优化策略,结合动态先验增强机制实现跨域知识迁移。最后通过语义空间协同模块建模特征间的复杂依赖关系,有效解决异质特征融合难题。实验表明该方法在zero-shot场景下显著提升检测性能。
人对象交互(HOI)检测旨在同时定位人对象对并识别它们之间的交互行为,而零样本设置对模型的泛化能力提出了更高的要求。现有的最先进的零样本HOI检测方法通常基于视觉语言模型(VLM)范式,利用VLM中的丰富语义知识来提升模型的迁移能力。然而,由于对语义和空间信息挖掘不足,以及异构特征融合的固有挑战,这些方法的整体性能和可扩展性受到了严重限制。为了解决这些问题,我们提出了一种基于Mamba的全面上下文学习方法(MCCHOI)用于零样本HOI检测。MCCHOI构建了一个基于Mamba的语义-空间协同学习架构,首先通过双向交互上下文建模来弥合语义特征空间和空间特征空间之间的差距,然后在语义-空间协同机制的指导下整合语义特征和空间特征,构建出全面且具有泛化能力的HOI表示。具体来说,为了解决特征提取的瓶颈问题,我们首先引入了一种具有空间感知能力的扫描机制,将更广泛的区域上下文融入扫描过程中,从而实现多尺度空间特征的自适应聚合,生成细粒度的空间表示。接下来,我们设计了一种基于Mamba的语义到空间细化策略,并配备了上下文感知的参数生成机制,在全局语义-空间知识的指导下挖掘多视图交互线索,促进从语义域到空间域的上下文传播,从而提高空间特征的可区分性。此外,我们还提出了一种基于Mamba的空间到语义调制策略,通过动态先验增强将外部语义-空间先验注入视觉语义中,促进从空间域到语义域的上下文传播,生成具有交互意识的语义表示。最后,我们引入了一个语义-空间协同模块,通过域内挖掘和域间融合明确建模语义-空间表示之间的复杂依赖关系。该模块构建了一个强大且全面的交互上下文,有效解决了以往方法中异构特征集成所带来的挑战。在两个基准测试上的广泛实验证明了所提出的MCCHOI在零样本设置下的有效性。
人对象交互(HOI)检测旨在同时定位人对象对并识别它们之间的交互行为,而零样本设置对模型的泛化能力提出了更高的要求。现有的最先进的零样本HOI检测方法通常基于视觉语言模型(VLM)范式,利用VLM中的丰富语义知识来提升模型的迁移能力。然而,由于对语义和空间信息挖掘不足,以及异构特征融合的固有挑战,这些方法的整体性能和可扩展性受到了严重限制。为了解决这些问题,我们提出了一种基于Mamba的全面上下文学习方法(MCCHOI)用于零样本HOI检测。MCCHOI构建了一个基于Mamba的语义-空间协同学习架构,首先通过双向交互上下文建模来弥合语义特征空间和空间特征空间之间的差距,然后在语义-空间协同机制的指导下整合语义特征和空间特征,构建出全面且具有泛化能力的HOI表示。具体来说,为了解决特征提取的瓶颈问题,我们首先引入了一种具有空间感知能力的扫描机制,将更广泛的区域上下文融入扫描过程中,从而实现多尺度空间特征的自适应聚合,生成细粒度的空间表示。接下来,我们设计了一种基于Mamba的语义到空间细化策略,并配备了上下文感知的参数生成机制,在全局语义-空间知识的指导下挖掘多视图交互线索,促进从语义域到空间域的上下文传播,从而提高空间特征的可区分性。此外,我们还提出了一种基于Mamba的空间到语义调制策略,通过动态先验增强将外部语义-空间先验注入视觉语义中,促进从空间域到语义域的上下文传播,生成具有交互意识的语义表示。最后,我们引入了一个语义-空间协同模块,通过域内挖掘和域间融合明确建模语义-空间表示之间的复杂依赖关系。该模块构建了一个强大且全面的交互上下文,有效解决了以往方法中异构特征集成所带来的挑战。在两个基准测试上的广泛实验证明了所提出的MCCHOI在零样本设置下的有效性。