今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

基于层次化语义融合网络的少样本读者动作识别

《Scientific Reports》:Hierarchical multimodal semantic fusion for few-shot reader action recognition in reading environments

【字体: 大 中 小 】 时间:2026年10月01日 来源:Scientific Reports 4.9

编辑推荐:

   摘要在真实阅读环境中理解读者行为对于数据驱动的内容服务和智能出版分析具有重要意义。然而,大多数动作识别方法针对的是运动主导的场景,在少样本条件下难以捕捉与阅读相关的行为中的细微视觉线索和层次化语义。为了解决这一问题,我们构建了读者动作识别数据集(RARS),包含12个动作类别

  

摘要

在真实阅读环境中理解读者行为对于数据驱动的内容服务和智能出版分析具有重要意义。然而,大多数动作识别方法针对的是运动主导的场景,在少样本条件下难以捕捉与阅读相关的行为中的细微视觉线索和层次化语义。为了解决这一问题,我们构建了读者动作识别数据集(RARS),包含12个动作类别和1,728个视频片段,并提出了一种用于少样本读者动作识别的层次化语义融合网络(HSFN)。HSFN在层次化的视觉和文本表示中维护了一个跨越全局、块和帧级别的共享语义结构,具有粒度一致的多模态融合、双曲多原型对齐以及双路径的视频到视频和视频到文本匹配功能。反事实监督和自适应边距的多粒度对比学习进一步细化了语义相似动作之间的边界。在RARS和公开SSv2-Small基准上的实验验证了HSFN在5路1样本和5路5样本设置下的有效性。消融研究、注意力引导的遮挡和失败案例分析进一步支持了所提出的组件,并阐明了HSFN对语义相似动作的识别特征。总体而言,尽管在语义相似动作之间的区分依赖于短暂的时间线索或小型交互对象时,HSFN仍然存在局限性,但它为智能阅读环境中的细粒度读者动作识别提供了一种可行的少样本解决方案。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:读者动作识别|少样本学习|层次化语义融合|多模态融合|数据集构建|智能出版分析

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号