
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于层次化语义融合网络的少样本读者动作识别
《Scientific Reports》:Hierarchical multimodal semantic fusion for few-shot reader action recognition in reading environments
【字体: 大 中 小 】 时间:2026年10月01日 来源:Scientific Reports 4.9
编辑推荐:
摘要在真实阅读环境中理解读者行为对于数据驱动的内容服务和智能出版分析具有重要意义。然而,大多数动作识别方法针对的是运动主导的场景,在少样本条件下难以捕捉与阅读相关的行为中的细微视觉线索和层次化语义。为了解决这一问题,我们构建了读者动作识别数据集(RARS),包含12个动作类别
在真实阅读环境中理解读者行为对于数据驱动的内容服务和智能出版分析具有重要意义。然而,大多数动作识别方法针对的是运动主导的场景,在少样本条件下难以捕捉与阅读相关的行为中的细微视觉线索和层次化语义。为了解决这一问题,我们构建了读者动作识别数据集(RARS),包含12个动作类别和1,728个视频片段,并提出了一种用于少样本读者动作识别的层次化语义融合网络(HSFN)。HSFN在层次化的视觉和文本表示中维护了一个跨越全局、块和帧级别的共享语义结构,具有粒度一致的多模态融合、双曲多原型对齐以及双路径的视频到视频和视频到文本匹配功能。反事实监督和自适应边距的多粒度对比学习进一步细化了语义相似动作之间的边界。在RARS和公开SSv2-Small基准上的实验验证了HSFN在5路1样本和5路5样本设置下的有效性。消融研究、注意力引导的遮挡和失败案例分析进一步支持了所提出的组件,并阐明了HSFN对语义相似动作的识别特征。总体而言,尽管在语义相似动作之间的区分依赖于短暂的时间线索或小型交互对象时,HSFN仍然存在局限性,但它为智能阅读环境中的细粒度读者动作识别提供了一种可行的少样本解决方案。