基于CLS引导Swin-BERT多模态骨干的两种解码器特定图像描述生成策略

《Applied Sciences》:CLS-Guided Multimodal Fusion for Image Captioning with LSTM and T5 Decoders

【字体: 大 中 小 】 时间:2026年10月21日 来源:Applied Sciences 2.5

编辑推荐:

   摘要

  

摘要

将视觉证据转换为连贯的语句取决于在解码之前视觉表示与语言表示是如何结合的。我们提出了两种解码器特定的生成策略,CLS-LSTM 和 CLS-T5,二者均构建于一个共享的 CLS 引导 Swin-BERT 多模态骨干网络之上。Swin-Base 提取一个 网格的 49 个空间特征向量,每个特征向量为 1024 维,并通过一个仅基于训练集拟合主成分进行初始化的可训练线性投影映射到 512 维。在留一训练策略下,一条描述作为生成目标,其余四条描述被拼接后由 BERT 编码。BERT 最后一层的 [CLS] 表示被用作查询,对投影后的视觉特征进行多头交叉注意力运算,从而生成一个全局多模态条件表示。批量级模态丢弃使两种解码器配置都能接触到在验证和测试阶段所使用的仅图像条件。CLS-LSTM 使用融合后的表示进行全局条件化,同时其第一层 LSTM 的上一隐状态在每个解码步骤查询感知覆盖的 Bahdanau 注意力。CLS-T5 将融合后的表示投影到视觉特征维度,将其注入投影后的视觉特征序列中,使用单层 Transformer 编码器对条件化序列进行精炼,并将所得的视觉记忆直接提供给 T5-small 解码器,同时绕过原始的 T5 编码器。当辅助文本不可用时,CLS-LSTM 用学习得到的空文本查询替换 BERT [CLS] 查询,而 CLS-T5 则绕过辅助文本融合分支,并使用学习得到的融合偏置对视觉特征进行条件化。我们在 Flickr30K 和 MS COCO 2014 的 Karpathy 划分上,在仅图像推理条件下评估了两种解码器配置。在 Flickr30K 上,跨三个随机种子,CLS-LSTM 的平均 BLEU-4 和 CIDEr 分数分别为 和 ,而 CLS-T5 分别为 和 。在 MS COCO 2014 上,对于种子 0,CLS-LSTM 的 BLEU-4 和 CIDEr 分数为 32.16 和 105.18,而 CLS-T5 为 35.38 和 117.15。这些结果表明,共享的 CLS 引导框架能够支持基于循环网络和基于 Transformer 的图像描述生成,同时保留仅图像推理的能力。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号