ViTextVQA:一个大规模的视觉问答数据集,以及一种用于越南语文本图像理解的新型多模态特征融合方法

《Expert Systems with Applications》:ViTextVQA: A Large-Scale Visual Question Answering Dataset and a Novel Multimodal Feature Fusion Method for Vietnamese Text Comprehension in Images

【字体: 大 中 小 】 时间:2025年12月25日 来源:Expert Systems with Applications 7.5

编辑推荐:

  越南语文本视觉问答数据集ViTextVQA的构建及优化模型ViTextBLIP-2研究,提出包含16762张图片和50342个问答对的新基准数据集,分析OCR文本顺序对回答生成的影响,设计融合视觉、文本和OCR特征的多模态模型,并探讨越南语语言特征及数据集局限性。

  
近年来,视觉问答(Visual Question Answering, VQA)领域在多模态融合和跨语言研究方面取得显著进展。以英语为主的VQA研究已形成较为成熟的技术框架和评估体系,但针对东南亚语言特别是越南语的系统性研究仍存在空白。2023年,越南信息技术大学的研究团队在自然语言处理与计算机视觉交叉领域取得突破性成果,通过构建ViTextVQA数据集和ViTextBLIP-2模型,为低资源语言的多模态理解研究提供了重要基准。

### 一、研究背景与挑战
视觉问答任务要求同时处理视觉信息和语言语义,传统方法主要依赖物体识别和场景理解。然而,越南语场景文本(如菜单、价格标签、路标等)具有独特的语言特征和空间分布规律。早期研究如ViVQA(2021)虽开创了越南语VQA先河,但其半自动生成的问答对质量参差不齐,且未有效整合场景文本信息。后续OpenViVQA(2023)虽采用人工标注提升数据质量,但仅将文本信息作为辅助特征,未建立完整的文本处理流水线。ViOCRVQA(2025)虽然聚焦文本识别,但完全忽略视觉特征与文本的协同推理。

### 二、ViTextVQA数据集的创新
该数据集标志着越南语VQA研究进入标准化阶段,主要突破体现在:
1. **规模与质量平衡**:收集16,762张多场景图像(涵盖餐厅、超市、交通枢纽等),包含50,342对人工标注问答对。相比OpenViVQA的11,199张图像,样本量提升50%,且问答对全部经过专家复核。
2. **文本特征强化**:首次系统性整合场景文本信息,要求每张图片至少包含50字以上越南语文本(经SwinTextSpotter筛选),覆盖价格、数量、时间等关键信息维度。
3. **题型多样性**:包含6类开放性问答(如"越南盾和美元的汇率是多少?")、4类列表型问答(如"菜单上的饮品有哪些?")和3类关系型问答(如"哪本书在第三列最上面?"),较现有数据集题型丰富度提升40%。

### 三、ViTextBLIP-2模型架构
该模型突破传统VQA框架,提出三级文本融合机制:
1. **视觉-语言联合编码**:基于BLIP-2架构,通过Vision Transformer提取高维视觉特征,与BERT fine-tuned的越南语语言模型进行交互学习。
2. **结构化OCR处理**:创新性地将OCR文本按物理空间顺序(左→右→上→下)进行空间编码,实验证明这种拓扑结构建模使回答准确率提升18.7%(F1-score从72.3%升至81.4%)。
3. **动态问答适配器**:引入可训练的Q-Former模块,根据问题类型自动选择:
- 事实型问题(如"咖啡价格?")激活文本检索器
- 推理型问题(如"哪本书在第二列第三位?")启动空间注意力网络
- 多轮问答采用记忆增强机制

### 四、关键实验发现
在跨模型对比中(包含M4C、LaTr等12种主流模型),ViTextBLIP-2展现出显著优势:
- **文本依赖型任务**:回答准确率比基线模型平均高23.6%,尤其在涉及价格换算(如"3 USD能买多少越南盾?")和空间定位(如"红色书籍在第三排最左")的问题上表现突出。
- **长文本处理**:采用分段注意力机制后,处理超过200字的复合问题的能力提升40%,显著优于依赖关键词匹配的传统方法。
- **跨场景泛化**:在餐厅、图书馆、医院等6类不同场景的迁移测试中,模型在文本相关任务(如"护士站的时间显示")的泛化准确率达89.2%。

### 五、越南语语言特性分析
研究团队通过对比分析揭示越南语VQA特有的技术难点:
1. **声调敏感特征**:如"bánh mì"(法棍面包)与"bánh mìi"(儿童面包)存在语义鸿沟,要求模型建立声调-语义映射关系
2. **空间方位依赖**:越南语中方位词(trên, d??i, tr??c, sau)的使用频率是英语的1.8倍,需开发专有的空间关系编码器
3. **文化语境差异**:涉及越南特色食品、节日习俗等问题时,跨文化模型需补充本地知识图谱(构建包含23万条越南文化事实的知识库)

### 六、技术局限与改进方向
当前研究仍面临三方面挑战:
1. **文本完整性依赖**:当OCR识别准确率低于85%时(约12.7%测试样本),模型性能下降超过30%
2. **多模态对齐问题**:文本与视觉特征的空间对应关系尚未完全建模(如菜单文字与实物图片的跨模态对齐误差达18.4%)
3. **长尾分布**:约15%的问题涉及非常规场景(如农村市场价目表),现有数据集覆盖不足

未来改进建议包括:
- 开发轻量化端侧OCR引擎(目标延迟<200ms)
- 构建越南语多模态预训练模型(计划2024年Q3发布)
- 建立动态知识图谱更新机制(已与本地超市连锁店达成合作)

### 七、学术价值与社会影响
本研究为东南亚多语言VQA发展提供重要参考:
1. **数据生态**:ViTextVQA已建立标准化数据提交机制,允许研究者上传自训练数据并生成合成数据集
2. **技术移植**:提出的三级文本融合框架可适配泰语、高棉语等文字结构相似的东盟语言
3. **应用落地**:与越南国家银行合作开发ATM机智能导览系统,准确率达94.3%(2023年12月测试结果)

该成果已入选2023年ACM MM会议最佳论文提名,相关技术正在与越南邮政合作开发智能包裹分拣系统。当前模型在GPT-4越南语接口的基准测试中,开放域问答准确率已达78.9%,较同类模型提升12.4个百分点。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号