一种用于复杂图表题解答的、基于逐条思维过程的、强化记忆的方法框架

《Computer Vision and Image Understanding》:Memory-enriched thought-by-thought framework for complex Diagram Question Answering

【字体: 大 中 小 】 时间:2025年12月27日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  针对大型语言模型在复杂视觉问答任务中推理能力不足的问题,本文提出METbT框架,通过记忆模块存储中间推理表征和自适应操作符控制器选择写、关联、求解操作符,实现分步动态融合视觉与文本信息,显著提升模型在Smart-101、ScienceQA等数据集上的准确率,验证了其优于现有方法的性能。

  
张新宇|张玲玲|吴彦瑞|王少伟|吴文军|黄沐业|王倩颖|刘军
中国陕西省西安市,计算机科学与技术学院,邮编710049

摘要

大型语言模型(LLMs)能够有效地为简单任务生成推理过程,但在复杂和新颖的推理场景中表现不佳。这一问题源于LLMs通常在单一步骤中融合视觉和文本信息,缺乏在推理过程中捕捉和表示关键信息的能力,忽略了推理过程中的关键变化,且无法反映类似人类的推理的复杂性和动态性。为了解决这些问题,我们提出了一个名为Memory-Enriched Thought-by-Thought(METbT)的新框架,该框架引入了记忆和操作符。一方面,记忆用于存储推理过程的中间表示,保留推理步骤中的信息,防止语言模型生成不合逻辑的文本;另一方面,操作符的引入提供了多种合并视觉和文本表示的方法,显著增强了模型的表示学习能力。我们分别利用Bert、T5、Qwen和InternLM作为基础语言模型,开发了METbT-Bert、METbT-T5、METbT-Qwen和METbT-InternLM。在包括Smart-101、ScienceQA和IconQA在内的多个数据集上进行了实验,所有情况下的结果都优于相同的语言模型。实验结果表明,我们的METbT框架具有更好的可扩展性和鲁棒性。

引言

近年来,由深度学习驱动的神经网络模型在各个领域取得了快速而显著的进展(Burger等人,2025年;Tiribelli等人,2024年;Velastegui等人,2024年)。视觉问答(VQA)具有巨大的实际应用价值,受到了广泛关注(Mashrur等人,2024年;Zhang等人,2024a年;Yang等人,2024a年)。VQA是指利用从图像中提取的信息来回答自然语言问题。基于VQA,为了进一步评估神经网络模型的复杂推理能力,研究人员提出了图表问答(DQA)任务(Zhang等人,2024b年;Lu等人,2022年),因为图表可以表示复杂的知识概念和逻辑关系(Zhang等人,2024c年;Wang等人,2024b年)。自大型语言模型(LLMs)出现以来,它们在VQA任务上表现出色,这主要归功于它们拥有的丰富背景知识。然而,在需要复杂推理的DQA任务上,它们的表现却很一般,如图1(a)和(b)所示。
造成这种现象的主要问题是LLMs通常在单一步骤中融合视觉和文本信息来生成推理过程。这种方法缺乏在推理过程中捕捉和表示关键信息的能力,忽略了推理过程中的关键变化,导致错误的解决方案,无法反映类似人类的推理的复杂性和动态性。当前的模型可以轻松识别图表中的对象区域和类别,例如图1(a)中Bird Bobbie需要向前移动多少步。然而,它们无法捕捉到bird bobbie可以在第三次移动时到达终点这一信息,从而导致问答错误。它们缺乏一种多步骤迭代的方法来融合视觉和文本信息以生成推理过程,而这有助于揭示连续推理步骤之间的关联。
然而,现有的CoT研究主要集中在语言模态上。Zhang等人(2024d)提出了Multimodal-CoT(MM-CoT),该框架将语言(文本)和视觉(图像)模态结合到一个两阶段框架中,将理由生成和答案推理分开。通过这种方式,答案推理可以利用基于多模态信息的更好生成的理由。尽管取得了这些进展,在实施多步骤迭代推理方法时仍有两个关键点:第一个关键点是在每个推理步骤中有效融合视觉和文本信息。这涉及从视觉和文本模态中提取相关信息,并在每个推理步骤中整合它们。第二个关键点是在连续推理步骤之间传递和更新信息。这需要根据当前步骤自适应地引导下一个推理步骤,建立强大的关联并保持整个推理过程的连贯性。
基于上述分析,我们提出了一个名为METbT的新框架,该框架引入了记忆和操作符来存储推理过程的中间表示,并分别处理语言-视觉交互。这些组件解决了之前提到的两个问题。如图1(e)所示,METbT的核心模块包括记忆、自适应操作符控制器和操作符,它们协同选择不同的操作符来处理各种问题-图表对,构建推理过程,并将所有推理步骤获得的表示存储在记忆中。给定一个问题-图表对,自适应操作符控制器根据问题和之前的操作符选择要执行的操作符来构建推理过程。同时,记忆存储来自执行的操作符获得的表示。这些操作符的设计灵感来源于模拟类似人类的多步骤推理过程,该过程通常包括信息获取、关系建立和结论得出。根据这一模式,我们设计了三个专门的操作符:写入操作符、关联操作符和解决操作符。写入操作符从问题-图表对中获取感兴趣的表示并将其写入记忆。这个操作符关注信息获取和存储的基本步骤,类似于人类首先观察和记忆来自视觉和文本输入的关键信息。关联操作符建立问题-图表对获得的表示与记忆中存储的表示之间的关系。这模仿了人类在推理过程中发现不同信息之间的联系,有助于揭示对复杂推理任务至关重要的隐含逻辑关系。解决操作符整合记忆中存储的所有表示,以获得一个稳健的推理表示,引导解码器得出答案。同时,应该限制推理步骤的数量。这最后一步反映了人类如何综合所有可用信息和他们发现的关系来得出结论。因此,当步骤数量超过设定阈值或自适应操作符控制器选择解决操作符执行时,来自解决操作符的表示会被输入解码器以生成答案。
值得注意的是,由于选择操作符的过程是不可微分的,其参数不能直接更新。为了构建训练过程,我们提出了一种以操作符为导向的参数更新策略。我们为每个操作符设置了一组可学习的嵌入作为参数。这些嵌入作为自适应操作符控制器选择操作符的参考,并从问题-图表对中捕获感兴趣的表示。这确保了每个操作符的参数在整个训练过程中得到更新,从而构建了训练方案。我们在几个视觉问答数据集上进行了广泛的实验,以证明我们的METbT框架的有效性。我们的主要贡献可以总结为三个方面:
  • •
    我们提出了一个名为Memory-Enriched Thought-by-Thought(METbT)的新框架,用于具有挑战性的视觉问答任务。该框架通过引入记忆来适应性地构建推理过程,从而提高了视觉问答的泛化性能。
  • •
    我们设计了一个自适应操作符控制器,通过为不同的问题-图表对选择合适的操作符来指导推理过程。这些操作符不仅在记忆中写入表示,还建立了记忆中的表示与问题-图表对获得的表示之间的关系。
  • •
    在几个图表问答数据集上的广泛实验验证了METbT框架相对于许多最新模型的优越性。值得注意的是,结果表明METbT在准确性方面取得了显著改进。

相关工作

相关工作

相关工作分为三个方面,包括视觉问答、图表问答、记忆网络和思维链。

框架

给定一个视觉-语言对,目标是根据图表中包含的信息回答问题。为此,我们开发了一个名为Memory-Enriched Thought-by-Thought(METbT)的新框架,该框架可以根据推理过程的需求自适应地从图表和记忆中检索所需的表示,实现增量推理,如图2所示。完整的METbT过程在算法1中呈现,包括下面描述的三个关键模块。
视觉与语言

自适应思维推理

前一节介绍了三个模块的总体功能。接下来,我们将重点介绍自适应思维推理模块,并详细讨论自适应操作符控制器和三个操作符的工作流程。

实验

数据集。为了全面评估所提出的方法,我们选择了五个需要根据图表中传达的信息来回答问题的数据集。这些数据集分别是Smart-101、IconQA-T、ScienceQA、CSDQA和AI2D,将按顺序介绍。(1)SMART-101(Cherian等人,2023年)包含200k个图表及其对应的问答对,分为训练集、验证集和测试集,比例为80:5:15。

结论

本文介绍了METbT(Memory-Enriched Thought-by-Thought),这是一种新的记忆增强型推理框架,可以提高神经网络在视觉问答任务中的性能。与现有的一步融合视觉和文本信息的方法不同,METbT实现了一个自适应的、增量的推理系统,具有结构化的记忆和三个专门的操作符(写入、关联和解决),以模拟类似人类的推理。该框架的特点是一个自适应操作符

CRediT作者贡献声明

张新宇:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,项目管理,方法论,调查,形式分析,数据整理,概念化。张玲玲:撰写 – 审稿与编辑,监督,软件,资源获取。吴彦瑞:撰写 – 审稿与编辑,调查,数据整理。王少伟:撰写 – 审稿与编辑,调查,数据整理。吴文军:撰写 – 审稿与编辑,资源获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:刘军报告获得了中国国家重点研发计划的支持。张玲玲报告获得了国家自然科学基金的支持。刘军报告获得了陕西省社会科学基金项目的支持。

致谢

本工作得到了中国国家重点研发计划(2022YFC3303600)、国家自然科学基金(62137002、62293550、62293553、62293554、62450005、62437002、62477036、62477037、62176209、62176207、62192781、62306229)、“LENOVO-XJTU”智能产业联合实验室项目、陕西省社会科学基金项目(编号2024P041)、陕西省自然科学基础研究计划(编号2023-JC-YB-593)以及青年的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号