《Technologies》:DyGEnc: Encoding a Sequence of Textual Scene Graphs to Reason and Answer Questions in Dynamic Scenes
Sergey Linok,
Vadim Semenov,
Anastasia Trunova,
Oleg Bulichev and
Dmitry Yudin
编辑推荐:
在视频问答(VideoQA)任务中,现有方法难以有效建模复杂的时空依赖关系。为解决这一问题,研究人员提出了一种名为 DyGEnc(Dynamic Graph Encoder,动态图编码器)的新型架构。该架构旨在将动态场景图(Dynamic Scene Grap
在视频问答(VideoQA)任务中,现有方法难以有效建模复杂的时空依赖关系。为解决这一问题,研究人员提出了一种名为 DyGEnc(Dynamic Graph Encoder,动态图编码器)的新型架构。该架构旨在将动态场景图(Dynamic Scene Graphs, DSGs)序列编码为紧凑的潜在表示,以供大语言模型(Large Language Models, LLMs)处理。DyGEnc 采用两阶段编码策略:首先利用图神经网络(Graph Neural Networks, GNNs)提取单帧场景图的静态空间特征;随后通过基于 Q-Former 的时序编码器捕捉跨帧的动态变化。研究人员在 STAR 和 AGQA 两个基准数据集上的实验表明,DyGEnc 显著优于现有的视觉-语言模型,在复杂时空推理任务中取得了最先进的性能。此外,消融实验验证了各组件的有效性,并证明了该模型对真实场景中不可避免的图构建噪声具有较强的鲁棒性。
论文解读
研究背景与意义
随着人工智能技术的发展,视频问答(VideoQA)已成为评估机器时空理解能力的重要任务。然而,现有基于端到端视觉-语言融合的方法在处理涉及多跳逻辑推理、细粒度物体交互及长时间跨度事件预测的问题时表现不佳。这主要是因为原始像素数据缺乏明确的结构化语义信息,导致模型难以捕捉视频中物体间复杂的动态关系。为了克服这一局限,研究人员提出了利用动态场景图(DSGs)作为视频的结构化中间表示。DSGs 能够以图的形式精确描述每一帧中物体的属性及相互关系,而动态场景图序列则自然构成了视频的时空演变过程。尽管 DSGs 蕴含丰富的语义信息,但如何将其有效地转化为大语言模型(LLMs)可理解的输入形式,仍是当前面临的主要挑战。为此,本文提出了 DyGEnc 架构,旨在填补结构化图数据与 LLMs 强大推理能力之间的鸿沟,推动具身智能和多模态理解的发展。该研究成果发表在《Technologies》期刊上。
关键技术方法
为实现上述目标,研究人员设计了一套完整的多模态编码流程。首先,对于输入的文本化场景图,利用预训练的 ModernBERT 模型进行初始特征提取,并结合拉普拉斯位置编码(Laplacian Positional Encoding, LPE)以增强节点特征的区分度。接着,通过图神经网络(GNN)编码器(具体采用 GraphTransformer 架构)聚合邻域信息,生成单帧图的潜在表示 hg∈Rdg。随后,为保留时序信息,研究人员在图级表示中添加时间位置编码 ptpe,并引入基于 Q-Former 架构的时序编码器(Sequence Encoder, SE)。该编码器利用交叉注意力机制,将长度为 m的图序列压缩为 k个可学习查询令牌(Query Tokens)的紧凑表示 h^dg∈Rk×dg(其中 k≤m)。最后,通过一个多层感知机(MLP)将压缩后的令牌投影到 LLM 的嵌入空间,并与问题文本拼接后输入冻结参数的 LLM(采用 Llama 3 系列模型)中进行答案生成。在训练阶段,除 LLM 主体冻结外,其余模块均通过反向传播进行优化,并采用 LoRA(Low-Rank Adaptation)技术实现参数高效微调。
研究结果
3.2 序列编码(Sequence Encoding)
研究人员通过消融实验探究了时序位置编码的影响。结果表明,引入显式的时序位置信息能持续提升模型性能,尤其是在“预测(Prediction)”和“可行性(Feasibility)”等复杂拆分任务中。对比绝对位置编码(APE)和时间编码(TE),旋转位置编码(RoPE)表现最佳,被选为默认方案。
4.1.2 Q-Former 查询令牌数量(Number of Query Tokens)
针对序列压缩程度的实验显示,增加查询令牌数量能带来性能增益。“交互(Interaction)”和“序列(Sequence)”类问题因需要理解时间顺序,从更多令牌中获益相对稳定;而“预测”和“可行性”问题由于更依赖整体序列表征容量,提升更为显著。最终,研究人员确定 16 个查询令牌为最优配置。
4.2 DyGEnc 架构影响(Impact of DyGEnc Architecture)
在 AGQA 数据集上的综合评估表明,DyGEnc 在所有关系和时间维度上均提升了推理性能。当与冻结参数的 LLM 结合时,其效果远超传统的提示微调(Prompt Tuning, PT);若结合 LoRA 微调,性能进一步提升。特别是在动作识别(Action–Recognition)和物体-动作(Object–Action)拆分中,相对改进超过 200%。此外,该架构在排序(Sequencing)和最高级(Superlative)推理中也表现出色,证明了其对时空一致性的维护能力。
5.1 输入模态影响(Impact of Input Modality)
通过与纯视觉方法的对比,研究人员发现基于文本-图(Text-Graph)输入的 DyGEnc 在多项指标上实现了超过 30% 的相对提升。这证明了结构化图表示比端到端视觉融合更能提供强有力的归纳偏置,有效弥补了单纯视觉特征在复杂逻辑推理上的不足。
5.2 DSG 数据质量消融(Ablation of DSG Data Quality)
在模拟真实世界噪声的实验中,研究人员引入了节点/边删除、同义词替换及随机标签篡改等扰动。结果显示,DyGEnc 在低强度噪声下平均准确率保持在 0.9 以上,即使在极端噪声下也能维持合理的推理质量,展现了对不完美注释的强大鲁棒性。
5.3 DSG 构建消融(Ablation Study on DSG Construction)
研究人员比较了三种从图像生成文本场景图的方法。实验基于自建的 DRobot 数据集(包含真实机器人操作场景)。结果表明,直接使用 GPT-4o-mini 处理视觉输入生成图的效果最优,但开源替代方案(如 Nvila 配合 Factual 模型)也能取得合理结果,验证了该流程在实际应用中的可行性。
讨论与结论
讨论
研究人员指出,虽然 DyGEnc 在基准测试和真实场景中均取得了成功,但其实际应用仍面临若干挑战。首先,处理长视频时需要先进的关键帧提取算法来捕捉稀疏事件;其次,前置的文本场景图提取步骤计算量较大,且图注释与问答之间常因同义词产生错位。此外,受限于训练数据的规模和多样性,DyGEnc 目前尚不能完全视为一个超越特定训练领域的通用图编码基础模型。未来的工作将致力于解决长视频理解中的关键事件检测以及更高效的基础模型部署。
结论
研究人员成功开发了 DyGEnc 架构,通过将大语言模型与文本图序列编码器相结合,拓展了动态场景感知的边界。在 STAR、AGQA 以及真实机器人数据上的实验验证了该方法的有效性,为机器人技术等需要深度时空理解的实际应用开辟了新的途径,有助于弥合人类与智能自主代理之间的沟通鸿沟。