《Information Fusion》:Progressive Temporal Compensation and Semantic Enhancement for Exo-to-Ego Video Generation
编辑推荐:
外视角到内视角视频生成中,提出PCSE框架通过渐进时间补偿模块提取长时依赖,分层双通道Transformer联合生成视角帧与语义布局,并利用不确定性感知语义增强模块优化输出,显著提升结构连贯性和语义一致性。
Xingyue Wang|Weipeng Hu|Jiun Tian Hoe|Jianhui Li|Ping Hu|Yap-Peng Tan
新加坡南洋理工大学电气与电子工程学院,639798,新加坡
摘要
将视频视角从外部视角(第三人称)转换为内部视角(第一人称)具有挑战性,因为这两种视角之间的重叠部分有限。现有方法通常忽略了时间动态——这对于捕捉运动线索和重新出现的物体至关重要——并且没有充分利用源视图推断的语义信息。为了解决这些限制,我们提出了一种渐进式时间补偿和语义增强(PCSE)框架,用于从外部视角生成内部视角视频。渐进式时间补偿(PTC)模块关注长期时间依赖性,逐步将外部时间模式与内部表示对齐。通过使用依赖性转移机制和渐进掩码,PTC逐渐减少对内部视角监督的依赖,从而实现更稳健的目标视图学习。此外,为了利用高级场景上下文,我们引入了分层双通道变压器(HDT),它通过具有分层处理变压器块的双编码器-解码器架构共同生成内部帧及其相应的语义布局。为了进一步增强结构连贯性和语义一致性,生成的语义布局通过不确定性感知语义增强(USE)模块指导帧的细化。USE动态估计不确定性掩码以定位和细化模糊区域,从而产生更加连贯和视觉上准确的结果。广泛的实验表明,PCSE在无线索方法中表现出了领先性能。
引言
从外部视角到内部视角的视频生成(E2VG)任务旨在将视频从外部视角(第三人称)转换为内部视角(第一人称),近年来受到了越来越多的关注[1]、[2]、[3]。这两种视角提供了不同的场景表示:外部视角捕捉全局场景概览,而内部视角提供了观察者的直接体验,包括与附近物体的互动。在沉浸式游戏、虚拟训练模拟和人机交互等应用中,弥合这两种视角之间的差距至关重要。例如,在制造业中,内部视角使远程专家能够虚拟探索工厂,便于进行机器评估和问题识别。此外,从大量的第三人称视频中生成内部视角的镜头可以避免大规模头戴式记录的成本,从而扩展了依赖第一人称观察的模型的可用数据。
许多现有的跨视图生成方法[4]、[5]在紧密对齐的相机视角之间实现了有希望的结果。然而,由于视角、物体排列和运动动态的显著差异,从外部视角到内部视角的转换仍然具有挑战性。为了解决这些复杂性,当前的方法可以大致分为基于线索的方法和无线索的方法。基于线索的方法[1]、[6]、[7]、[8]在训练和推理过程中都依赖于明确的目标视图指导。例如,如图1(a)所示,几项研究[9]、[10]、[11]结合了目标视图语义分割图来促进生成。虽然有效,但这些方法在缺乏目标视图线索的情况下难以提取可靠的语义表示——这是现实世界中经常遇到的情况。作为回应,最近的无线索方法[12]、[13]、[14](如图1(b)所示)合成了内部帧及其相关的语义掩码,以增强语义理解,而不依赖于直接的目标视图线索。然而,这些方法将生成的语义线索视为训练的辅助副产品,而不是将其重新整合以细化合成输出。此外,一些研究[1]、[13]、[15]、[16]、[17]忽略了对于建模运动和重新出现的物体至关重要的时间动态,导致视频表示不佳。鉴于外部视角和内部视角之间的重叠部分很小,更具挑战性的无线索E2VG任务需要有效利用远程时间线索和从外部视角派生的内在语义理解来弥合这种显著的视角差距。
语义布局提供了场景内容的提炼、纹理不变的表示,使其特别适用于解决跨视图转换中的几何歧义。受此启发,我们的框架从外部输入合成内部帧及其相应的语义布局,加强结构转换学习,而不依赖于目标视图线索。与之前将这些生成的布局视为辅助输出的方法不同,我们的方法进一步利用它们作为结构指导来细化合成帧,从而增强空间连贯性(见图1(c))。此外,为了实现稳健的时空一致性,一些研究[2]、[9]、[14]在跨视图视频生成中整合了空间和时间维度。然而,这些方法通常依赖于短期时间动态,导致连续帧之间的冗余,从而产生次优结果。相比之下,长期时间序列捕获了推断物体重新出现和运动模式所需的更广泛的环境信息。此外,由于视角差异显著,仅依赖像素级别的内部视角监督对于稳健的跨视图预测是不够的。为了促进目标视图表示的学习,我们结合了内部特征级别的监督,并逐步从内部特征转移到外部特征。这种策略为学习复杂的视角转换提供了必要的指导,同时在推理过程中避免了对内部线索的任何依赖。
受上述见解的启发,我们提出了一种新颖的渐进式时间补偿和语义增强(PCSE)方法,用于无线索的E2VG任务,如图2所示。我们的方法包括三个主要组成部分:1)渐进式时间补偿(PTC),2)分层双通道变压器(HDT)和3)不确定性感知语义增强(USE)。为了捕获来自时间上相隔较远帧的重新出现的内容,PTC模块利用长期时间信息逐步学习目标视图表示。具体来说,它首先适应性地将外部时间动态与内部特征对齐,以提取信息丰富的长期依赖性,然后通过依赖性转移机制将这些依赖性与内部信号融合。该机制使用渐进掩码逐步将模型的依赖性从内部输入转移到外部时间线索,从而在推理过程中实现稳健的目标视图学习,同时消除了对目标视图指导的需求。随后,HDT模块通过直接从外部观察中合成粗略的内部帧及其相应的语义布局来实现结构感知的生成。它使用双编码器-解码器路径和分层变压器块来共同捕获空间和语义结构。最后,USE模块使用生成的语义布局作为指导,在多个尺度上细化合成帧。具体来说,动态预测不确定性掩码以识别粗略输出中的不可靠区域,从而实现局部细化,减少误差传播并提高感知质量。
总之,本工作的主要贡献如下:
•我们提出了一种新颖的PCSE方法,用于无线索的E2VG任务,通过利用外部长期时间动态和生成的语义布局来促进目标视图推理,解决了现有方法的局限性。
•我们引入了PTC模块,该模块从外部视频中动态提取信息丰富的长期时间依赖性,并通过依赖性转移机制逐步补偿内部视角的监督,确保在推理过程中不需要内部视角线索即可实现稳健的目标视频建模。
•我们提出了HDT模块,该模块通过双编码器-解码器网络和分层变压器块从外部视频合成内部帧及其相应的语义布局,为后续细化提供了结构基础。
•我们提出了USE模块,该模块利用生成的语义布局在多个分辨率上迭代细化内部帧。细化过程选择性地针对通过动态估计的不确定性掩码识别的问题区域。
•广泛的实验验证了PCSE在增强无线索E2VG任务的时间连贯性和语义一致性方面的有效性。
本文的其余部分组织如下:第二节简要回顾了相关工作。第三节详细介绍了所提出的PCSE模型。第四节讨论了实验结果,第五节总结了本文。
部分摘录
相关工作
本节简要回顾了最近关于视频合成和基于学习的视角转换的研究。
问题表述
无线索E2VG任务涉及在不依赖目标视图线索的情况下将视频从外部视角转换为内部视角。训练数据集包括来自外部和内部视角的视频序列,分别表示为
实验评估
在本节中,我们首先描述了实验设置,包括数据集、评估指标和实现细节。然后,我们通过对最先进方法进行定量和定性比较,对PCSE在E2VG任务上的性能进行了全面评估。此外,我们进行了消融研究,以检查框架中每个组件的贡献。为了研究兼容性,我们将提出的PTC和USE模块应用于现有的生成框架,并报告了
结论
在本文中,我们提出了PCSE,这是一种用于无线索E2VG任务的渐进式时间补偿和语义增强框架。PCSE通过整合长期外部时间动态和自生成的语义布局来增强时空一致性。它由三个关键模块组成:PTC利用信息丰富的长期外部依赖性来补偿内部特征;HDT共同合成内部帧及其相应的语义布局;USE
CRediT作者贡献声明
Xingyue Wang:概念化、方法论、调查、软件、形式分析、验证、可视化、撰写——原始草稿、撰写——审阅与编辑。Weipeng Hu:方法论、监督、软件、撰写——审阅与编辑。Jiun Tian Hoe:软件、验证。Jianhui Li:软件。Ping Hu:监督、撰写——审阅与编辑。Yap-Peng Tan:概念化、监督、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。