基于扩散噪声优化的连续流序列自适应视频预测

《Computer Vision and Image Understanding》:Sequence-adaptive video prediction in continuous streams using diffusion noise optimization

【字体: 大 中 小 】 时间:2026年09月30日 来源:Computer Vision and Image Understanding 3.6

编辑推荐:

   •我们提出了连续视频流中的视频预测问题。•我们提出了SAVi-DNO,通过扩散噪声优化来适应视频预测,同时保持隐私。•我们提出了一种新的评估设置,并通过多项实验展示了SAVi-DNO的优势。引言预测未来视频帧在多个应用中具有重要作用,例如自动驾驶、机器人、人机交互和增强现实。

  
  • •
    我们提出了连续视频流中的视频预测问题。
  • •
    我们提出了SAVi-DNO,通过扩散噪声优化来适应视频预测,同时保持隐私。
  • •
    我们提出了一种新的评估设置,并通过多项实验展示了SAVi-DNO的优势。

引言

预测未来视频帧在多个应用中具有重要作用,例如自动驾驶、机器人、人机交互和增强现实。近年来,基于扩散模型的方法取得了非常好的结果(Ho 等,2020;H?ppe 等,2022;Voleti 等,2022;Lu 等,2024;Zhang 等,2024)。然而,当前的方法将训练和推理分开。它们首先在大型数据集上进行训练,然后应用于视频片段以预测未来视频帧。在连续视频流的场景中(这也是最相关的场景),模型会持续观察到新的训练样本,因为每次预测之后,预测的观察结果就会到来。虽然出于法律和伦理原因,通常禁止存储数据,但数据可以用于持续调整扩散模型以适应视频流。
虽然更新预训练扩散模型的参数是一种选择,但这非常低效,并且引发了对模型中会存储私有数据的担忧。因此,在这项工作中,我们提出了一种替代方案,将扩散模型用于视频预测以适应连续视频流。如图 1 所示,扩散模型通过从高斯分布中采样来从过去的帧预测未来视频帧。对于给定的观察结果,预测可以通过更新模型参数或改变噪声来改变。后者具有优势,即它需要远更少的迭代次数来提高性能,并且模型不存储任何私有数据,这对于隐私敏感的应用非常重要。为此,当新的预测观察结果到来时,我们持续优化采样噪声并添加一些额外的噪声。
我们在四个数据集上对两种不同的扩散模型进行了评估,分别是 PVDM(Yu 等,2023)和 Vista(Gao 等,2025)。这些数据集包括 SkyTimelapse(Xiong 等,2018)和 UCF-101(Soomro,2012)数据集,它们包含相对较短的视频;Ego4D(Grauman 等,2022)数据集,包含长且具有挑战性的第一人称视频;以及 OpenDV-YouTube(Yang 等,2024)数据集,同样包含长视频。我们证明了我们的方法在所有数据集和扩散模型上都能提高 FVD、SSIM 和 PSNR。

章节摘要

相关工作

视频预测。早期的视频预测模型基于确定性范式(Shi 等,2015;Villegas 等,2017;Wang 等,2017;Wang 等,2018;Byeon 等,2018;Donà 等,2021;Pourheydari 等,2022)。然而,视频中的不确定性使得学习确定性模型变得困难,并导致它们退化为对可能未来结果的平均值做出预测。随机模型通过建模中固有的随机性来解决这个问题

连续视频流中的视频预测

问题陈述。当前的视频预测方法在离线设置中进行评估。它们在数据集上进行离线训练,然后应用于视频片段。然而,视频预测的优势在于每次预测之后都可以自由获得新的训练数据。此外,这些方法在实践中应用于连续视频流,其中数据分布可能会随时间变化。因此,我们研究了连续视频流中的视频预测,并进行了调整

实验设置

设置。在标准的视频预测模型中,来自可能较长的测试视频的短片段是独立评估的。在这里,我们考虑了一种测试视频由长而连续的场景而不是孤立片段组成的设置。因此,评估从长视频的开始开始,向视频的末尾进行。
数据集。PVDM(Yu 等,2023)使用 SkyTimelapse(Xiong 等,2018)和 UCF-101(Soomro,2012)数据集进行视频生成评估。相应的

结论

在这项工作中,我们引入了在长连续视频上调整和评估视频预测模型的新设置。此外,我们引入了序列自适应视频预测与扩散噪声优化(SAVi-DNO),一种用于连续视频流的视频预测适应方法。我们在四个数据集上评估了 SAVi-DNO,并证明它提高了相应扩散模型 PVDM 和 Vista 的视频预测效果。结果表明,SAVi-DNO 是一种高效的

CRediT 作者贡献声明

Sina Mokhtarzadeh Azar:撰写——审阅与编辑,撰写——初稿,可视化,验证,软件,方法论,调查,数据整理,概念化。Emad Bahrami:撰写——审阅与编辑,方法论,概念化。Enrico Pallotta:撰写——审阅与编辑,方法论,概念化。Gianpiero Francesca:监督。Radu Timofte:监督。Juergen Gall:撰写——审阅与编辑,监督,项目管理,资金获取。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Juergen Gall 报告称获得了联邦研究、技术和空间部在资助编号 16IS24075C RAINA 下的资金支持。Juergen Gall 报告称获得了德国研究基金会(DFG,德国研究基金会)GA 19279-1 (KI-FOR 5351) 下的资金支持。Juergen Gall 报告称获得了 ERC 联合资助

致谢

本工作得到了联邦研究、技术和空间部在资助编号16IS24075C RAINA下的支持,德国研究基金会(DFG,德国研究基金会) GA 1927/9-1 (KI-FOR 5351),以及ERC 联合资助 FORHUE(101044724)。
Sina Mokhtarzadeh Azar|Emad Bahrami|Enrico Pallotta|Gianpiero Francesca|Radu Timofte|Juergen Gall
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号