神经视频场编辑

《Computational Visual Media》:Neural video field editing

【字体: 大 中 小 】 时间:2026年04月07日 来源:Computational Visual Media 18.3

编辑推荐:

   摘要:扩散模型彻底改变了基于文本的视频编辑方式。然而,将这些方法应用于实际编辑过程中会遇到两个主要挑战:(i)随着帧数的增加,GPU内存需求迅速增长;(ii)编辑后的视频帧之间存在不一致性。为了解决这些问题,我们提出了NVEdit,这是一个全新的基于文本的视频编辑框架,旨在减少

  

摘要:

扩散模型彻底改变了基于文本的视频编辑方式。然而,将这些方法应用于实际编辑过程中会遇到两个主要挑战:(i)随着帧数的增加,GPU内存需求迅速增长;(ii)编辑后的视频帧之间存在不一致性。为了解决这些问题,我们提出了NVEdit,这是一个全新的基于文本的视频编辑框架,旨在减少内存开销并提高长视频编辑的一致性。具体来说,我们构建了一个基于三平面和稀疏网格表示的神经视频场,以实现高效的内存编码方式来处理数百帧的视频。接下来,我们利用现成的文本到图像(T2I)模型对视频场进行更新,以施加基于文本的编辑效果。采用渐进式优化策略来保留原始的时间信息。重要的是,神经视频场和T2I模型都是可适配和可替换的,为未来的研究提供了基础。实验表明,我们的方法能够编辑数百帧视频,并保持强烈的帧间一致性。我们的项目可以在以下链接查看:https://nvedit.github.io/
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号