通过全局语义感知和帧间语义一致性检测人工智能生成的视频
《Neurocomputing》:Detecting AI-Generated Videos via Global Semantic Awareness and Inter-Frame Semantic Consistency
【字体:
大
中
小
】
时间:2026年04月06日
来源:Neurocomputing 6.5
编辑推荐:
AI生成视频检测方法研究:提出SemaDet双分支框架,通过全局语义异常和帧间语义不一致性分析,有效提升检测性能。实验表明其优于现有方法如AIGVDet和DeCoF。
钱宇翔|郭云峰|顾思琪|谢丽哲|胡颖宁
东南大学网络科学与工程学院,中国南京211189
摘要
人工智能生成的视频日益逼真,这对依赖于低级视觉特征的检测方法提出了重大挑战。为克服这一限制,我们将检测范式从像素级线索转向高级语义分析。我们将生成伪影定义为两个互补的语义维度:全局语义异常和帧间语义不一致性。我们提出了SemaDet,这是一个双分支框架,它结合了全局语义Transformer分支(用于建模整体语义结构)和帧间语义一致性分支(用于捕捉局部语义差异)。广泛的实验表明,SemaDet在公共基准测试中取得了最先进的性能,凸显了语义建模在检测人工智能生成视频方面的有效性。
章节摘录
引言
生成式AI的最新进展,特别是生成对抗网络(GANs)和扩散模型(Diffusion Models),使得合成高度逼真的图像成为可能。虽然这些技术为各种创造性应用带来了好处,但也引发了关于媒体真实性的严重担忧。作为回应,图像取证领域开发了多种检测方法,如DIRE [1]和AIDE [2]。这些方法在识别图像方面表现出有效性。
相关工作
随着人工智能生成视频技术的快速发展,验证视频内容的真实性已成为一个日益重要的挑战。尽管人工智能生成的视频通常具有很高的视觉真实感,但它们通常会保留微妙的时间伪影。早期的检测方法主要针对这些低级线索,使用时空建模技术(如光流分析)来捕捉运动不规则性。
例如,白等人[7]提出了AIGVDet
比较实验
为了系统评估所提出方法的检测性能和泛化能力,我们选择了四个具有代表性的基线进行比较。AIGVDet [7]和DeCoF [8]分别在各自的基准测试中取得了最先进的成绩,它们分别代表了建模视觉伪影和光流的方法。此外,我们还包含了VideoMAE [44]和ViViT [45],这两个来自视频理解领域的领先架构
结论
在本文中,我们提出了SemaDet,这是一个通过语义特征建模来检测人工智能生成视频的双分支框架。通过联合分析全局语义结构和帧间一致性,SemaDet在公共基准测试中展示了强大的检测性能、显著的泛化能力和鲁棒性。总之,SemaDet代表了将高效的语义级检测与大型模型推理相结合的一个有前途的方向,从而提高了鲁棒性
讨论
尽管在各种基准测试中表现出强大的性能,当前框架仍存在一些局限性。
首先,就特征鲁棒性而言,对CLIP的依赖使模型容易受到类型攻击[46]的影响,并且存在语义盲点,限制了其处理分布外或不合理内容的能力。此外,CLIP固有的静态特性也是一个明显的瓶颈,这限制了模型对原始时间语义的直接感知。
资助
本研究部分得到了中国国家重点研发计划(项目编号2023YFC3010302)、国家自然科学基金(项目编号82571165)和江苏省重点研发计划(BE2023836)的支持。(通讯作者:胡颖宁)。
作者贡献声明
顾思琪:调查、数据整理。郭云峰:验证、调查。钱宇翔:撰写——初稿、可视化、方法论、调查、概念化。胡颖宁:撰写——审稿与编辑、资源整理、概念化。谢丽哲:项目管理、形式化分析。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
钱宇翔于2023年在中国杭州电子科技大学获得计算机科学与技术学士学位。他目前正在东南大学攻读网络与信息安全硕士学位。他的研究兴趣包括大型模型安全和内容安全。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号