MSTVQA:一种用于视频质量评估的多路径动态感知方法
《Image and Vision Computing》:MSTVQA: A multi-path dynamic perception method for video quality assessment
【字体:
大
中
小
】
时间:2025年12月30日
来源:Image and Vision Computing 4.2
编辑推荐:
齐俊伟|王英珍|高敬鹏|吴一辰|刘浦江
哈尔滨工程大学信息与通信工程学院,哈尔滨,150001,中国
**摘要**
自媒体和智能设备的普及导致流媒体平台上的视频质量参差不齐,因此迫切需要有效的自动化视频质量评估(VQA)方法。但大多数现有的VQA方法未能充分考虑人类
齐俊伟|王英珍|高敬鹏|吴一辰|刘浦江
哈尔滨工程大学信息与通信工程学院,哈尔滨,150001,中国
**摘要**
自媒体和智能设备的普及导致流媒体平台上的视频质量参差不齐,因此迫切需要有效的自动化视频质量评估(VQA)方法。但大多数现有的VQA方法未能充分考虑人类视觉感知系统的动态适应性和其协同机制。在这项研究中,我们提出了一种新的多路径感知框架用于VQA,以增强模型的渐进式感知能力。具体来说,整个视频需要被划分为三个感知层次:片段剪辑、采样帧流和帧间差异,并使用一个平衡因子来赋予不同层次的感知权重。首先,定义片段采样方法的目的是在保持时间信息对齐的同时减少模型的输入数据,以提取片段剪辑中的细微运动特征。之后,为了进一步增强局部高频细节的表示,采用了全局方差引导的时间维度注意力机制和空间特征聚合池来准确拟合采样帧序列。最后,通过嵌入连续帧之间的特征图差异并利用Transformer的长期时空依赖性来模拟全局动态演变,模型实现了跨尺度时空信息的渐进式交互。此外,改进的时间滞后池增强了捕捉时间序列数据中非线性动态的能力,并能更真实地模拟人类视觉感知系统的细微变化。实验结果表明,所提出的方法在五个真实数据集上的表现优于现有的无参考VQA(NR-VQA)方法。特别是在CVD2014数据集上,该数据集规模最小且场景变化最少,取得了0.927的PLCC和0.925的SRCC。这些结果清楚地证明了我们方法在VQA任务中的有效性和优势。
**引言**
随着自媒体技术的快速发展和智能设备的广泛使用,每个人都可以通过YouTube和TikTok等社交媒体平台分享生活瞬间,或者通过云服务上传高清电影片段和游戏时刻。由于人类是视频的最终接收者,提高视频质量已成为确保用户满意度和视觉体验的关键因素[1]。由于视频数量的激增,实验者根据标准化实验程序在实验室[2]、[3]、[4]、[5]或众包平台[6]、[7]、[8]中进行准确的主观评估变得不切实际。而且,随着视频内容的多样化和各种失真条件的交织,获取原始完美版本的参考视频也变得具有挑战性。因此,设计鲁棒且高效的无参考视频质量评估(NR-VQA)算法以全面准确地评估视频质量变得越来越紧迫。
与合成失真不同,合成失真是为了模拟特定场景而引入的固定类型失真,而真实失真通常是由外部环境或拍摄设备的影响造成的。因此,将早期在合成失真上表现出色的方法[9]、[10]、[11]、[12]应用于真实失真时,效果并不令人满意。近年来,深度神经网络(DNN)在计算机视觉领域取得了巨大成就,它们具有强大的表示能力。研究人员越来越致力于通过学习使模型能够在大型数据集中发现真实模式和趋势,这已成为未来最有前景的研究方向。
将DNN应用于当前视频质量评估(VQA)任务的一个主要挑战在于模拟人类视觉感知的局限性。时空失真已被确定为影响感知质量的关键因素。人类大脑利用双路径感知机制[13]、[14],包括腹侧和背侧路径,它们协同工作使视觉系统能够感知复杂环境中的各种失真。受这一生物结构的启发,Ying等人[8]提出了第一个双路径时空特征感知的VQA模型PVQ,为后续研究提供了坚实的见解。进一步的进展引入了注意力机制[15]、[16]、[17]、[18]、[19],使模型能够学习多尺度特征并关注与失真相关的信息。然而,这些模型仍然难以模拟人类动态感知的多层次和交互性质,这取决于视觉系统与大脑不同处理阶段之间的复杂协调。
另一个挑战是选择视频序列中关键帧的标准尚不明确。鉴于视频帧包含大量冗余信息[20],一些研究人员尝试通过采样关键帧来减少计算开销。Sun等人[21]根据帧率采用了固定的时间间隔进行采样,而其他一些方法[22]、[23]、[24]则使用固定数量的帧进行均匀采样。Zhang等人[25]提出使用内容变化最显著的帧作为关键帧,并采用香农熵作为定量指标。然而,由于用户感知过程的固有复杂性和主观性,仅依赖香农熵来衡量视觉质量仍存在一定的局限性。
帧级时间失真也是一个重要障碍。现有的VQA工作[8]、[22]、[26]、[27]、[28]、[29]表明,直接采用图像质量评估(IQA)模型从视频序列中提取帧级特征并将其映射到视频级质量特征是不可行的。这种方法的缺陷在于它将视频帧视为具有相等权重的离散点。因此,这将忽略时间失真帧对最终质量预测的不同贡献。由于时间变化导致所有帧的质量迅速下降,这被统称为时间失真,这是由人类视觉系统(HVS)中的时间滞后效应引起的。时间滞后效应指的是对早期失真的持续感知,这会影响后续的质量判断,并最终影响视频的整体主观评估[30]。这一属性在现有研究中总是被忽略,也很少用于时间建模。一些最近的方法[23]、[26]、[31]利用数学建模来模拟HVS中的这一属性。然而,线性拟合尺度的局限性将大大限制模型的性能。
总之,尽管深度学习在VQA领域取得了显著进展,现有模型仍面临许多挑战,包括对人类视觉感知机制的不完美模拟、关键帧选择策略的不明确以及建模帧级时间失真的能力不足。这些问题突显了未来研究中需要更多受生物学启发、感知驱动和时间失真建模方法的需求。为了解决上述问题,我们提出了一个名为MSTVQA的模型,该模型细化了多路径时空特征。首先,视频被编辑成等间隔的多个视频剪辑,并在每个视频剪辑内实现具有时间同步一致性的片段采样。使用迁移学习提取细微运动特征。随后,在每个视频剪辑内随机连续采样几帧,巧妙地避免了之前关键帧选择中的固有随机化问题,从而确保了帧流特征的整合。更具体地说,为了补偿片段中空间语义信息表示不足的问题,沿着时间维度设计了一个全局方差引导的注意力机制,以增强局部高频细节的表示。此外,使用空间特征聚合池来全面感知采样帧流的多层次信息,并使用改进的时间滞后池来近似HVS的滞后效应。最后,利用Transformer的长序列建模能力,我们对连续帧之间的特征图差异进行建模,以模拟视频的全局动态演变。
**本研究的核心创新**是提出了一种基于多路径动态感知机制的NR-VQA方法MSTVQA,有效突破了当前视频质量评估领域面临的三个技术瓶颈:
- 大多数现有VQA方法在模拟视觉感知方面存在固有局限性。因此,本文基于HVS的动态适应性和其协同机制,提出了一种多路径感知框架,逐步细化感知过程。通过捕捉从浅层局部细节到更深层次全局动态的视频内容演变,所提出的模型实现了跨尺度时空信息的渐进式交互。
- 当前VQA研究中关键帧的定义并不统一,需要进一步讨论。本文提出了一种基于帧流采样的感知特征拟合方法,以替代传统的关键帧选择策略。通过引入全局方差引导的时间注意力机制,有效补偿了局部高频细节的损失,并借助空间特征聚合池将加权时间特征与静态区域区分开。
- 现有的VQA研究往往忽视了帧级时间失真对人类视觉感知的影响。在本文中,我们通过引入可学习参数和指数函数来模拟HVS中固有的时间滞后效应,从而增强了模型捕捉时间序列中非线性动态变化的能力。广泛的消融实验表明,所提出的改进时间滞后池显著提高了时间建模的有效性。
**实验结果**
实验结果表明,所提出的MSTVQA在五个真实数据集上的表现优于现有方法,并在最具挑战性的小规模、场景独特的数据集CVD2014上取得了更出色的结果。具体来说,皮尔逊线性相关系数(PLCC)达到了0.927,比第二好的方法提高了2.66%,而斯皮尔曼等级相关系数(SRCC)达到了0.925,提高了3.12%。此外,MSTVQA在跨数据集测试中表现出强大的泛化能力。
**本文的其余工作安排如下**:第2节回顾相关工作;第3节详细描述所提出的方法;第4节报告了与当前最先进NR-VQA方法的实验结果比较;最后,在第5节中,我们总结了我们的工作并对未来研究进行了展望。
**经典VQA方法**
经典VQA方法依赖于手工设计的特征来提取视频中可以表示失真信息的一些特征。NIQE[32]和BRISQUE[33]通过自然场景统计(NSS)进行质量建模。V-BLIINDS[28]包括三个部分特征:基于帧差异的NSS特征、空间自然度得分和运动估计方法[34]。VIIDEO[35]利用空间自然度和运动自然度来感知视频失真。
**提出的方法**
眼睛和大脑之间的渐进式协调机制在人类视觉感知中起着关键作用[57],特别是在评估视频质量等动态内容时。研究表明,视觉评估不是瞬间完成的,而是以分层、逐步的方式进行的[58]。最初,人眼通常会注意到由相机抖动或运动模糊引起的局部运动失真;随着观察的继续,注意力逐渐...
**实验**
在本节中,首先介绍了我们实验的详细设置,包括超参数的选择、基准数据集、评估标准等。然后,我们将MSTVQA与最先进的NR-VQA方法在五个真实数据集上进行比较,所提出的MSTVQA在单个数据集和跨数据集上都取得了最具竞争力的结果。最后,我们进行了消融实验,以验证我们模型中不同组件的贡献。
**结论**
本文旨在克服先前VQA方法中的三个重大局限性:对(HVS)的不完美模拟、关键帧选择策略的不明确以及无法有效建模帧级时间失真。基于人类视觉感知的动态适应性和协同机制,我们提出了一种紧密符合人类视觉感知过程的方法。具体来说,我们的方法首先从时间上捕获局部细微运动特征...
**作者贡献声明**
齐俊伟:撰写——审阅与编辑、软件、方法论、概念化。
王英珍:撰写——原始草稿、可视化、软件、数据管理、概念化。
高敬鹏:监督、资源。
吴一辰:验证、调查。
刘浦江:撰写——审阅与编辑。
**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作得到了中国黑龙江省博士后科学基金(编号LBH-Z24018)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号