《Journal of Visual Communication and Image Representation》:Audio-visual quality assessment based on cross-modal feature interaction
编辑推荐:
•提出了一种多模态音视频质量评估模型(MAVF),用于捕获跨模态特征交互与融合,解决现有方法中交互建模不足的问题。•提出了一种两级浅层融合策略,在两个不同阶段逐步将多尺度视觉特征与音频特征进行融合。•引入了一个深层融合模块,用于捕获全局依赖关系和复杂的跨模态交互,从而生成更具
- •
提出了一种多模态音视频质量评估模型(MAVF),用于捕获跨模态特征交互与融合,解决现有方法中交互建模不足的问题。
- •
提出了一种两级浅层融合策略,在两个不同阶段逐步将多尺度视觉特征与音频特征进行融合。
- •
引入了一个深层融合模块,用于捕获全局依赖关系和复杂的跨模态交互,从而生成更具判别性的联合特征表示。
- •
在两个公开AVQA数据集上进行的广泛实验表明,所提方法优于现有方法,验证了其有效性和泛化能力。
引言
随着移动智能设备和高速无线网络的广泛应用,在线视频已成为基于互联网的信息交流核心组成部分。在此趋势下,以短视频平台为代表的应用极大地推动了音视频(A/V)内容的创作和分享。从最初的内容创作到最终的上传,用户生成的A/V内容通常要经历多个阶段的退化。非专业录制和消费级设备带来的失真通常表现为噪声、相机抖动和混响。此外,包括压缩和转码在内的处理过程可能会引入额外的伪影,如块效应、模糊和各种形式的音频失真。因此,内容质量的不一致性与用户对高质量体验(QoE)日益增长的需求之间产生了显著冲突。因此,有必要开发能够准确可靠地评估A/V质量的方法。
音视频质量评估(AVQA)可以分为两大类:主观评估和客观评估。主观AVQA依赖于人类感知实验,能够准确反映观看者的视觉和感知体验。然而,此类实验耗时耗力且难以扩展。相比之下,客观AVQA采用数学模型和算法自动评估视频质量,具有高效性、一致性和可扩展性等优势,因此已成为主流方法。
早期的客观AVQA方法主要依赖于低层信号特征,关注像素级差异或统计特征分析。典型指标包括视频质量评估(VQA)中的峰值信噪比(PSNR)、结构相似性指数(SSIM)[2]和视频多方法评估融合(VMAF)[3];以及音频质量评估(AQA)中的语音质量感知评估(PESQ)[4]和源到失真比(SDR)[5]。然而,这些方法通常依赖于特征和先验知识,难以有效捕获视频的复杂视觉特征。在深度学习在计算机视觉领域广泛应用的推动下,基于神经网络的方法已逐渐引入音视频质量评估领域[6][7][8]。聚焦于单模态信号(如视觉失真或音频质量),许多先前的研究为VQA[9][10][11]和AQA[12][13][14][15][16]提出了许多算法,显著提高了评估精度。此外,Yan等人通过联合降低空间和时间冗余,研究VQA中性能与效率之间的权衡,从不同角度探索了高效的视频质量评估[17];并进一步基于大规模真实世界数据库研究了自由视角视频质量评估,通过联合考虑生成、播放和稀疏采样策略,证明了高效无参考预测的可行性[18]。Fang等人[19]研究了VQA中的时空建模,并表明稀疏帧采样仍能取得具有竞争力的性能,突出了空间特征的重要作用。然而,这些方法忽略了A/V质量对用户QoE的联合影响。受上述问题的启发,许多研究[20][21]尝试将音频和视频特征结合起来进行AVQA,但它们通常只是沿着某个维度简单地将两类特征拼接在一起来预测质量分数。这种方法在很大程度上忽略了特征之间的相互关系,因此无法实现音频和视频特征之间复杂交互的深入理解。除AVQA外,在各种多媒体任务中,有效地学习判别性表示和建模跨模态关系也受到了越来越多的关注。例如,Qu等人[22]通过解耦时空信息来探索小样本动作识别中的知识补偿;Qu等人[23]提出了渐进对齐方法来捕获多种运动速度下的时间变化。Xing等人[24]研究了局部感知的跨模态对应学习,以对齐音频和视觉线索进行密集音视频事件定位。此外,基于聚类的原型学习[25]、受奖励启发的表示优化[26]和以视觉为中心的令牌压缩策略[27]证明了有效的特征表示和交互建模对于提高不同多媒体场景中的泛化能力和效率的重要性。这些研究进一步促使我们探索面向AVQA的高级多模态表示学习策略。
受人类多模态感知机制的启发,我们不仅考虑两类模态特征,还考虑多层特征交互,提出了一种客观AVQA模型。具体来说,该框架使用预训练的视觉-语言模块从视频帧中提取多层视频特征表示,并使用音频特征模型从对应的音频片段中提取丰富的音频特征。为了整合多模态信息,首先通过浅层融合模块在粗粒度上组合视频和音频特征,捕获初步的跨模态相关性。然后,设计了一个深层融合模块,通过建模全局依赖关系和更复杂的跨模态交互来增强联合表示。在最终阶段,使用回归头从增强的特征表示中导出整体质量分数。
我们方法的贡献可以总结如下:
(1) 提出了一种多模态音视频质量评估模型(MAVF),用于捕获跨模态特征交互与融合,解决现有方法中交互建模不足的问题。
(2) 提出了一种两级浅层融合策略,在两个不同阶段逐步将多尺度视觉特征与音频特征进行融合。
(3) 引入了一个深层融合模块,用于捕获全局依赖关系和复杂的跨模态交互,从而生成更具判别性的联合特征表示。
(4) 在两个公开AVQA数据集上进行的广泛实验表明,所提方法优于现有方法,验证了其有效性和泛化能力。
章节摘要
音视频质量评估
在早期研究中,Demirbilek等人[28]考察了AVQA的无参考参数策略,对比了决策树、遗传编程和神经网络。在先有研究的基础上,Demirbilek等人[29]设计了一种方法,通过分析比特率和丢包率等网络和编解码器参数来构建从客观特征到主观MOS的非线性映射,从而提高预测精度。为了研究低码率下的感知质量,Winkler等人[30]
所提模型
在本文中,我们提出了一种基于音视频特征交互与融合的多模态视频质量评估模型MAVF,如图1所示。首先,在视觉模态中,使用预训练的视觉模块Vision Mamba(Vim)[48]来获取多层次的视频帧表示。在音频模态中,我们提取四种互补特征——色度图、恒Q变换(CQT)、梅尔频率倒谱系数(MFCC)和伽马频率倒谱系数(GFCC)来
数据集
SJTU-UAV数据库[21]:SJTU-UAV数据库包含520个用户生成的A/V序列,从YFCC100m数据库中整理而来。所有序列均为8秒片段,最低分辨率为960×720像素,音频已归一化。数据库涵盖了多种真实的视觉失真,包括运动模糊、噪声和过曝光,以及多种音频内容,如语音、音乐和环境噪声。视频帧率在15至30 fps之间,主要分辨率为
结论
为了全面评估音视频质量,我们提出了一种基于多模态信息和多层特征交互的音视频质量评估模型。具体来说,首先提取多层视觉特征和丰富的音频特征。然后将这两类特征从浅层到深层进行融合,以捕获语义交互,从而能够更好地捕获特征表示。实验结果表明,所提方法与人类感知一致
CRediT作者贡献声明
刘云:撰写——原稿、方法论、资金获取。凡道新:验证、调查。张宾:可视化、验证。曹佳玉:验证、调查。王子桓:软件、调查。崔文洋:撰写——原稿、验证。
利益冲突声明
作者声明没有已知的可能影响本研究报告工作的竞争性财务利益或个人关系。
致谢
本工作得到了辽宁省国际产业技术研发项目(国际及港澳台)的支持。
刘云|凡道新|张宾|曹佳玉|王子桓|崔文洋