我们生活在一个包含多种数据模态的复杂环境中,如声音、图像和文本。研究人员利用深度学习技术在这些领域取得了显著的突破,例如图像识别、情感分析和自然语言处理。如今,仅使用单一数据模态可能会成为深度学习的瓶颈,因为它无法充分利用多模态数据的互补性和并发性。例如,当在视频中观察到不寻常的人类行为(如奔跑或跌倒)时,忽略异常音频信号可能会导致关于异常事件的有用信息丢失。
音频和视频数据是人类感知外部世界的主要来源。人类大脑可以无缝融合这两种类型的数据,从而构建对周围环境的全面理解[1]、[2]、[3]。例如,当某人生气时,你可以看到他们皱眉、抿嘴和鼻孔扩张。同时,他们的声音会变得更大更低沉[4]、[5]、[6]。与使用单一数据模态相比,音频-视频融合(AVF)具有明显的优势:
(1)大量可用数据[7]、[8]:随着互联网技术的快速发展,用户生成的内容,尤其是视觉内容的共享显著增加。这丰富了音频-视频数据的来源。同时,由于数据采集和注释变得更加容易,收集音频和视频数据的成本也降低了。数据的丰富为AVF研究的发展奠定了基础。
(2)高级一致性[2]、[9]:人类感知系统通过三种一致性将音频和视频模态紧密联系起来:语义一致性、空间一致性和时间一致性。例如,狗叫声的声音会立即让人联想到狗的形象。空间一致性有助于确定声音源或物体的位置。时间一致性确保音频和视频事件同步发生,例如在看到狗的同时听到它的叫声。
(3)应用场景的多样性[10]:AVF通过合并音频和视频数据显著提高了系统的准确性、鲁棒性和响应速度。多模态数据的互补性提高了异常检测和环境感知等任务的准确性。它还提供了更自然和沉浸式的用户体验。因此,AVF有更多的应用场景。例如,智能监控、医疗保健和自动驾驶。
这些应用场景需要AVF为不同的任务提供各种信息。例如,心理健康评估必须理解人类情感,医疗保健相关应用必须识别用户行为,而智能监控需要知道音频和视频事件的位置。情感识别(ER)捕捉并分析面部微表情和语调变化等微妙线索来判断人们的情感状态[9]、[11]、[12]、[13]。动作识别(AR)是一种通过分析视频或传感器数据自动识别和分类人类动作或行为模式的技术。对于AR,基于AVF的方法结合身体动作和声音特征来识别复杂的运动模式[7]、[14]。音频-视频事件定位(AVEL)通过同步分析音频和视频信息,自动识别特定事件的发生并确定它们在连续音频-视频流中的相应时间段。对于AVEL,AVF可以通过精确匹配音频和视频特征来快速确定特定事件的时间和空间位置[15]、[16]、[17]。
AVF技术的进步在多个实际应用中也展示了显著的技术价值和社会相关性。例如,在说话人识别应用中,它将视觉唇部特征与声纹信息结合起来,在复杂的声学环境或视觉遮挡条件下显著提高了身份验证的准确性[18]。在事件检测系统中,通过同步分析视觉异常和相关音频信号,系统可以可靠地识别玻璃破碎或事故碰撞等关键事件。在对象或人物跟踪应用中,视觉轨迹和声音源的相互验证有效解决了目标暂时消失或严重遮挡等挑战。在人机交互中,手势、唇部动作和语音命令的融合使得人类和机器之间的交流更加自然和稳健[19]、[20]。
保证上述应用的性能尤其具有挑战性。首先,由于音频和视频具有不同的采样率和持续时间[5]、[21],对齐它们非常困难。音频通常以更高的采样率录制以捕捉声波,而视频数据则通过一系列离散的帧捕获。不幸的是,视频数据的采样率远低于音频数据的采样率。这种差异导致了时间对齐问题。此外,音频和视频内容的持续时间不同,这也增加了特征对齐的难度。例如,当看到一辆汽车经过时,相应的喇叭声可能会提前或延迟出现。最后,AVF存在异构性问题,因为音频和视频是不同类型的数据。如果这些数据不能有效整合,上下文信息和时空相关性等信息可能会丢失[22]。
例如,在智能车辆系统中,极端天气条件可能会严重遮挡摄像头。同时,雨水噪音和风干扰会干扰麦克风输入,从而导致模态质量的显著下降。此外,许多先进的融合模型涉及较大的参数规模和高计算复杂性,这使得在没有强大云计算资源的移动或嵌入式设备上难以实现实时响应。这限制了它们在离线或边缘场景中的应用。最后,由于音频和视频通常由不同的设备捕获,硬件差异和物理分离也给两种模态之间的精确对齐带来了重大挑战。
面对这些挑战,研究人员提出了各种基于AVF的方法。例如,基于深度学习的神经网络模型[23]、[24]、[25]、[26]、[27],时空注意力机制[28]、[29]、[30]、[31]、[32],跨模态交互策略[6]、[10]、[21]、[33],以及多级融合方法[10]、[34]、[35]、[36]、[37]。尽管这些方法为上述问题提供了有效的解决方案,但它们仍然面临数据不同步、模态丢失和模态依赖等挑战。
在本文中,我们首先从融合技术的角度细化了基于AVF的方法的分类,并回顾了AVF在ER、AR和AVEL领域实际应用的相关工作。然后,我们分析了这三个领域中基于AVF的论文的实验结果,以建立更深入的理解,并为未来的研究提供更具体的见解。
关于这个主题有几篇综述论文[2]、[3]、[38]、[39]。Wei等人[2]概述了基于AVF的音频-视频学习的最新进展。他们将现有的音频-视频研究分为三类:音频-视频增强、跨模态感知和音频-视频协作。Zhu等人[3]将音频-视频任务分为四个不同的子领域:音频-视频分离和定位、音频-视频对应学习、音频-视频生成和音频-视频表示学习。Katsaggelos等人[38]回顾了AVF中使用的主流技术和现有挑战,并比较了不同的方法来应对这些挑战。Baltru?aitis等人[39]深入探讨了机器学习中AVF的历史发展,并对多模态学习中的挑战(如表示、对齐、转换和协同学习)进行了深入分析。
本节概述了本文的结构,旨在提供对该主题的全面理解:
第2节:音频-视频特征提取和不同融合技术的概述。本节介绍了音频-视频数据的基本特征,并展示了基于AVF的方法的策略和实现。
第3节:AVF在三个领域的应用。本节深入探讨了AVF技术在各个领域的具体应用案例。我们讨论了ER、AR和AVEL的相关论文。
第4节:先进方法的实验。我们展示了三个领域中不同基于AVF的方法的结果,并分析了它们的性能。
第5节:未来研究的探索。基于我们对当前AVF发展的理解,我们提出了潜在的研究问题和方向。