综述:视听融合技术综述:发展、应用与挑战

《Neurocomputing》:A review of audio-visual fusion technology: Development, applications, and challenges

【字体: 大 中 小 】 时间:2026年01月04日 来源:Neurocomputing 6.5

编辑推荐:

  音频-视频融合技术综述与应用分析,从融合方法与三大应用场景分类现有研究,通过实验结果比较分析技术优势与挑战,提出未来研究方向。

  
张婷|易军|于叶|侯思佳|卢强
合肥工业大学计算机科学与信息学院,中国合肥230000

摘要

随着社会的发展,音频和视频已成为我们日常生活中主要的媒体形式。当前的音频-视频融合(AVF)研究论文根据融合阶段或应用场景进行分类。尽管这些论文介绍了不同AVF方法的发展并分析了它们的性能,但忽略了基础AVF技术的影响。在本文中,我们从融合技术和应用场景两个方面回顾了基于AVF的方法的发展。同时,我们对三个主要的AVF应用进行了全面调查,并展示了代表性算法的结果并分析了它们的性能,以加深对这些方法的理解。最后,我们总结了AVF领域中存在的持续挑战和问题,并为未来的研究问题和方向提供了见解。我们的目标是提供AVF的细致分类,为该领域的研究人员提供全面的参考。

引言

我们生活在一个包含多种数据模态的复杂环境中,如声音、图像和文本。研究人员利用深度学习技术在这些领域取得了显著的突破,例如图像识别、情感分析和自然语言处理。如今,仅使用单一数据模态可能会成为深度学习的瓶颈,因为它无法充分利用多模态数据的互补性和并发性。例如,当在视频中观察到不寻常的人类行为(如奔跑或跌倒)时,忽略异常音频信号可能会导致关于异常事件的有用信息丢失。
音频和视频数据是人类感知外部世界的主要来源。人类大脑可以无缝融合这两种类型的数据,从而构建对周围环境的全面理解[1]、[2]、[3]。例如,当某人生气时,你可以看到他们皱眉、抿嘴和鼻孔扩张。同时,他们的声音会变得更大更低沉[4]、[5]、[6]。与使用单一数据模态相比,音频-视频融合(AVF)具有明显的优势:
  • (1)
    大量可用数据[7]、[8]:随着互联网技术的快速发展,用户生成的内容,尤其是视觉内容的共享显著增加。这丰富了音频-视频数据的来源。同时,由于数据采集和注释变得更加容易,收集音频和视频数据的成本也降低了。数据的丰富为AVF研究的发展奠定了基础。
  • (2)
    高级一致性[2]、[9]:人类感知系统通过三种一致性将音频和视频模态紧密联系起来:语义一致性、空间一致性和时间一致性。例如,狗叫声的声音会立即让人联想到狗的形象。空间一致性有助于确定声音源或物体的位置。时间一致性确保音频和视频事件同步发生,例如在看到狗的同时听到它的叫声。
  • (3)
    应用场景的多样性[10]:AVF通过合并音频和视频数据显著提高了系统的准确性、鲁棒性和响应速度。多模态数据的互补性提高了异常检测和环境感知等任务的准确性。它还提供了更自然和沉浸式的用户体验。因此,AVF有更多的应用场景。例如,智能监控、医疗保健和自动驾驶。
  • 这些应用场景需要AVF为不同的任务提供各种信息。例如,心理健康评估必须理解人类情感,医疗保健相关应用必须识别用户行为,而智能监控需要知道音频和视频事件的位置。情感识别(ER)捕捉并分析面部微表情和语调变化等微妙线索来判断人们的情感状态[9]、[11]、[12]、[13]。动作识别(AR)是一种通过分析视频或传感器数据自动识别和分类人类动作或行为模式的技术。对于AR,基于AVF的方法结合身体动作和声音特征来识别复杂的运动模式[7]、[14]。音频-视频事件定位(AVEL)通过同步分析音频和视频信息,自动识别特定事件的发生并确定它们在连续音频-视频流中的相应时间段。对于AVEL,AVF可以通过精确匹配音频和视频特征来快速确定特定事件的时间和空间位置[15]、[16]、[17]。
    AVF技术的进步在多个实际应用中也展示了显著的技术价值和社会相关性。例如,在说话人识别应用中,它将视觉唇部特征与声纹信息结合起来,在复杂的声学环境或视觉遮挡条件下显著提高了身份验证的准确性[18]。在事件检测系统中,通过同步分析视觉异常和相关音频信号,系统可以可靠地识别玻璃破碎或事故碰撞等关键事件。在对象或人物跟踪应用中,视觉轨迹和声音源的相互验证有效解决了目标暂时消失或严重遮挡等挑战。在人机交互中,手势、唇部动作和语音命令的融合使得人类和机器之间的交流更加自然和稳健[19]、[20]。
    保证上述应用的性能尤其具有挑战性。首先,由于音频和视频具有不同的采样率和持续时间[5]、[21],对齐它们非常困难。音频通常以更高的采样率录制以捕捉声波,而视频数据则通过一系列离散的帧捕获。不幸的是,视频数据的采样率远低于音频数据的采样率。这种差异导致了时间对齐问题。此外,音频和视频内容的持续时间不同,这也增加了特征对齐的难度。例如,当看到一辆汽车经过时,相应的喇叭声可能会提前或延迟出现。最后,AVF存在异构性问题,因为音频和视频是不同类型的数据。如果这些数据不能有效整合,上下文信息和时空相关性等信息可能会丢失[22]。
    例如,在智能车辆系统中,极端天气条件可能会严重遮挡摄像头。同时,雨水噪音和风干扰会干扰麦克风输入,从而导致模态质量的显著下降。此外,许多先进的融合模型涉及较大的参数规模和高计算复杂性,这使得在没有强大云计算资源的移动或嵌入式设备上难以实现实时响应。这限制了它们在离线或边缘场景中的应用。最后,由于音频和视频通常由不同的设备捕获,硬件差异和物理分离也给两种模态之间的精确对齐带来了重大挑战。
    面对这些挑战,研究人员提出了各种基于AVF的方法。例如,基于深度学习的神经网络模型[23]、[24]、[25]、[26]、[27],时空注意力机制[28]、[29]、[30]、[31]、[32],跨模态交互策略[6]、[10]、[21]、[33],以及多级融合方法[10]、[34]、[35]、[36]、[37]。尽管这些方法为上述问题提供了有效的解决方案,但它们仍然面临数据不同步、模态丢失和模态依赖等挑战。
    在本文中,我们首先从融合技术的角度细化了基于AVF的方法的分类,并回顾了AVF在ER、AR和AVEL领域实际应用的相关工作。然后,我们分析了这三个领域中基于AVF的论文的实验结果,以建立更深入的理解,并为未来的研究提供更具体的见解。
    关于这个主题有几篇综述论文[2]、[3]、[38]、[39]。Wei等人[2]概述了基于AVF的音频-视频学习的最新进展。他们将现有的音频-视频研究分为三类:音频-视频增强、跨模态感知和音频-视频协作。Zhu等人[3]将音频-视频任务分为四个不同的子领域:音频-视频分离和定位、音频-视频对应学习、音频-视频生成和音频-视频表示学习。Katsaggelos等人[38]回顾了AVF中使用的主流技术和现有挑战,并比较了不同的方法来应对这些挑战。Baltru?aitis等人[39]深入探讨了机器学习中AVF的历史发展,并对多模态学习中的挑战(如表示、对齐、转换和协同学习)进行了深入分析。
    目前,AVF领域的大多数研究都集中在解决特定的音频-视频任务上。这些研究具有明显的任务导向特性。在一定程度上,这限制了AVF技术及其应用的发展和扩展。鉴于缺乏系统性的综述来追踪AVF领域的发展和现状,我们的主要贡献总结如下:
  • (1)
    我们提供了基于融合技术的AVF方法的详细分类以及主要应用场景。然后我们讨论了相应的挑战和问题。通过这种系统性综述,研究人员可以了解不同AVF方法的特点。
  • (2)
    我们分析了AVF方法在三个主要应用领域的优势和劣势。研究人员可以了解并分析每个场景中最近进展的经典算法。
  • (3)
    我们分析了AVF方法在三个领域的结果,并提出了该领域未来研究的潜在方向和问题。
  • 本节概述了本文的结构,旨在提供对该主题的全面理解:
    第2节:音频-视频特征提取和不同融合技术的概述。本节介绍了音频-视频数据的基本特征,并展示了基于AVF的方法的策略和实现。
    第3节:AVF在三个领域的应用。本节深入探讨了AVF技术在各个领域的具体应用案例。我们讨论了ER、AR和AVEL的相关论文。
    第4节:先进方法的实验。我们展示了三个领域中不同基于AVF的方法的结果,并分析了它们的性能。
    第5节:未来研究的探索。基于我们对当前AVF发展的理解,我们提出了潜在的研究问题和方向。

    部分摘录

    基于AVF的方法

    基于AVF的方法结合音频和视频数据,利用它们的互补和一致特征。它们通常包括两个主要步骤。首先,从视觉和音频模态中提取特征。其次,以各种方式融合这些特征,以建立对视频的更深层次的理解。在本节中,我们分析了每种模态的特征提取技术,并总结了相应的特征融合技术。

    AVF的应用

    我们分析了来自IEEE计算机视觉与模式识别会议(CVPR)、IEEE国际计算机视觉会议(ICCV)和欧洲计算机视觉会议(ECCV)的论文中的最后三个问题。图2显示了与AVF相关的已发表论文的统计情况。我们观察到ER和AVEL领域的论文数量呈增长趋势,而AR领域的论文数量相对稳定。
    因此,我们总结了AVF在ER、AR和AVEL领域的进展。

    基于AVF方法的实验结果

    在本节中,我们证明了基于AVF的方法在ER、AR和AVEL上的有效性。我们的分析重点是比较基于AVF的方法与单一模态方法的性能改进。
    我们使用准确性、二分类准确性(Acc2)、Top-1准确性和Top-5准确性作为评估指标。准确性表示模型在所有样本上的分类准确性,而Acc2表示模型在二分类问题上的准确性。Top-1准确性衡量的是

    结论和未来展望

    基于单一模态的方法已无法满足日益复杂的日常场景的需求。不同数据模态具有互补特征。因此,通过整合这些数据,我们可以获得更有价值的信息。AVF旨在通过融合音频和视频数据来实现不同模态之间的协同互补。
    目前,AVF领域仍面临几个问题和挑战:
  • (1)
    异步问题:AVF在音频和视频流之间存在异步问题。例如,
  • CRediT作者贡献声明

    张婷:撰写——原始草稿。易军:撰写——审阅和编辑。于叶:形式分析。侯思佳:可视化。卢强:形式分析。

    利益冲突声明

    作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
    没有提供任何报告。没有报告与任何关系。没有专利申请。没有其他关系。如果有其他作者,他们声明没有已知的可能会影响本文所报告工作的财务利益或个人关系。
    张婷于2022年获得安徽大学的工程学士学位。目前,她是合肥工业大学计算机与信息学院的研究生,她的研究兴趣包括视频中的多模态融合和异常检测。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号