AlignFormer:模态匹配技术能够实现更高效的零样本指令遵循语音大语言模型(Speech-LLM)

《IEEE Journal of Selected Topics in Signal Processing》:AlignFormer: Modality Matching Can Achieve Better Zero-Shot Instruction-Following Speech-LLM

【字体: 大 中 小 】 时间:2026年01月05日 来源:IEEE Journal of Selected Topics in Signal Processing 13.7

编辑推荐:

  语音-LLM模态对齐问题及AlignFormer方案研究,提出结合CTC对齐与动态窗口QFormer的适配器,冻结LLM主干网络以保持指令遵循能力,通过仅用ASR数据训练实现零样本语音翻译和问答任务,发现音频优先训练可显著提升指令遵循率至近100%。

  

摘要:

将语音集成到大型语言模型(LLM)中(即speech-LLM)最近受到了越来越多的关注。主流的解决方案是使用神经适配器将训练有素的语音编码器与LLM连接起来。然而,语音序列和文本序列之间的长度不匹配问题尚未得到很好的解决,导致语音和文本之间的模态匹配不完美。在这项工作中,我们提出了一种新的神经适配器AlignFormer,用于减少这两种模态之间的长度差异。AlignFormer由CTC(Connectionist Temporal Coding)层和动态窗口QFormer层组成,其中CTC对齐为QFormer提供了动态窗口信息。在训练过程中,LLM的骨干网络被固定不变,以保持其文本处理能力,尤其是指令跟随能力。仅使用ASR(自动语音识别)数据进行训练时,所提出的AlignFormer可以解锁speech-LLM的指令跟随能力,使模型能够执行零样本语音翻译(ST)和语音问答(SQA)任务。实际上,带有AlignFormer的speech-LLM理论上可以完成LLM骨干网络在语音版本中能够处理的任何任务。为了评估指令跟随speech-LLM的有效性,我们提出了使用指令跟随率(IFR)作为评估指标,并为IFR评估提供了一个系统的视角。此外,我们发现训练过程中的音频位置会影响speech-LLM的指令跟随能力,并对此进行了深入研究。研究结果表明,以音频优先的方式进行训练可以获得比以指令优先的方式更高的IFR。在某些评估数据上,AlignFormer在以音频优先的训练方式下可以实现接近100%的IFR,并且在从零IFR到非零IFR方面取得了显著改进。我们认为,这项研究是朝着实现LLM嵌入空间中完美的语音和文本模态匹配迈出的重要一步。

引言

大型语言模型(LLM)由于其在数据和模型扩展方面的新兴能力,在机器学习领域受到了越来越多的关注[1]、[2]、[3]。这些模型在大多数以文本为中心的任务上经过训练后表现出很强的竞争力,例如指令调整和用户偏好调整[4]、[5]、[6]。训练后的模型表现出强烈的遵循文本指令的能力,这可以称为指令跟随能力。最近,语音领域也致力于将LLM的进步应用于以语音为中心的任务,因为将语音与LLM结合可以开启基于LLM的智能体的语音交互。speech-LLM的研究可以分为两个方面:用于实时对话体验的聊天语音LLM[7]、[8]、[9]、[10]、[11]、[12],以及用于语音理解任务的理解语音LLM[13]、[14]、[15]、[16]、[17]、[18]、[19]。聊天语音LLM基于音频令牌(如EnCodec [20]或DAC [21])进行语音生成,而理解语音LLM则通过神经适配器在潜在空间中将语音编码器与LLM连接起来。理论上,聊天语音LLM在语音理解任务上的表现可能不如理解语音LLM,因为使用离散令牌会导致信息丢失。在这项工作中,我们专注于具有文本输出的理解语音LLM,并将此类模型简称为理解语音LLM,无需进一步说明。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号