
-
生物通官微
陪你抓住生命科技
跳动的脉搏
AlignFormer:模态匹配技术能够实现更高效的零样本指令遵循语音大语言模型(Speech-LLM)
《IEEE Journal of Selected Topics in Signal Processing》:AlignFormer: Modality Matching Can Achieve Better Zero-Shot Instruction-Following Speech-LLM
【字体: 大 中 小 】 时间:2026年01月05日 来源:IEEE Journal of Selected Topics in Signal Processing 13.7
编辑推荐:
语音-LLM模态对齐问题及AlignFormer方案研究,提出结合CTC对齐与动态窗口QFormer的适配器,冻结LLM主干网络以保持指令遵循能力,通过仅用ASR数据训练实现零样本语音翻译和问答任务,发现音频优先训练可显著提升指令遵循率至近100%。
大型语言模型(LLM)由于其在数据和模型扩展方面的新兴能力,在机器学习领域受到了越来越多的关注[1]、[2]、[3]。这些模型在大多数以文本为中心的任务上经过训练后表现出很强的竞争力,例如指令调整和用户偏好调整[4]、[5]、[6]。训练后的模型表现出强烈的遵循文本指令的能力,这可以称为指令跟随能力。最近,语音领域也致力于将LLM的进步应用于以语音为中心的任务,因为将语音与LLM结合可以开启基于LLM的智能体的语音交互。speech-LLM的研究可以分为两个方面:用于实时对话体验的聊天语音LLM[7]、[8]、[9]、[10]、[11]、[12],以及用于语音理解任务的理解语音LLM[13]、[14]、[15]、[16]、[17]、[18]、[19]。聊天语音LLM基于音频令牌(如EnCodec [20]或DAC [21])进行语音生成,而理解语音LLM则通过神经适配器在潜在空间中将语音编码器与LLM连接起来。理论上,聊天语音LLM在语音理解任务上的表现可能不如理解语音LLM,因为使用离散令牌会导致信息丢失。在这项工作中,我们专注于具有文本输出的理解语音LLM,并将此类模型简称为理解语音LLM,无需进一步说明。