《Array》:Addressing contextual sparsity in multimodal emotion recognition using speaker-focused LLM contextualization and emotion-driven augmentation
编辑推荐:
摘要:多模态对话情感识别(Multimodal Emotion Recognition in Conversations, MERC)面临由罕见情感的语境稀疏性及类别不平衡(常被频繁的中性或常见情感表达稀释)所带来的挑战。为此,研究人员提出一种以数据为中心的框
摘要:多模态对话情感识别(Multimodal Emotion Recognition in Conversations, MERC)面临由罕见情感的语境稀疏性及类别不平衡(常被频繁的中性或常见情感表达稀释)所带来的挑战。为此,研究人员提出一种以数据为中心的框架,通过语境感知增广增强欠表示情感的表征。该方法使用微调后的70亿参数小型语言模型(7B Small Language Model)生成情感诱导的对话摘要,这些摘要进一步用于在增广过程中进行软语境注入(Soft Context Injection),引导生成少数类情感的语句释义及相应的表达性语音(通过神经语音合成)。此策略仅增广属于罕见情感的对话轮次而非整个对话。随后,一个基于多模态自编码器(Multimodal Autoencoder-based Fusion Model)的融合模型在文本、摘要及语音嵌入特征上进行训练以识别对话情感。在基准数据集(MELD、EmoryNLP及IEMOCAP)上的实验表明,该方法在检测罕见情感类别方面取得显著改善(F1score > 35%),优于现有基线且未降低整体准确率。结果表明生成式增广与软提示(Soft Prompting)对于构建情感计算(Affective Computing)中语境感知解决方案的有效性。
论文解读:《Addressing contextual sparsity in multimodal emotion recognition using speaker-focused LLM contextualization and emotion-driven augmentation》发表于《Array》
一、研究背景与动机
对话情感识别(Emotion Recognition in Conversations, ERC)旨在识别对话中每轮话语所表达的人类情感,在心理健康监护与人机交互中有重要应用。多模态ERC(Multimodal ERC, MERC)融合文本、语音甚至视觉信号,比单模态更具优势。然而现有ERC数据集(如MELD、EmoryNLP)存在严重的类别不平衡与语境稀疏性(Contextual Sparsity):约47%的话语标记为中性(Neutral),而恐惧(Fear)、厌恶(Disgust)等少数情感仅占2%–3%。当模型对上下文进行聚合编码时,占主导的中性语境会稀释(Emotion Dilution)少数情感的表征,导致模型对罕见情感识别率极低甚至为零。传统序列模型(RNN、GCN)或外部知识注入未能从语义层面抽象情感流,也未针对性解决数据层面的稀疏问题。为此,Aruna Gladys A.等人提出一种数据驱动的、LLM辅助的多模态增广与融合框架,专门缓解语境稀疏并提升罕见情感识别性能。
二、关键技术方法概述
研究人员采用Mixtral-8x7B作为教师模型生成带情感监督信号的说话人聚焦摘要(Speaker-focused Summary),并用其微调Mistral-7B作为学生摘要生成器(知识蒸馏);针对少数情感类话语,利用微调LLM结合摘要引导生成情感一致释义(Paraphrase),并通过基于Mellotron的神经语音合成(Neural Speech Synthesis, NSS)配合HiFi-GAN声码器和Global Style Tokens(GST)生成对应情感语音,仅增广训练集至原少数类1.5–2倍;文本与含摘要前缀的文本经预训练BERT编码,语音经wav2vec 2.0及BiGRU提取特征;融合采用已有Shared-Private Multimodal Autoencoder(SPMMAE)学习共享特征zs与私有特征(ld,ad),施加重构损失ξrecon、正交约束损失ξdiff及带L2正则的交叉熵分类损失ξtask,通过注意力得到融合表示rfused后由MLP分类。实验在MELD、EmoryNLP(不平衡,做文本+语音增广)和IEMOCAP(平衡,仅加摘要)数据集上开展,以准确率(Accuracy)、加权F1(Weighted F1)及逐类指标评估。
三、研究结果
4.1 Implementation details(实现细节)
LLM微调采用LoRA(r=32, α=16, dropout=0.1, lr=1e-5, 6 epoch),在NVIDIA A100 80GB上耗时6–8小时;Mellotron TTS采样率22.05kHz,HiFi-GAN合成;多模态融合模型在Quadro P5000上训练3–4小时。
4.2 Datasets(数据集)
MELD为多方可话(多人),13708句(训练+验证11098,测试2610);IEMOCAP为双人 Dyadic 对话,7433句(训练+验证5810,测试1623);EmoryNLP为多方可话,12596句(训练+验证11278,测试1328)。MELD与EmoryNLP中Disgust、Fear、Sadness及Peaceful等少数类经增广约翻倍(如Disgust由271→540,Fear由268→535)。
4.3 Baselines(基线模型)
对比基线包括DialogueRNN、DialogueGCN、DialogueCRN、CoMPM、InstructERC、ERC-DP、VAD-VAE等经典及SOTA ERC模型。
4.4 Evaluation criteria(评估标准)
摘要质量用ROUGE-N、ROUGE-L、METEOR及BERTScore;TTS用GPE、VDE、FFE及WER;ERC用Accuracy、Weighted F1及Per-class Accuracy/F1。
4.5 Results and analysis(结果与分折)
4.5.1 Distributional consistency of augmented data(增广数据分布一致性)
BERT与wav2vec 2.0嵌入的KL散度对Disgust为0.124(文本)/0.152(音频),Fear为0.109/0.143,表明增广样本与原样本分布高度一致。
4.5.2 Text augmentation results(文本增广结果)
五款7B级LLM中Mistral-7B经SFT后在ROUGE-1达63.70、ROUGE-2达40.61、ROUGE-L达57.78、METEOR达60.79、BERTScore达93.18,优于其他模型;生成释义经预训练情感分类器过滤保留标签一致样本,确保情感对齐。
4.5.3 Human evaluation of contextual summaries and emotional paraphrases(人工评估)
7名AI研究者对20个样本打分(1–5 Likert),均值4.3±0.6,证明摘要与释义在语境和情感语义上有较高质量。
4.5.4 Audio augmentation results(音频增广结果)
Mellotron+TTS系统GPE=1.50%,VDE=9.56%,FFE=7.45Hz,WER参照真值0.23/合成0.31,表明合成语音保留了基频、韵律及情感色彩。
4.5.5 Experiments on Emotion Recognition in Conversations(ERC实验结果)
在MELD上,Ours(with Aug)达到总体准确率65.34%、Weighted F163.69%,其中Fear F1=51.56%(基线大多为0~33.8%)、Disgust F1=51.26%(基线大多<35%)、Sadness F1=47.55%、Neutral Acc=87.67%;EmoryNLP上总体Acc=42.14%、WAF1=38.76%,Peaceful F1=35.27%、Powerful F1=31.02%、Scared F1=37.25%均较基线提升;IEMOCAP(仅加摘要无增广)Acc=69.56%、WAF1=67.01%,优于基线。表明该框架显著提升罕见类识别且不损害主流类别与整体性能。
4.6 Ablation study(消融实验)
移除音频模态(T-only)降至Acc=56.08/WF1=54.54;仅拼接硬上下文(T+C+A)为Acc=58.82/WF1=59.06;加入软注入上下文文本(T+C(soft)+A)为Acc=61.67/WF1=55.65;再加共享表示zs得Acc=63.87/WF1=62.33;完整模型引入注意力权重ωk融合私有与共享特征(T+C(soft)+A+zs