
-
生物通官微
陪你抓住生命科技
跳动的脉搏
SALF-Net:面向短视频平台的自监督音歌词融合音乐情感标签生成网络
《Scientific Reports》:Automatic music emotion tag generation for short-video platforms: a self-supervised audio-lyric fusion network with valence-arousal regularization
【字体: 大 中 小 】 时间:2026年10月22日 来源:Scientific Reports 4.9
编辑推荐:
摘要背景音乐是短视频平台上情感叙事的主要载体,每天有数亿条用户生成片段被上传,并通过元数据进行整理、搜索和推荐。然而,情感相关标签仍然主要依靠人工标注或通用音频标签器生成,而这些标签器从未被设计用于处理在不可控环境下录制的15至60秒短视频片段。本文研究了短视频平台自动音乐情
背景音乐是短视频平台上情感叙事的主要载体,每天有数亿条用户生成片段被上传,并通过元数据进行整理、搜索和推荐。然而,情感相关标签仍然主要依靠人工标注或通用音频标签器生成,而这些标签器从未被设计用于处理在不可控环境下录制的15至60秒短视频片段。本文研究了短视频平台自动音乐情感标签生成问题,该场景的特征为:片段被截断、音频退化普遍存在且歌词可用性不可靠。为应对这些挑战,我们提出了SALF-Net,一种自监督音歌词融合网络,专门设计以增强对模态缺失和输入噪声的鲁棒性。音频分支通过将音乐领域的自监督Transformer编码器适配到片段级输入,利用掩码片段采样和统计池化实现;歌词分支则使用预训练语言模型对自动转录或元数据提供的歌词进行编码。一个带有模态丢弃机制的门控跨模态融合模块确保系统在歌词缺失时仍能正常运行——这在纯音乐轨道和嘈杂录音中十分常见。一个多任务目标联合优化多标签预测和效价-唤醒度回归,使情感空间的心理学结构成为标签几何的正则化器。在MTG-Jamendo的心情与主题子集、DEAM维度情感基准测试以及新构建的30000条短视频测试集上的实验表明,所提模型达到了0.389的精确率-召回率AUC和0.921的ROC-AUC,明显优于强大的自监督基线方法,同时蒸馏后的学生变体在教师模型2%的延迟下保留了95%的质量。结果表明,在不依赖平台私有标注预算的情况下,短视频规模下准确、鲁棒且可部署的情感标签生成是可行的。