FeeCLAP:面向鸡呼吸道声音描述性字幕生成的特征增强对比语言-音频预训练

《Agriculture》:FeeCLAP: Feature-Enhanced Contrastive Language-Audio Pretraining for Descriptive Caption Generation of Chicken Respiratory Sounds

【字体: 大 中 小 】 时间:2026年08月28日 来源:Agriculture 4.5

编辑推荐:

  鸡呼吸道疾病是家禽生产中的主要问题,因其对动物健康和生产效率产生不利影响。鸡鸣叫常包含与呼吸道状况相关的重要声学线索。然而,常规声音分类方法通常依赖预定义类别,限制了其捕捉复杂声学模式的能力。为解决该局限,本研究引入一种用于鸡呼吸道声音分析的音频字幕框架,并提

  
鸡呼吸道疾病是家禽生产中的主要问题,因其对动物健康和生产效率产生不利影响。鸡鸣叫常包含与呼吸道状况相关的重要声学线索。然而,常规声音分类方法通常依赖预定义类别,限制了其捕捉复杂声学模式的能力。为解决该局限,本研究引入一种用于鸡呼吸道声音分析的音频字幕框架,并提出称为FeeCLAP的模型,用于从鸡鸣叫中生成描述性文本。所提模型将声学信号映射为关于声音质量、节奏及相关属性的自然语言描述,从而实现鸣叫模式的语义级表征。在基线EnCLAP框架基础上,构建了具有医学相关语义风格的鸡呼吸道声音描述数据集。随后在离散声学词元与文本编码器之间引入声学词元适配器(Acoustic Token Adapter, ATA)模块,以增强声学特征的时间建模。此外,融入CLAP(Contrastive Language-Audio Pretraining,对比语言-音频预训练)感知语义对齐机制,以改善声学表征与语义空间的一致性。推理阶段进一步应用基于CLAP的相似度重排序策略以提升生成描述质量。实验表明,FeeCLAP优于现有方法,共识图像描述评价(Consensus-based Image Description Evaluation, CIDEr)、语义命题图像描述评价(Semantic Propositional Image Caption Evaluation, SPICE)和SPIDEr得分分别达0.423、0.202和0.313,生成描述接近人工标注参考。总体而言,所提方法在所用实验条件下证明了其生成鸡呼吸道声音语义描述的有效性。这些发现提示其在支持家禽呼吸道健康评估方面的潜力;但在该方法被视为实用的智能监测或呼吸道异常早期检测的可靠工具前,需在商业家禽生产条件下进一步验证。
研究背景方面,鸡呼吸道综合征由多种病原体与环境因子引起,常混合感染,损害家禽健康与生产性能,传统诊断依赖临床检查、行为观察与非接触传感,存在耗时、主观、受设备与环境干扰等局限。基于鸡鸣叫的自动化方法多限于离散标签分类,难以表达音色、时序、节奏等细粒度变化与语义可解释性。音频字幕(Audio Captioning, AAC)可将声学信号转为自然语言,描述音色、节奏与异常声学模式,并作为大语言模型(Large Language Model, LLM)辅助健康分析的语义接口,但既有AAC方法多面向人或通用环境声,未充分捕捉家禽呼吸道异常声学特性。为此,研究人员开展专项研究,提出FeeCLAP(Feature Extraction Enhancement based on Contrastive Language–Audio Pretraining),在感染喉气管炎病毒(Washington-Gillespie株,104.2 EID50气管内接种)的52日龄SPF Babcock鸡(20只,对照/处理各10只,河北保定实验)连续24小时44.1 kHz/32-bit录音基础上,构建1575段有效样本(咳嗽263、喘鸣162、啰音39、混合异常971、健康140),由兽医按医学风格每样本独立写5条描述,以生成鸡呼吸道声音描述性字幕,结论显示该方法在受控实验中可有效生成接近人工参考的语义描述,具家禽呼吸道健康评估潜力,但需商业场景再验证。论文发表于《Agriculture》。
关键技术方法上,研究人员以EnCLAP为基线,声学前端用EnCodec得离散声学词元,CLAP得全局音频语义嵌入;在词元与文本编码器间插拔轻量声学词元适配器(ATA,两层Transformer编码器,8头自注意力)以增强时间上下文;训练引入CLAP感知语义对齐损失(余弦相似度约束文本隐态投影至CLAP空间与音频嵌入一致);推理用beam search出K候选,以语言模型对数概率、CLAP音频-文本余弦相似度、重复惩罚联合加权重排序;数据来自上述SPF鸡感染模型与隔离器录制,经瞬态噪声抑制、非重叠切段、7:1:2划分,五种子平均评估。
研究结果部分,2.3节架构与模块显示:ATA使声学词元时序依赖增强,CLAP对齐令生成文本语义贴近音频,重排序提升候选与音频一致度。3.1节训练曲线表明早轮快速收敛,验证集略低于训练集但无过拟合,BLEU-1/2高于BLEU-4因短词共现易、长序难匹配,CIDEr/ROUGE-L中等,SPICE最低因语义图匹配受限。3.2节对比CNN10-Trans、ACT、CL4AC、LHDFF、CoNeTTE五模型五种子均值,FeeCLAP在CIDEr 0.4230±0.0185、SPICE 0.2020±0.0138、SPIDEr 0.3125±0.0065、ROUGE-L 0.4720±0.0063居首,BLEU高阶亦优。3.3节消融中EnCLAP+ATA全指标稳升,加CLAP对齐与重排序后CIDEr/SPIDEr再升,完整FeeCLAP因对齐约束限表层多样但保高层语义。3.4节万次配对bootstrap(Holm校正)显示FeeCLAP较EnCLAP在METEOR、ROUGE-L、CIDEr、SPIDEr显著(p<0.05)。3.5节t-SNE与PCA聚类指标:声学表征Silhouette 0.505531→0.507203,Davies–Bouldin 2.324879→2.091380,Calinski–Harabasz 3527.760328→3764.828692;语义表征Silhouette 0.135660→0.529851,Davies–Bouldin 3.394536→1.959654,Calinski–Harabasz 148.071885→1481.539188,咳嗽/喘鸣边界更清。3.6节定性显示重排序将“rough-voiced”改为参考偏好的“piercing”、去冗余。3.7节跨场景(Chicken Vocalization Dataset外部集零微调)能抓“rough-voiced/raspy”但细粒度有偏。3.8节讨论局限:场景依赖、固定麦克风、标注主观、需商业验证与域适应。
讨论部分总结:FeeCLAP融合时序声学与全局语义,借BART生成描述,在受控集上指标显著优,但数据来自特定隔离环境,移动录音与复杂鸡舍噪声、标注模板化限制多样性,后续需扩品种环境、多标注融合、半监督增强、知识图谱注入与细粒度事件检测。
结论部分翻译:本研究建立含1575段有效鸡呼吸道声音样本的数据集,考察生成鸣叫自然语言描述之可行性。结果显示FeeCLAP有效捕捉鸡呼吸道声音语义特征,相较基线生成一致性内容与相关性更优的描述。健康鸡鸣叫通常更清亮响亮、节奏自然平滑;异常呼吸道声趋沉闷粗糙,偶带摩擦特征与不稳音高变异。这些感知差异为通过语义描述刻画呼吸道相关鸣叫模式变化提供重要依据。发现表明音频字幕在受控实验下作为可解释表征鸡呼吸道声音方法之潜力,但商业家禽生产中的实际应用需进一步验证;大型鸡舍密集群养与复杂背景噪可能降质影响鲁棒性,某类不平衡声音数据学习不足亦影响描述生成与后续评估可靠性,故本方法应视为初步框架而非商用监测完备方案。未来应扩展多样生产条件下健康与病患鸡数据、研鲁棒抑噪与声源定位分离、在商业鸡舍前瞻评估后方用于实时呼吸道健康监测与预警。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号