《Symmetry》:Deep Multimodal Learning for Heart Sound Classification Using CNN, Transformer, and BiLSTM with Attention
Ilyas Ait Ichou,
Samir Elouaham,
Boujemaa Nassiri and
Jamal Isknan
编辑推荐:
心音图(PCG)信号为心血管疾病提供了一种非侵入性、低成本的筛查工具。然而,其噪声和非平稳特性使得自动分类具有挑战性,传统方法通常无法捕捉复杂的频谱-时间模式。本研究提出了一种用于心音二分类(健康 vs. 不健康)的多模态深度学习架构。该混合模型集成了卷积神经
心音图(PCG)信号为心血管疾病提供了一种非侵入性、低成本的筛查工具。然而,其噪声和非平稳特性使得自动分类具有挑战性,传统方法通常无法捕捉复杂的频谱-时间模式。本研究提出了一种用于心音二分类(健康 vs. 不健康)的多模态深度学习架构。该混合模型集成了卷积神经网络(CNNs)、Transformer编码器和带有注意力机制的双向长短期记忆网络(BiLSTM)。它采用早期融合特征提取流程,结合了梅尔频率倒谱系数(MFCCs)、梅尔频谱图(Mel-spectrograms)和色度(Chroma)描述符。为确保稳健评估并防止数据泄露,研究人员在严格的零泄漏、患者级5折交叉验证协议中,仅对训练折应用了合成少数类过采样技术(SMOTE)。所提出的框架表现出卓越性能,平均准确率达到91.67%,灵敏度为80.95%,特异性为94.46%,AUC-ROC为96.50%。消融研究证实,集成Transformer和BiLSTM模块相较于基线CNN显著增强了诊断稳定性。此外,该模型仅有858,434个参数(3.27 MB)且具有可解释的注意力图,提供了一个强大的辅助解决方案,适用于数字听诊器和移动远程医疗系统的部署。
论文解读文章
**研究背景与问题**
心血管疾病(CVDs)是全球首要死亡原因,给公共卫生系统带来巨大负担。心音图(PCG)作为一种非侵入性、低成本的筛查工具,在资源受限环境中尤为重要。然而,PCG信号具有噪声和非平稳特性,传统机器学习方法常依赖手工特征,难以充分捕捉复杂的频谱-时间模式。现有研究存在方法学缺陷,如记录级数据分割导致的数据泄露,人为提升了性能指标。因此,研究人员提出了一种高度优化、轻量化的多模态深度学习架构,以期在不牺牲泛化能力的前提下,实现稳健的自动心音分类。该研究发表于《Symmetry》。
**研究内容与结论**
研究人员提出了一个混合模型,集成1D卷积神经网络(CNN)、Transformer编码器和双向长短期记忆网络(BiLSTM)及注意力机制,用于心音的二分类(健康 vs. 不健康)。通过早期融合多模态特征(MFCC、Mel-spectrogram、Chroma),并在PhysioNet/CinC 2016数据集上采用严格的患者级零泄漏5折交叉验证(仅对训练折应用SMOTE过采样),模型取得了平均准确率91.67%、灵敏度80.95%、特异性94.46%和AUC-ROC 96.50%的优异性能。消融研究证实了各模块的互补作用,且模型仅有858,434个参数(3.27 MB),具备可解释注意力图,适用于数字听诊器和移动远程医疗系统。
**主要关键技术方法**
研究人员采用预处理流程:标准化5秒信号(2000 Hz采样率),使用谱门控去噪,并进行幅度归一化和均值减法。多模态特征提取包括:40个MFCC系数、40个Mel-spectrogram bin(取自128个Mel bin的前40个)以及12个Chroma特征,经早期融合形成(157, 92)特征矩阵。类平衡通过SMOTE(仅应用于训练折,采用展平-重塑策略)实现。核心网络架构包含:两个1D-CNN块(64和128个滤波器,核大小7和5)用于局部特征提取;一个Transformer编码器(8头自注意力,嵌入维度128)用于全局上下文;一个BiLSTM层(64单元)及Softmax注意力机制用于时序动态建模;最终经全连接层和Sigmoid输出分类概率。训练采用Adam优化器(初始学习率1×10
-4)、早停和学习率衰减,并在NVIDIA T4 GPU上进行混合精度训练。样本队列来源于PhysioNet/CinC 2016数据集,共3241条PCG录音.
**研究结果**
**评估指标**:研究人员依据混淆矩阵定义了准确率、灵敏度、特异性、F1分数、AUC-ROC、马修斯相关系数(MCC)和Cohen’s Kappa,其中“不健康”为阳性类,以契合临床筛查逻辑。
**详细分类性能(患者级评估)**:在严格的5折患者级交叉验证下,模型表现稳健。平均准确率91.67%,AUC-ROC 0.9650,特异性94.46%,灵敏度80.95%(其中Fold 3灵敏度高达89.17%)。MCC为0.7474,Cohen’s Kappa为0.7448,表明模型未受多数类偏差影响,具备真实平衡分类能力。
**零泄漏患者级交叉验证**:平均指标进一步确认:准确率91.67%,特异性94.46%,灵敏度80.95%,AUC-ROC 0.9650,MCC和Kappa均大于0.74,证实了模型在未见患者上的泛化性能。
**模型可解释性:注意力图**:通过提取Softmax注意力的权重,研究人员可视化发现模型动态聚焦于病理相关的心音事件(如S1与S2之间的杂音),同时抑制背景噪声,为临床医生提供了部分可解释性。
**消融研究**:通过逐步消融组件发现:基线CNN(仅MFCC)准确率91.64%,AUC 0.9622;加入多模态特征后AUC提升至0.9637,且稳定性增强;CNN+BiLSTM达到最高灵敏度84.83%;CNN+Transformer实现最高准确率92.35%和特异性95.52%;完整模型(CNN+Transformer+BiLSTM)取得最高AUC-ROC 0.9650,证明混合架构在灵敏度与特异性之间实现了最佳临床权衡。
**与现有方法比较**:在PhysioNet 2016数据集上,本模型在严格无泄漏协议下优于多数先前工作。例如,Potes等(2016)的集成方法准确率86.02%,Li等(2020)的CNN为86.80%,Shuvo等(2021)的CardioXNet为86.57%。相比之下,本模型以91.67%准确率和0.9650 AUC-ROC显著超越这些现实基准,而许多高报告准确率(如>95%)的研究因数据泄露而不可靠。
**讨论部分总结**
消融研究确认了各模块的互补作用:CNN提取局部频谱-时间模式,Transformer捕获全局节奏上下文,BiLSTM+注意力动态聚焦诊断相关事件。临床角度上,高特异性(94.46%)可减少误报和医疗负担,灵敏度(80.95%)确保大多数患者被正确识别。与存在数据泄露的高性能模型不同,本系统在严格未见患者上呈现真实性能,适用于数字听诊器和远程医疗平台。主要优势包括严格的零泄漏交叉验证、仅训练折内应用SMOTE、多模态特征丰富表示。局限性在于仅基于PhysioNet 2016数据集,未来需外部验证(如CirCor DigiScope 2022),且当前为二分类,后续应扩展至多类结构病理分类。
**研究结论翻译**
本研究提出了一种新颖的混合深度学习架构,整合了1D卷积神经网络(CNN)、Transformer编码器和带有注意力机制的双向长短期记忆网络(BiLSTM),用于心音的自动分类。通过利用早期融合的多模态声学特征(包括MFCC、Mel-spectrogram和Chroma),并应用严格局限于训练集的SMOTE数据平衡策略,该模型有效捕捉了精细的局部频谱-时间模式和全局序列依赖关系。在广泛认可的PhysioNet/CinC 2016数据集上评估,所提出的框架取得了高度竞争的准确率91.67%、灵敏度80.95%、特异性94.46%和卓越的AUC-ROC 0.9650。至关重要的是,这些指标是在严格的零泄漏患者级交叉验证协议下获得的,确保了模型性能反映真实的临床稳健性和泛化能力,而非常见于现有文献中的数据泄露导致的人为提升。该系统即使在固有噪声环境中也能准确区分正常和病理心音信号,凸显了其在真实临床场景中的巨大潜力。将其集成到数字听诊器和远程医疗平台中,可为心血管疾病提供一个可靠、非侵入性、低成本的筛查工具,尤其是在资源有限的医疗环境中。为进一步增强所提方法的泛化性,未来研究将专注于在多样化外部数据集(如CirCor DigiScope 2022)上进行前瞻性验证,并扩展框架以执行多类分类,从而精确识别特定结构性心脏病。