基于TinyFLFormer的WPW综合征心电图筛查:张量分解双流Transformer与扩散引导知识蒸馏

《Intelligence-Based Medicine》:Wolff–Parkinson–White syndrome screening from ECG via TinyFLFormer: A tensor-decomposed dual-stream transformer with diffusion-guided knowledge distillation

【字体: 大 中 小 】 时间:2026年10月08日 来源:Intelligence-Based Medicine CS5.0

编辑推荐:

  均值幅度谱(Mean Amplitude Spectrum, MAS)特征捕获导联特异性的WPW预激特征。TinyFLFormer:一种基于高阶秩奇异值分解(Higher-Order Rank Singular Value Decomposition, HOR

  
均值幅度谱(Mean Amplitude Spectrum, MAS)特征捕获导联特异性的WPW预激特征。TinyFLFormer:一种基于高阶秩奇异值分解(Higher-Order Rank Singular Value Decomposition, HORSVD)的双流Transformer,用于心电图(Electrocardiogram, ECG)分析。熵自适应与扩散引导的知识蒸馏保持了教师的准确性。TinyFLFormer相比教师模型参数减少232倍,推理速度提升9.57倍。TinyFLFormer在WPW筛查中达到86.30%的准确率和73.04%的马修斯相关系数(Matthews Correlation Coefficient, MCC)。
心血管疾病是全球范围内发病率和死亡率的主要原因,其中涉及房室旁路的传导异常诊断尤为困难。Wolff–Parkinson–White(WPW)综合征是一种先天性预激障碍,旁路绕过房室结,导致部分心室提前激动,在心电图上表现为PR间期缩短、QRS波起始部的delta波和QRS增宽。该综合征可引发房室折返性心动过速,甚至预激性房颤恶化为心室颤动和心源性猝死。心电图(ECG)是识别WPW的主要工具,但WPW阳性记录在大型公开数据库中占比极低,如PTB-XL中仅约4.94%,导致严重的类别不平衡,使监督学习模型难以对少数类学习鲁棒表示。同时,现有高容量模型不适合资源受限的穿戴设备。因此,需要一种能同时应对类别不平衡和部署约束的轻量级WPW筛查模型。

研究人员提出了一种端到端框架,包含四个部分:均值幅度谱(MAS)特征提取,从12导联ECG中捕获导联和频率分辨的预激频谱特征;集成教师网络,融合五个预训练卷积骨干(MobileNetV2、EfficientNetV2-S、ShuffleNetV2、Xception、GoogLeNet)构建强分类器;轻量级学生网络TinyFLFormer,一种双流频率-导联Transformer,其所有权重从训练开始时即以高阶秩奇异值分解(HORSVD)形式参数化;以及一种结合熵自适应软目标蒸馏(ATKD)和扩散引导特征去噪的知识蒸馏机制。该框架在PTB-XL数据库上开发,选取1077条WPW阳性记录(根据WPW和LPR的SCP码识别)和2000条正常NORM记录(随机子样本,seed=42),采用患者分层5折交叉验证。实验结果表明,集成教师达到90.52%的准确率和81.33%的MCC;TinyFLFormer保留了大部分诊断能力,达到86.30%的准确率和73.04%的MCC,同时参数仅0.23M,相比教师参数减少232倍,推理速度提升9.57倍,每推理能耗降低约9.5倍。这证明高容量集成的诊断能力可大部分转移至小两个数量级的模型,支持在资源受限设备上进行自动WPW筛查。

关键技术方法可概括为:(1)MAS特征:对每导联FFT,将0–50 Hz划分为24个子带(0–8 Hz为8个1 Hz子带,8–40 Hz为16个2 Hz子带),计算平均幅度形成12×24特征图;(2)教师:五个ImageNet预训练骨干的特征拼接后经全连接层分类;(3)学生:双流Transformer,频率流和导联流共享注意力的模型维和头维因子矩阵,权重按HORSVD压缩比ρ=0.3参数化;(4)蒸馏:温度根据教师预测熵在3–6间自适应调整,扩散网络φθ(6层MLP,128维特征,50步)仅在教师特征上训练,学生特征经自适应噪声匹配后反向扩散去噪再与教师特征对齐;总损失为分类损失、软目标损失、特征对齐损失和扩散训练损失的组合。

研究结果部分包含多个方面。在“4.4 分类性能”中,通过5折交叉验证比较五个骨干、集成教师和TinyFLFormer,发现集成教师优于所有单个骨干(MCC 81.33% vs 最佳单个79.18%,p=0.031),TinyFLFormer以较小差距保留大部分性能(MCC 73.04%)。在“4.5 计算效率”中,TinyFLFormer参数为0.23M,MFLOPs为177.94,推理时间6.86 ms,压缩率×232.48,加速率×9.57,且显著小于EfficientFormer(11.39M)和MobileViT-v2(4.37M)。在“4.6 能耗”中,TinyFLFormer每推理能耗0.48 mWh,较教师的4.56 mWh降低9.5倍,在Raspberry Pi 4上部署延迟31.5 ms,能耗0.056 mWh。在“4.7 MAS表示的验证”中,对288个MAS单元进行Mann–Whitney U检验,V2和V3导联显著子带最多(14/24和12/24),效应量最大(0.81和0.78);导联消融显示全12导联性能优于单导联或子集,说明多导联信息互补;与其他表示(原始信号、STFT、小波、形态特征)相比,MAS准确率最高。在“4.8 消融研究”中,双流设计显著优于单流(MCC高7.74–8.94点),跨流共享因子节省15%参数且不损失准确率;压缩比ρ=0.3位于准确率-压缩权衡的拐点;ATKD比固定温度蒸馏MCC高2.4点,扩散引导特征去噪比直接特征匹配高1.54点;稳定化耦合规则将折叠间MCC标准差从3.90降至1.60。在“4.9 与现有知识蒸馏方法的比较”中,与FitNet、TAKD、Feat-D、TD-KD、AMTML-KD相比,提出的方法准确率最高(86.30%),优于最强基线AMTML-KD 1.5个百分点(p=0.024)。

讨论部分指出,WPW患者频谱能量向3–4 Hz偏移,与预激导致的QRS起始delta波一致;V2导联的显著分离与另一项通过Grad-CAM可解释性分析在合成ECG上发现V2最具信息量的研究结论一致,表明该特征具有解剖生理基础。框架的泛化性体现在MAS特征、蒸馏机制和HORSVD分解均不限于WPW,但尚未在WPW以外任务验证。局限包括:仅针对显性预激、数据集来自单一机构、缺乏外部多中心验证、MAS忽略了毫秒级形态细节、压缩比和温度范围固定、扩散去噪增加训练开销。研究结论可翻译为:这项工作解决了WPW筛查中严重类别不平衡和部署约束的联合挑战,通过MAS表示、五骨干集成教师、HORSVD参数化的双流Transformer以及ATKD与扩散引导蒸馏的组合,在PTB-XL上以0.23M参数、177.94 MFLOPs实现86.30%准确率和73.04% MCC,证实高容量集成的诊断能力可大部分保留在约两个数量级更小的模型中,为资源受限ECG设备的自动WPW筛查提供了实际可行性;未来需进行多中心验证、补充形态学特征流以及自适应压缩和温度学习。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号