一种具有教师派生集成医学语义保持的轻量级心电图模型,用于心脏疾病筛查

《International Journal of Medical Informatics》:A lightweight ECG model with teacher-derived integrated medical semantic preservation for cardiac disease screening

【字体: 大 中 小 】 时间:2026年10月08日 来源:International Journal of Medical Informatics 5.0

编辑推荐:

   摘要近期的心电图(ECG)基础模型已将心电图分析从节律和形态识别拓展至心脏结构–功能评估,但其计算和内存需求限制了其在资源受限场景中的应用。本研究旨在降低统一心电图基础模型的体积和推理成本,同时保留其多任务性能和临床相关的表征能力。我们开发了 ECGFM-U-Lite,一种紧

  

摘要

近期的心电图(ECG)基础模型已将心电图分析从节律和形态识别拓展至心脏结构–功能评估,但其计算和内存需求限制了其在资源受限场景中的应用。本研究旨在降低统一心电图基础模型的体积和推理成本,同时保留其多任务性能和临床相关的表征能力。我们开发了 ECGFM-U-Lite,一种紧凑的 1D-MobileViT 学生模型,采用三阶段压缩流程。首先通过结构–功能一致性蒸馏将任务输出和中间表征从教师模型迁移至学生模型;然后通过生理学注意力引导的剪枝去除冗余通道,同时保留具有解剖学信息的路径;最后通过结构–功能感知的量化策略,利用不同模块间的敏感性差异实现自适应精确量化。该模型在六个锁定的外部队列上进行了评估,并在笔记本电脑 GPU 上以及针对 Android 和 Jetson Nano 的 ONNX Runtime 仿真环境中进行了计算性能检测。ECGFM-U-Lite 的整体 AUC 为 0.862,而教师模型为 0.918;在节律/形态和结构/功能任务上分别保留了教师模型 AUC 的 93.8% 和 93.5%。在教师模型衍生的语义一致性探针中,心电图到文本和文本到心电图的 R@1 值分别为 0.766 和 0.762。参数量从 8640 万降至 65.57 万,模型体积从 345.6 MB 降至 1.7 MB,峰值内存从 320 MB 降至 4.4 MB。推理速度在笔记本电脑 GPU 上提升了 3.6 倍,在模拟的边缘设备配置下提升了约 3.7 倍。U-Lite 在保留大部分外部判别能力和教师模型衍生的跨模态表征结构的同时,大幅降低了统一心电图基础模型的资源需求,为后续在资源受限硬件上进行评估提供了实用基础。

引言

心血管疾病在全球范围内导致大量发病和死亡[1]。十二导联心电图(ECG)仍然是心血管诊疗中使用最广泛的检查手段之一,因其无创、经济且易于获取[2]。深度学习已逐步将心电图分析从心律失常识别和大规模自动诊断[3]、[4]扩展到射血分数降低筛查[5]、[6]、死亡预测[7]、[8]以及结构性心脏病检测[9]、[10]。然而,这些进展大多依赖于针对固定终点训练的任务专用模型。此类模型将知识分散在不同的系统中,通常难以在开发环境之外良好迁移,也无法直接将对波形特征与临床报告或其他临床信息进行对齐。心电图基础模型代表了自然的下一步发展:它们将节律、形态、结构–功能评估和跨模态信息整合到一个可复用的共享表征中[11]、[12]、[13]。然而,这种广度通常以更大的存储、内存和计算成本为代价,使得这些模型在推理资源最受限的场景中恰恰最难应用[14]。
大型心电图基础模型已被报道能够改善表征迁移,并在不同数据集和任务间扩展诊断覆盖范围[15]。与此同时,轻量化心电图架构已被应用于面向边缘设备的心律失常检测和可穿戴设备分析[16]、[17]。知识蒸馏、剪枝和量化提供了通过输出或特征匹配、去除冗余参数以及低精度计算来降低网络成本的成熟方法[18]、[19]、[20]。然而,对于统一的心电图模型而言,临床相关信息并不局限于最终预测;它被编码在结构–功能嵌入、连接心电图和文本表征的几何关系,以及在不同生理相关导联之间的注意力分配中。传统压缩方法可能在熟悉的终点上保持精度,却会扭曲这些潜在关系。这种扭曲会损害向未见队列或任务的迁移能力,并侵蚀赋予基础模型价值的跨模态推理能力。因此,核心问题不仅仅是统一的心电图模型能否变得更小,而是它能否在不牺牲下游性能及其教师模型衍生的结构–功能和跨模态表征的情况下被大幅压缩。
为应对这些局限性,我们提出了 ECGFM-U-Lite,一种面向边缘部署的心电图基础模型,旨在在压缩全生命周期中系统性地保留生理学相关的教师模型衍生语义和结构–功能完整性。与将轻量化视为事后优化不同,ECGFM-U-Lite 将架构效率与三阶段生理学保留压缩框架相结合。具体而言,一个具有精简临床编码和跨模态融合的紧凑 1D-MobileViT 学生模型从冻结的 ECGFM-U 教师模型中蒸馏而来。该蒸馏学生模型随后通过三种协同机制进行压缩:结构–功能一致蒸馏(SF-CD)以保留潜在心脏语义,生理学注意力引导剪枝(PA-Pruning)以消除冗余参数同时保护导联组路径,以及结构–功能敏感量化(SF-QAT)以动态分配模块级数值精度。我们在六个涵盖节律、形态异常、心脏结构变化和心室功能障碍的锁定外部队列上全面评估了 ECGFM-U-Lite。此外,跨模态检索探针证明了稳健的心电图–文本语义对齐能力,而跨笔记本电脑 GPU、移动 Android 系统和边缘 AI Jetson Nano 平台的推理性能检测证实了其面向资源受限临床部署的计算效率。

章节摘要

心电图基础模型与结构–功能推理

心电图基础模型从大规模、多样化的记录集合中学习可复用的波形表征。ECGFounder 在超过一千万份带有诊断标签的心电图上进行了训练[21],而 ECG-FM 则提供了一个面向下游任务复用的开放预训练模型[22]。监督学习和自监督心电图模型的比较研究进一步探讨了预训练目标如何影响下游解读。这些研究确立了大规模

方法

图 1 概述了以压缩为中心的研究流程。冻结的教师模型被视为语义参考基准,而学生架构和三阶段 U-Lite 序列构成了图 2 及以下各小节所详述的方法论重点。

教师模型构建数据

教师模型的表征预训练阶段使用了 MIMIC-IV-ECG 数据集,该数据集包含约 80 万份在贝斯以色列女执事医疗中心(BIDMC,马萨诸塞州波士顿)约 16 万名患者中采集的临床 10 秒、12 导联诊断心电图,采样率为 500 ~ Hz。经过 3.1 节所述的两阶段构建过程后,教师模型在整个蒸馏、剪枝和量化过程中保持冻结状态。
教师模型的结构–功能微调使用了两个临床数据源。第一个数据源由 MIMIC-IV 中 LVEF

讨论

本研究的结果表明,将心电图基础模型的压缩仅仅视为网络轻量化是不够的。当一个模型同时具备节律、形态和结构–功能推理能力时,压缩会不同层次地影响医学语义的表达和组织。现有的深度学习心电图、AI-ECG 和基础模型研究分别验证了波形诊断、结构/功能推理和大规模

结论与未来工作

本研究提出了 ECGFM-U-Lite,一种面向部署的压缩框架,能够从冻结的统一心电图教师模型中保留临床相关的表征。与仅针对模型体积或终点精度优化的轻量化分类器不同,U-Lite 结合 SF-CD、PA-Pruning 和 SF-QAT 来共同控制计算成本、多任务性能和教师模型衍生的中间表征保真度。
实验结果表明,预设的 U-Lite(Exp.6)达到了整体

伦理审批

本研究符合机构研究委员会的伦理标准以及 1964 年《赫尔辛基宣言》及其后续修订版本。本研究的伦理审批由北京大学第三医院伦理委员会授予(批准号:~ IRB00006761-M2023227)。对公开心电图数据集(PTB-XL、Georgia、CPSC2018、Shaoxing、Ecg4hypertrophy)的回顾性使用是在各自的数据使用协议下进行的,无需额外的伦理

资金支持

本研究得到国家自然科学基金(批准号:~ T2541009)和中国教育部基础学科和交叉学科突破计划(批准号:~ JYB2025XDXM606)的资助。

利益冲突声明

作者声明,他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。
马双全 | 王文尧 | 杨杰 | 文俊 | 王玉威 | 唐义达
北京航空航天大学生物科学与医学工程学院,北京生物医学工程高精尖创新中心,北京 100083,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号