《Frontiers in Public Health》:Deep sequence learning with multi-task supervision for scalable population health monitoring
编辑推荐:
面向人工智能驱动的人群健康监测模型必须具备整合多种类型时序信息的能力,能够处理所考虑数据的异质性,并支持规模化部署。本研究提出了一种集成的多任务框架,用于预测人群疾病发病率和死亡风险,该框架基于深度学习,以可扩展的方式同时利用纵向生物银行数据和国家健康调查数据
面向人工智能驱动的人群健康监测模型必须具备整合多种类型时序信息的能力,能够处理所考虑数据的异质性,并支持规模化部署。本研究提出了一种集成的多任务框架,用于预测人群疾病发病率和死亡风险,该框架基于深度学习,以可扩展的方式同时利用纵向生物银行数据和国家健康调查数据。该框架通过在整个框架中应用严格的前瞻性评估方法,从临床实验室生成变量和人口统计学定义的调查变量中学习共享的时间表示。在英国生物银行(UK Biobank)上,所提模型达到受试者工作特征曲线下面积(AUROC)0.842和一致性指数(C-index)0.791,优于强基线模型Proformer(AUROC 0.829)和UKB-MDRMF(AUROC 0.821)。在国家健康和营养检查调查(NHANES)上,模型达到AUROC 0.861和C-index 0.808,超过常用的梯度提升树和基于生存分析的方法。时间稳健性分析显示,在扩展预测范围内性能呈可控性退化,英国生物银行AUROC从1年的0.872降至10年的0.819,NHANES AUROC从1年的0.886降至5年的0.836。亚组评估表明在年龄、性别和临床风险分层中性能稳定,而可扩展性分析证实训练增长接近线性,且在生物银行规模下每人的推断延迟稳定在3毫秒以下。
研究背景与问题提出:可持续公共卫生系统越来越依赖及时的人群层面智能预测,以预判健康风险、分配有限资源和指导预防性干预。大规模医疗数据的日益可获得,包括纵向生物银行记录、电子健康记录、国家健康调查以及关联的环境和行为指标,为数据驱动的公共卫生监测创造了新机遇。然而,这种数据增长也暴露了传统流行病学和统计方法的根本局限性,这些方法往往难以在异构数据源、长时间跨度和多种疾病结局之间实现扩展。传统医疗风险建模方法通常使用静态特征,仅描绘纵向患者数据的基线或最终观测值,忽略了重要的时间关系、不规则的观测间隔以及健康状态的变化动态。在广泛的公共卫生监测系统中,医疗数据长期异步收集,随访间隔差异大、时间稀疏性高,且不同个体收集的数据类型各异。此外,现有研究大多集中于狭隘定义的预测任务或依赖单一数据集,其结果可能不适用于其他人群范围的健康监测目标;医疗来源的异构数据可能存在信息缺失、易受抽样偏倚影响、随时间变化等问题,使得学习模型难以部署于真实公共卫生工作流程中。因此,研究人员开展了这项研究,旨在构建一个可扩展的深度学习架构,用于人群健康监测。
研究方法概述:研究人员利用了两个大型人群健康数据集——英国生物银行(约50万参与者,前瞻性纵向队列,最长15年随访)和NHANES(约10万参与者,重复横断面调查与死亡率 linkage,死亡率随访长达20年)。在队列构建方面,要求参与者至少有两个监测间隔的时间索引健康数据和有效的 outcome 关联数据,最终英国生物银行队列包含412,386名合格参与者,NHANES队列包含48,921名参与者。数据处理采用1年固定监测间隔,使用间隔级掩码表示处理缺失数据,不进行无条件前向填充插补。技术方法上,研究人员开发了时间索引与队列组装方法,将连续时间线离散为固定长度监测间隔;采用异构特征编码与表示对齐,将连续变量标准化、类别变量和稀疏变量嵌入密集表示,并投影到共享潜在空间;构建了基于堆叠序列层的深度序列建模骨干网络,学习共享的时间敏感表示;设计了多任务预测头,同时输出疾病发病率和死亡风险预测;实施前向链式训练策略与监控导向的优化,包括小批量时序学习、任务加权平衡和正则化;评估体系涵盖前瞻性时间划分、判别性能(AUROC、C-index、AUPRC)、时间稳健性分析、亚组稳定性评估和可扩展性分析。
研究结果部分:
人口层面监测性能:所提方法在英国生物银行上AUROC为0.842,C-index为0.791,AUPRC为0.438,时间依赖性AUROC为0.815;在NHANES上AUROC为0.861,C-index为0.808,AUPRC为0.462,时间依赖性AUROC为0.832。在英国生物银行上,该方法超过Delphi-2M(AUROC 0.802)、UKB-MDRMF(AUROC 0.821)、Proformer(AUROC 0.829)等基线;在NHANES上,该方法在综合判别、生存一致性和时间稳健性方面表现最优,尽管生物年龄模型(AUROC 0.892)和梯度提升生存框架(C-index 0.815)在个别指标上略高。与纵向数据感知传统机器学习方法(LexicoRF、SepWav-XGBoost)相比,该方法仍保持优势。
时间范围稳健性分析:随着预测范围延长,性能呈渐进式下降。英国生物银行AUROC从1年的0.872降至10年的0.819,C-index从0.812降至0.771,AUPRC从0.462降至0.418,时间依赖性AUROC从0.843降至0.792。NHANES AUROC从1年的0.886降至5年的0.836,C-index从0.824降至0.787,AUPRC从0.479降至0.439,时间依赖性AUROC从0.852降至0.809。这种可控的性能退化表明模型捕获了显著的纵向结构而非仅短期相关性。
人群亚组稳定性评估:模型在年龄(<50岁、50-65岁、>65岁)、性别(男性、女性)和高临床风险亚组中表现稳定。英国生物银行各亚组AUROC范围为0.834-0.846,C-index范围为0.781-0.794;NHANES各亚组AUROC范围为0.851-0.865,C-index范围为0.798-0.811。各亚组间判别指标和一致性指标的变异极小,表明模型学习了广泛的人群层面健康表示,未对特定人口或临床人群过度拟合。
可扩展性与计算效率评估:训练时间随队列规模近线性增长,英国生物银行从50,000人18.4分钟增至500,000人184.2分钟,NHANES从20,000人7.2分钟增至100,000人36.8分钟。峰值内存使用英国生物银行为6.1-7.6 GB,NHANES为3.4-4.2 GB。每人推断延迟稳定,英国生物银行为2.3-2.6毫秒,NHANES为1.8-1.9毫秒。吞吐量英国生物银行为389-430样本/秒,NHANES为498-520样本/秒。结果表明框架支持大规模持续公共卫生监测。
讨论部分总结:实验结果共同表明,基于多任务监督的可扩展深度序列建模是一种从异构医疗数据源进行公共卫生监测的强有力且有效的方法。在人群判别、时间稳健性、亚组稳定性和处理吞吐量方面的改进表明,纵向结构和多目标监测的联合建模产生了比单任务或单模态风险表示更有信息量的效果。在英国生物银行和NHANES上的一致改进表明,尽管数据收集密度、时间粒度和变量组成存在差异,该框架在基于队列和基于调查的人群数据源上均具有良好的泛化能力。时间共享表示对于学习和捕获人群健康趋势至关重要;较长预测范围内的渐进性能退化表明模型捕获了显著的纵向结构而非仅短期相关性,这对早期预警系统至关重要。亚组间模型性能的稳定性表明,在公共健康设置中,人群层面学习目标过度拟合到多数群体的风险仅属适度。可扩展性分析显示,训练时间的近线性增长和稳定的预测延迟使该框架适用于需要定期风险更新和快速评估的持续监测。研究人员指出,当前研究采用了基于前瞻性验证和网格搜索的标准超参数优化框架,未纳入更复杂的自动机器学习(AutoML)、贝叶斯优化、CASH(Algorithm Selection and Hyperparameter optimization)和神经架构搜索(NAS)方法,这些可能是未来改进方向。此外,部分新增纵向和监测基线使用了标准或文献参考配置而非完整超参数调优,未来研究可针对特定数据集进行更充分的超参数调优,并开发纵向AutoML框架(如Auto-Sklong)以促进模型对不同人群的适应。
研究结论部分翻译:本研究提出了一种用于人群健康监测的多尺度深度学习系统,作为将多种医疗数据类型整合到统一时间序列或多任务模型中的框架。具体而言,该系统采用纵向观测并构建对齐的监测序列,以生成多种人群层面风险变量的预测。通过这一新 methodology,捕获并量化了大型人群全生命周期内的健康时间模式。使用在代表性和多样性方面均具代表性的数据集,模型数据展示了预测准确性、生存一致性、时间可靠性和亚组稳定性的提升。模型准确性在跨亚组的预测范围延长时保持不变,证明了其适用于公平的公共卫生应用并提供公共卫生事件的预先警告。关于模型可扩展性的发现证实了接近线性的计算增长和可预测的推断时间,表明其在可持续医疗体系内的国家和国际规模部署中具有应用潜力。综上所述,这些发现证明了开发数据的统一或共享时间尺度表示对于构建稳健的人群健康监测系统的重要性,以及将人群数据纳入监测活动的适当方法。针对所提方法论的未来研究可能包括用于创建预测模型的额外数据模态及其对公共卫生政策和资源分配的影响。总体而言,该模型的 methodology 代表了在现实环境中开发数据驱动的人群健康监测方面技术上有效且操作上可行的方法。