《Information》:Contrastive Representation Learning on TabTransformer Latent Features for Imbalanced Post-Stroke mRS Classification
编辑推荐:
电子临床记录的可获取性日益增强,为医疗保健领域的预测建模带来了新的机遇。然而,临床数据具有患者信息异质性、样本可用性有限以及结局分布高度不平衡等特点,这可能削弱预测模型捕获复杂模式并在代表性不足群体中泛化的能力。本研究探讨了基于深度学习的表示学习策略,利用临床
电子临床记录的可获取性日益增强,为医疗保健领域的预测建模带来了新的机遇。然而,临床数据具有患者信息异质性、样本可用性有限以及结局分布高度不平衡等特点,这可能削弱预测模型捕获复杂模式并在代表性不足群体中泛化的能力。本研究探讨了基于深度学习的表示学习策略,利用临床表格数据预测由改良Rankin量表(modified Rankin Scale,mRS)衍生的卒中后最终功能状态。所提出的方法在学习信息丰富的患者表示的同时应对类别不平衡,且不改变原始数据分布,避免了传统重采样策略的局限性。具体而言,该框架结合了TabTransformer编码器、监督对比学习(Supervised Contrastive Learning)和焦点损失(Focal Loss),以联合优化判别性表示学习与不平衡感知分类。通过获得更可分离的潜在表示并减少对多数类预测的偏差,该方法旨在改善对功能结局不良患者的识别。实验结果表明,所提出的模型取得了最高的准确率(0.92)和宏平均F1分数(0.80),并且少数类精确率(0.67)和召回率(0.64)保持平衡,而其他模型则在这些指标之间呈现出权衡。这些结果表明,在保持临床结局预测整体性能的同时,少数类识别能力得到了改善。
**论文解读:基于TabTransformer潜在特征对比表示学习的不平衡卒中后mRS分类研究**
**1. 研究背景与问题**
近年来,电子健康记录(EHR)的广泛应用为医疗预测建模提供了丰富的数据基础。然而,临床数据往往包含异构特征类型、高维表示以及高度不平衡的结局分布,这些特性严重制约了传统机器学习模型的直接应用。在卒中后功能结局预测中,改良Rankin量表(mRS)是评估患者功能残疾程度的常用工具,其取值范围为0(无症状)至6(死亡)。临床上通常将mRS 0–2视为功能结局良好,mRS 3–6视为功能结局不良。在实际临床数据中,良好结局患者数量远多于不良结局患者,形成严重的类别不平衡问题,导致模型倾向于预测多数类,难以准确识别功能结局不良的少数类患者。
经典的重采样技术如欠采样、过采样及SMOTE等方法虽被广泛用于缓解类别不平衡,但存在明显缺陷:欠采样可能丢失多数类中有价值的信息,过采样因重复少数类样本易导致过拟合,而SMOTE引入的合成样本可能偏离真实临床数据分布,损害模型的泛化能力。此外,传统成本敏感学习虽能在不改变数据分布的前提下调整误分类代价,但未能充分挖掘数据中的判别性表示。近年来,对比表示学习,特别是监督对比学习(SCL),通过拉近同类样本、推远异类样本,能显著提升潜在表示的类别可分性。将对比表示学习与成本敏感优化相结合,并借助Transformer架构对异构表格特征间上下文交互的建模能力,有望在不改变原始数据分布的前提下有效应对严重类别不平衡问题。然而,这些技术的联合集成在临床表格分类,特别是卒中后结局预测中尚未得到充分探索。
**2. 研究目标与贡献**
针对上述问题,研究人员提出了TabTrans-SCL框架,将TabTransformer编码器与监督对比学习和焦点损失(FL)集成于统一的端到端架构中。该框架通过联合优化监督对比目标(学习判别性潜在患者表示)和基于焦点损失的成本敏感分类目标(缓解多数类偏差),在保持整体分类准确率的同时提升少数类识别能力,从而促进功能结局不良患者的早期识别。研究的主要贡献包括:提出统一的表示学习框架,联合Transformer表示学习、监督对比学习和成本敏感优化;引入无需数据级重采样的学习策略,通过判别性表示学习与不平衡感知优化增强少数类识别;在真实卒中后临床数据集上与多种代表性方法进行了系统比较,评估了监督对比学习在Transformer临床预测模型中的贡献。
**3. 关键技术方法**
研究使用了西班牙萨拉曼卡大学医院及萨拉曼卡112急救服务2016至2019年间收治的急性缺血性卒中患者数据。初始收集2080份病历,经缺血性卒中及卒中代码激活筛选后余1572份,再经数据质量审查排除不一致及缺失严重记录,最终纳入1531例患者。每份记录包含16个预测变量和1个结局变量,涵盖人口统计学信息、神经功能评估(NIHSS)、病史、既往用药、影像学及急性期治疗等异构表格数据。为处理类别不平衡,研究采用了三种核心技术:(1)改进的TabTransformer编码器:将每个类别变量映射为32维可训练嵌入向量,数值变量经标准化后通过线性变换投影为单一32维数值令牌,由两层各含4个注意力头的Transformer编码器处理,建模临床变量间的上下文依赖;(2)监督对比学习(SCL):通过投影头(两层MLP)将潜在表示映射至对比空间,采用温度参数τ=0.03的监督对比损失,使同类患者表示聚类、异类患者表示分离;(3)焦点损失(FL):分类头以聚焦参数γ调节困难样本权重,并设置类别权重以补偿类间不平衡。联合优化策略通过权重λ=0.5平衡对比损失与焦点损失的贡献。训练采用Adam优化器,初始学习率3×10??,批大小64,早停法(patience=50),最大训练轮次300。通过分层5折交叉验证评估模型泛化性能。
**4. 研究结果**
**整体性能比较**:实验结果显示,TabTrans-SCL在宏平均指标上取得最佳整体性能,F1分数最高(0.80),准确率最佳(0.92),精确率(0.81)与召回率(0.80)之间达到较好平衡。相比之下,随机森林(RF)虽准确率相当(0.92),但召回率较低(0.74),偏向精确率;XGBoost和LightGBM的宏F1分数为0.79,但召回率均低于TabTrans-SCL(分别为0.75和0.77)。引入焦点损失的模型(如FT-Trans+MLP+FL和TabTrans+MLP+FL+CTGAN)虽能提高召回率(0.82和0.81),但精确率较低(0.72和0.75),导致F1分数下降。TabTrans+MLP+FL(无监督对比学习)的精确率与召回率分别为0.77和0.80,整体性能仍低于所提方法。
**类别特异性分析**:针对少数类(mRS 3–6)的性能评估表明,TabTrans-SCL取得了最优的F1分数(0.65),精确率(0.67)与召回率(0.64)之间平衡最佳。随机森林虽然少数类精确率最高(0.82),但召回率仅0.51,表明只能识别有限比例的功能结局不良患者。XGBoost和LightGBM同样呈现低召回率(0.52和0.56)。FT-Trans+MLP+FL虽然召回率最高(0.76),但精确率仅0.49,导致F1分数较低(0.59)。CTGAN数据增强虽提高了召回率,但未改善整体F1分数。此外,TabTrans-SCL在多数类(mRS 0–2)上保持了较高性能(精确率0.95,召回率0.96,F1分数0.95),说明改善少数类识别并未显著牺牲多数类性能。
**变量重要性分析**:基于排列重要性(permutation importance)的分析显示,年龄是最重要的个体变量(ROC-AUC平均下降0.0493±0.0168),其次是病史变量(Medical History 1–3的贡献分别为0.0400±0.0126、0.0300±0.0155和0.0286±0.0126)及病史4(0.0184±0.0076)。既往用药变量贡献中等(0.0157–0.0176),急性期管理变量贡献较小(溶栓0.0092±0.0103,取栓0.0056±0.0075)。这表明模型主要依赖年龄、既往病史和入院前慢性用药来区分功能结局。
**5. 研究结论与意义**
TabTrans-SCL通过联合优化TabTransformer编码器、监督对比学习和焦点损失,在真实临床数据上实现了竞争性的预测准确率,同时提供了更平衡的跨类别性能。与基线方法相比,所提方法取得了最高的宏平均F1分数,并改善了精确率与召回率之间的权衡,表明监督对比学习的集成有助于学习更具判别性的患者表示,且不以牺牲多数类性能为代价。研究结果表明,将Transformer表示学习与对比及成本敏感优化相结合,是处理具有异构变量和严重类别不平衡的临床表格分类问题的一种有前途的策略。
**研究局限与未来方向**:研究存在回顾性单中心设计及样本量有限的局限,可能影响结论向其他临床环境和患者群体的推广。未来工作将评估TabTrans-SCL在更多临床队列中的泛化性,探索替代的对比目标和Transformer架构,并进一步研究数据集漂移下的模型鲁棒性、多类功能结局预测以及其他临床预后任务中的应用。这些方向有望为所提框架的稳健性和更广泛的临床适用性提供进一步证据。