《PLOS Digital Health》:Strategies for integrating artificial intelligence and cognitive assessment to predict disability progression in relapsing-remitting multiple sclerosis: A model development study
编辑推荐:
在多发性硬化(multiple sclerosis, MS)中,系列认知评估有助于识别残疾进展风险较高的患者,但反应时间数据的高维性使分析面临挑战。本研究开发了一种将纵向反应时间数据转换为图像的方法,并应用深度生存建模来预测复发缓解型MS(relapsing-
在多发性硬化(multiple sclerosis, MS)中,系列认知评估有助于识别残疾进展风险较高的患者,但反应时间数据的高维性使分析面临挑战。本研究开发了一种将纵向反应时间数据转换为图像的方法,并应用深度生存建模来预测复发缓解型MS(relapsing-remitting MS, RRMS)中的残疾进展。在这项队列研究中,临床数据来自MSBase注册库,认知数据来自MSReactor计算机化认知测试组,收集时间为2016年2月至2022年9月,中位随访期为3.2年。来自三项任务(精神运动功能[R]、注意力[G]和工作记忆[B])的系列反应时间数据通过RGB编码转换为多色图像。研究人员使用卷积神经网络(convolutional neural network, CNN)从图像中提取关键特征,并将其与临床变量结合到基于Transformer的生存模型(MS-TranSurv)中,以预测至确认残疾进展的时间。使用C指数(C-index)、综合布里尔分数(integrated Brier score, iBS)和时间依赖性受试者工作特征曲线下面积(time-dependent area under the receiver operating characteristic, tAUROC)评估区分度、校准度和准确性。性能与其他机器学习模型进行了比较,包括Dynamic DeepHit、Recurrent Deep Survival Machines、仅使用临床变量的传统统计Cox比例风险模型,以及使用平均测试值的MS-TransSurv版本。共纳入746例RRMS患者。与基准模型相比,MS-TranSurv显示出略高的区分度,C指数为0.61(95% CI 0.54–0.68),tAUROC为0.74(95% CI 0.63–0.85),以及相当的校准度,iBS为0.24(95% CI 0.16–0.32)。使用个体测试水平数据比使用汇总指标提供了略优的性能。纵向认知反应时间数据可用于RRMS中基于生存分析的残疾进展预测。该框架支持远程认知监测,可能改善风险分层和临床试验富集,并对其他高维度数字生物标志物具有潜在适用性。
一、研究背景与研究目的
多发性硬化(multiple sclerosis, MS)是一种慢性中枢神经系统炎性脱髓鞘疾病,认知功能障碍影响54–65%的患者,其中处理速度和情景记忆是最常受累的认知领域。既往研究表明,复发缓解型MS(relapsing-remitting MS, RRMS)患者的认知变化轨迹可以预测其残疾进展风险。计算机化神经心理评估设备(computerised neuropsychological assessment devices, CNADs)能够更简便有效地收集系列认知数据,包括基于反应时间的测试,并且通常可自行完成,减少了人员需求和时间成本。然而,多次任务和多时间点的测试会产生大规模数据集,给分析和解释带来挑战。常用的降维方法是创建汇总信息,例如对单次测试中正确回答的反应时间取平均值,但这种方法易受异常值影响,无法考虑个体内不同正确反应之间的变异、测试期间反应时间的动态变化以及叠加的差异化学习效应。机器学习(machine learning, ML)模型能够映射传统方法难以识别的复杂关联,提供了一种利用全部高维反应时间数据的替代方案。然而,许多现有的MS机器学习研究依赖于固定时间窗口定义的二元结局,未能充分捕捉残疾进展的时间事件性质或处理删失。将机器学习与生存分析相结合,可以在保留时间信息的同时更恰当地对纵向数据进行建模。为此,本研究引入了一种新型机器学习模型,通过将高维反应时间数据转换为多色图像并结合临床人口学和特征,来预测RRMS患者的残疾进展。
二、主要关键技术方法
研究人员采用了一种名为MS-TranSurv的模型架构,该模型由特征提取模块和编码器模块组成。首先,将纵向认知数据按月整理,若同一月内有多次评估则保留最后一次,缺失月份采用末次观测值结转法(last-observation-carried-forward, LOCF)的变体进行处理。随后,将每位患者的测试结果转换为结构化图像:图像的X轴对应每次测试中三个任务的各30次反应,Y轴对应纵向测试序列;像素颜色采用红绿蓝(Red, Green, Blue, RGB)编码系统,分别代表精神运动功能、注意力和工作记忆三项任务的反应时间,并通过最小-最大归一化将毫秒级反应时间映射到0–255范围。生成的图像被按预设预测窗口划分为图像块,使用预训练的卷积神经网络(convolutional neural network, CNN)进行特征提取和降维。提取的特征随后与临床协变量通过多个全连接层结合,形成提取模块。编码模块的核心是一个基于Transformer的深度生存模型,将每位患者视为一个“句子”,通过位置编码和特征嵌入的组合构成“单词”,从而捕捉患者数据中的复杂时间模式。模型性能通过五折交叉验证进行评估。数据来源于MSBase注册库(国际观察性队列研究)和MSReactor计算机化认知测试组,研究对象为2016年3月至2019年12月从澳大利亚四家三级MS诊所招募的RRMS患者。
三、研究结果
3.1 研究人群特征
研究人群以女性为主(76%),平均年龄42.8岁(标准差10.9),中位随访期3.2年(四分位距2.1–4.6)。在746名参与者中,148人(19%)在随访结束前出现了确认的残疾进展。参与者中位病程8.5年,中位治疗暴露时间5.0年,基线扩展残疾状态量表(Expanded Disability Status Scale, EDSS)评分中位数为2.0。
3.2 模型区分度
MS-TranSurv模型表现出最高的区分性能,C指数为0.61(95%置信区间0.54–0.68),高于Dynamic DeepHit(DDH)模型(0.52)、Recurrent Deep Survival Machines(RDSM)模型(0.53)以及仅基于临床变量的Cox比例风险(proportional hazards, PH)模型(0.53)。使用个体测试数据的MS-TranSurv模型相较于使用整体测试平均值的MS-TranSurv-mean模型(C指数0.60)略有提升,尽管95%置信区间大幅重叠。MS-TranSurv模型实现了平均时间依赖性受试者工作特征曲线下面积(tAUROC)为0.74(95%置信区间0.63–0.85),数值上高于基准模型。年度tAUROC比较显示,MS-TranSurv在随访前五年总体上优于其他模型,其年度tAUROC曲线也普遍高于MS-TranSurv-mean模型。
3.3 模型校准度
Cox PH模型的综合布里尔分数(iBS)最低,为0.13(95%置信区间0.12–0.15),其次是MS-TranSurv(iBS 0.24)、DDH(0.28)和RDSM(0.29)。MS-TranSurv的iBS也低于MS-TranSurv-mean(0.29),表明纳入个体测试水平的纵向数据可能比使用均值认知汇总指标更能改善校准度。在6个月间隔的Brier评分分析中,MS-TranSurv模型在所有时间点普遍维持了低于DDH、RDSM和MS-TranSurv-mean模型的Brier评分,显示出更稳定的随时间校准性能。此外,研究人员使用MS-TranSurv模型预测了两名患者在6年内的生存曲线,其中一名患者在4.58年经历了确认的残疾进展事件,另一名患者保持无事件并在5.67年被删失。
四、讨论与结论
在讨论部分,研究人员指出,MS-TranSurv模型在区分度和校准度方面均优于基准模型,且使用个体认知测试数据比使用均值数据能略微提高预测准确性。该模型是首个利用纵向认知数据预测MS残疾进展的基于CNN的Transformer生存模型,拓展了先前关于认知变化在预测残疾进展中作用的研究,并证明了重复、低负担的自动化认知数据采集用于预测残疾进展的可行性。尽管样本量有限,MS-TranSurv和MS-TranSurv-mean模型均表现出合理的性能。值得注意的是,仅使用临床变量的Cox PH模型虽然区分度与DDH和RDSM相当,但获得了最低的iBS,这可能反映了在相对有限的数据集中,基于简单假设的统计模型的稳定性,以及区分度与校准度指标侧重点的不同。MS-TranSurv更好的区分度表明其框架可能提取了其他基准方法未完全捕获的信息丰富的纵向认知特征。该方法利用了CNN在处理高维数据和图像模式识别中的优势,通过将认知数据转化为图像进行特征提取,优于直接对所有测试结果取平均值。该框架不仅限于反应时间数据,还可应用于智能手机衍生数字生物标志物、步态传感器输出等高维数据流,符合数字表型的概念。在局限性方面,模型未纳入合并症、体重指数等变量,MRI数据因缺失率超过60%而未被纳入,中位随访期3.2年可能较短,缺乏外部验证增加了过拟合风险,且图像转换方法较为简单,家庭/医院测试频率差异大可能导致偏倚。研究结论指出,MS-TranSurv模型作为一种结合认知数据预测RRMS残疾进展的风险评估工具,其改进的区分度和校准度支持将纵向认知数据纳入深度生存建模框架的可行性。该结果有助于对潜在试验参与者进行分层,选择残疾进展风险更高的亚组用于临床试验,并最终可能用于个体疾病和治疗反应监测。