《Journal of Biomedical Informatics》:Reproducible synthetic clinical letters for seizure frequency information extraction
编辑推荐:
•提出一种可重复的合成分信框架,用于癫痫发作频率提取。•设计一种结构化标签方案,涵盖频率、区间、集群和无发作持续时间。•仅在完全合成信件上训练的模型能够泛化到真实临床信件,并取得优异的F1分数。引言癫痫是一种常见的神经系统疾病,也是全球致残和过早死亡的主要诱因,其疾病负担在不
- •
提出一种可重复的合成分信框架,用于癫痫发作频率提取。
- •
设计一种结构化标签方案,涵盖频率、区间、集群和无发作持续时间。
- •
仅在完全合成信件上训练的模型能够泛化到真实临床信件,并取得优异的F1分数。
引言
癫痫是一种常见的神经系统疾病,也是全球致残和过早死亡的主要诱因,其疾病负担在不同地区和年龄组间存在显著差异 [1]、[2]。在常规诊疗和研究中,癫痫发作频率是衡量疾病控制和治疗反应最常用的指标之一,并且在纵向随访过程中往往被反复讨论。然而,癫痫发作计数本身具有困难性:许多发作无人目击或会导致意识障碍,而真实世界的记录可能不完整或不一致 [3]。关于长期癫痫日记在临床研究中使用的研究报告也指出,依从性和缺失数据存在显著异质性,当癫痫发作频率作为主要终点时,这可能会对下游分析产生偏差 [4]。
在现代医疗系统中,癫痫发作频率信息通常嵌入在非结构化临床叙述中,例如神经科门诊信件。这些文档包含最丰富的上下文细节(发作间期历史、药物变化、发作半学、安全咨询),但癫痫发作频率信号以高度多样化的语言形式表达,包括明确的频率("每周2次")、数值区间("每月4–5次")、模糊量词("多次"、"偶尔")、无发作持续时间("6个月无发作")以及集群模式("每月发作集群两次,每次集群3次")。此外,频率陈述往往以隐含的时间参考点为锚点(例如,"自上次见到患者以来"),因此需要超出句子本身的上下文信息才能正确解读。因此,人工提取费时费力且难以扩展,这促使从临床文本中自动提取信息的研究。
已有研究表明,可以利用传统自然语言处理流程和机器学习方法从电子健康记录中提取癫痫结局信息,包括针对自由文本中发作类型和频率提取的系统 [5]、[6]。更近期,大语言模型已被探索用于从非结构化信件中提取癫痫相关变量,并提出了微调策略以改进癫痫发作频率提取性能 [7]、[8]、[9]。尽管如此,稳健地提取癫痫发作频率仍然具有挑战性,因为它需要时间归一化、对隐含时间窗口的推理以及对缺失数据和模糊表达的鲁棒性,而后者在真实临床通信中十分常见。
一个关键瓶颈是,高性能的临床自然语言处理系统通常需要大量具有代表性的训练数据和精心评估。学术界受益于共享任务语料库(例如i2b2类挑战赛)以及包含受控访问临床笔记的大型重症监护数据集,如MIMIC-III和MIMIC-IV [10]、[11]、[12]、[13]。然而,临床文本的广泛重用和公开发布受到隐私和治理要求的限制。去标识化方法已取得了显著进展,包括早期的基于规则的系统以及现代的神经方法,但它们并不完美,可能会留下残余风险 [14]、[15]、[16]、[17]。同时,现代机器学习引入了额外的隐忧:模型可能通过记忆泄露训练数据,即使移除了直接标识符,成员推断等攻击也已显示出隐私漏洞。这些限制对大语言模型的尤为突出,因为训练规模和模型容量会放大记忆和泄露风险 [18]、[19]、[20]。
为解决这些限制,合成临床文本已成为一种补充策略,可在不分配真实患者信件的情况下实现可重复的研究。该领域的工作表明,神经语言模型可以生成对下游自然语言处理任务具有可衡量效用的合成临床笔记,并且可以被设计成比原始文本更安全地共享 [21]、[22]。更有抱负的是,合成笔记已被用于训练可迁移到真实笔记基准上的临床大语言模型,表明合成语料库至少在某些场景中可以替代真实笔记 [23]。与此同时,近期的工作管线专注于生成、验证和纠正合成临床文档(如出院摘要),并利用医学结构/知识来提高保真度 [24]、[25]。然而,对于像癫痫发作频率提取这样对措辞和时间逻辑敏感的任务,合成数据必须是任务忠实的(反映真实记录模式)且标签忠实的(提供与临床有意义的归一化一致可靠监督)。
本研究解决了癫痫研究和临床信息学中的一个实际挑战:在减少对患者敏感文本依赖的同时,从叙述性门诊信件中提取可靠的癫痫发作频率信息。本研究建立在临床自然语言处理和基于大语言模型的提取方面的进展之上 [7]、[8]、[9]。
首先,我们介绍了一种为癫痫发作频率提取而设计的合成数据框架和任务专用标注方案。与以往侧重于笔记通用真实性或广泛自然语言处理基准的合成临床笔记生成工作不同 [21]、[22]、[23]、[24]、[25],我们的框架显式建模了临床上常见的频率表达,如区间、集群、无发作间隔和模糊描述,从而为癫痫结局建模提供更忠实的监督。
其次,该方法利用完全合成的监督实现了可重复和隐私保护的模型开发。我们证明了仅在合成门诊信件上训练的模型可以有效泛化到真实信件,达到或超过仅在真实数据上训练的模型。这减少了敏感临床通信的依赖,同时提高了癫痫发作频率提取的鲁棒性和可重复性 [8]。
第三,该框架融合了推理感知和证据感知的监督。已有研究表明,思维链提示可以改善语言模型的多步推理 [26]、[27],并且这种推理可以通过蒸馏或有监督微调进行迁移 [28]。通过将预测与支持性文本跨度关联,该系统支持透明度和人工验证,与自然语言处理领域关于理由和基于证据评估的更广泛研究相一致 [29]、[30]。
各节摘要
数据来源
在本研究中,我们获取了伦敦国王学院医院超过25,000条电子健康记录,包括人口统计学数据和神经科门诊信件,时间跨度从2013年1月到2023年9月。由于我们的研究聚焦于成人癫痫护理,我们仅纳入了18岁及以上且诊断为癫痫患者的电子健康记录,以避免儿童人群带来的额外偏差和复杂性。对KCH内部数据管理平台的访问使得
真实(300)测试集的特征
在Real(300)保留测试集中,299条记录有性别元数据:146条为男性(48.8%),153条为女性(51.2%)。293条记录有年龄元数据。最大年龄段为31–40岁(77/293,26.3%)、41–50岁(65/293,22.2%)和51–60岁(60/293,20.5%);所有有年龄元数据的记录均不涉及17岁或以下的患者。
作为临床可比性的额外检查,我们分析了当前抗癫痫药物的分布
主要发现
我们的结果揭示了四个主要发现。首先,在真实世界门诊信件上的癫痫发作频率评估受到类别不平衡的强烈影响,特别是在细粒度的Purist方案下。在Real(300)测试集中,超过一半的信件被标记为UNK(163/300),而几个Purist类别的支持度极低(例如=1/6M仅有两例)。因此,对稀有类别等权重的聚合指标可能不稳定,整体性能最好
局限性
有几个局限性值得强调。首先,真实门诊信件来自英国单一中心和固定的历史时期;在广泛部署之前,需要跨医院、地区和文档系统进行外部验证。其次,真实信件的标注仅以数值形式提供,阻碍了在真实数据上进行结构化标签格式的联合训练;未来工作可以探索真实信件的效标注或半自动转换策略。第三,
结论
总之,我们证明了通过采用结构化输出表示和可扩展的、隐私保护的合成监督,可以改善从非结构化癫痫门诊信件中的癫痫发作频率提取。合成思维链训练在真实保留信件上取得了优异性能,提高了分布偏移下的鲁棒性,并提供了适合临床审计的可解释的证据驱动输出。这些结果支持了可重复的、开放权重的大语言模型管线用于
CRediT作者贡献声明
Yujian Gan:撰写——初稿,软件,方法学,概念化。Stephen H. Barlow:撰写——审阅与编辑,方法学,概念化。Ben Holgate:撰写——审阅与编辑,项目管理,方法学,数据整理,概念化。Joe Davies:撰写——审阅与编辑,软件,方法学。James T. Teo:撰写——审阅与编辑,软件,资源,方法学。Joel S. Winston:撰写——审阅与编辑,调查,形式分析,数据
稿件准备过程中生成式AI和AI辅助技术的声明
在本文准备过程中,作者使用了ChatGPT(OpenAI)来辅助语言润色,并提高作者撰写文本的清晰度和可读性。使用此工具后,作者根据需要审阅和编辑了内容,并对发表内容的完整性负全部责任。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。
Yujian Gan | Stephen H. Barlow | Ben Holgate | Joe Davies | James T. Teo | Joel S. Winston | Mark P. Richardson