《Frontiers in Endocrinology》:Incorporating natural language processing-derived features from pathology reports into machine learning models to predict differentiated thyroid cancer recurrence
编辑推荐:
摘要专业翻译
目的: 评估利用自然语言处理(NLP)和大语言模型(LLM)衍生特征,训练机器学习(ML)模型以预测甲状腺癌复发的性能。
患者与方法: 本研究为回顾性研究,纳入2010年1月1日至2022年12月31日期间在一家学术医疗中心接受治疗的分化型甲状腺
摘要专业翻译
目的: 评估利用自然语言处理(NLP)和大语言模型(LLM)衍生特征,训练机器学习(ML)模型以预测甲状腺癌复发的性能。
患者与方法: 本研究为回顾性研究,纳入2010年1月1日至2022年12月31日期间在一家学术医疗中心接受治疗的分化型甲状腺癌成年患者。研究人员将患者分为癌症复发组与无复发组。研究人员采用词频-逆文档频率(TF-IDF)、隐含狄利克雷分配(LDA)以及零样本大语言模型(LLM)分类方法,从细胞病理学和手术病理报告中提取新型NLP特征。研究人员训练了五种学习算法(决策树、梯度提升、逻辑回归、随机森林和XGBoost),利用NLP衍生特征与结构化电子病历(EMR)变量的组合来预测癌症复发。所有模型均采用分层5折交叉验证进行评估。模型性能通过F1分数和受试者工作特征曲线下面积(ROC-AUC)进行评估。对表现最佳的模型进行超参数调优,并使用SHapley Additive exPlanations(SHAP)值和基于增益的特征重要性评估特征重要性。
结果: 本研究共纳入310例经最终手术病理确诊的分化型甲状腺癌患者。结合EMR变量与LDA衍生特征的优化XGBoost模型取得了最佳性能,其训练集交叉验证F1分数为0.647,留出测试集F1分数为0.631(95% CI 0.509–0.758),ROC-AUC为0.741(95% CI 0.572–0.892)。SHAP分析和基于增益的特征重要性分析确定手术病理主题——颈部和侧颈部淋巴结清扫——为癌症复发的主要预测因子。
结论: 包括利用从非结构化病理报告中衍生的新型NLP特征在内的多种机器学习分类器,可能有助于改善分化型甲状腺癌患者复发的预测。
论文解读文章
一、研究背景与问题
甲状腺癌是最常见的内分泌恶性肿瘤,其发病率在美国增长迅速,从1975年的每10万人4.8例上升至2016年的每10万人14.5例。甲状腺癌也是15至29岁青少年和年轻成人中最常诊断的恶性肿瘤。尽管总体生存率较高,但局部区域或远处转移性疾病的复发仍是癌症相关发病的主要来源,约三分之一的患者会出现复发。因此,准确预测甲状腺癌复发对长期生存管理和监测至关重要。
2025年美国甲状腺协会(ATA)指南依据结构化临床病理特征和治疗反应将患者分为低危、低中危、中高危和高危组。然而,在精准医学时代,整合额外患者特异性数据的机器学习模型可能提供超越现有风险分层框架的复发预测能力。既往机器学习模型已在甲状腺癌预后任务中展现出良好性能,但存在局限性,包括依赖人工提取临床参数以及排除易于获取的非结构化临床数据,如手术和细胞病理报告,这些报告可能包含结构化字段中未捕获的诊断相关信息。
自然语言处理技术已被越来越多地应用于从大规模非结构化数据中自动提取临床相关信息。尽管自由文本报告中蕴含丰富的诊断信息,但这一数据源在临床预测建模中仍未得到充分利用。本研究旨在探索将结构化临床数据与病理报告中NLP衍生特征整合到机器学习模型中,以预测甲状腺癌复发,并假设纳入非结构化数据的模型将优于仅基于结构化临床数据的传统方法。
二、研究内容与结论
研究人员开展了一项回顾性队列研究,经西奈山伊坎医学院机构审查委员会批准。研究人员从西奈山数据仓库中识别2010至2022年间经ICD 9和10编码诊断的甲状腺癌成年患者2397例,最终纳入310例经最终手术病理确诊的分化型甲状腺癌患者,其中33例(10.6%)发生疾病复发。研究将数据集按分层70:30随机划分为训练集(217例,含23例复发)和留出测试集(93例,含10例复发)。
研究得出以下主要结论:结合EMR变量与LDA衍生特征的优化XGBoost模型取得了最佳性能,测试集F1分数为0.631,ROC-AUC为0.741。SHAP分析和增益特征重要性分析均确定手术病理主题——颈部和侧颈部淋巴结清扫——为癌症复发的最主要预测因子。该研究证明了从自由文本病理报告中提取信息特征以增强机器学习模型的可行性和潜在价值。
三、主要关键技术方法
研究人员采用了三种自然语言处理特征提取方法:词频-逆文档频率(TF-IDF)用于衡量词语在文档中的重要性;隐含狄利克雷分配(LDA)主题建模,一种无监督机器学习模型,用于识别文本中的主题聚类,通过一致性分数优化确定手术病理报告K=8、细胞病理报告K=5的最优主题数;以及使用Llama3.1 8B大语言模型进行零样本学习分类,生成二元复发标签作为特征。五种学习算法(决策树、梯度提升、逻辑回归、随机森林和XGBoost)在六种特征配置下进行评估,共30种模型评估,均采用分层5折交叉验证。最佳模型使用GridSearchCV进行超参数调优,并在留出测试集上通过1000次迭代分层bootstrap重采样计算95%置信区间。
四、研究结果
人口统计学与临床变量: 310例患者中,复发组中位年龄35.1岁,无复发组42.8岁。两组在性别、种族、保险类型、术前BMI和家族史方面无显著差异。术后甲状腺球蛋白水平在两组间存在显著差异,复发组中位水平2.30 ng/mL,无复发组0.20 ng/mL(P=.003)。
主题建模特征的主题: LDA技术从患者细胞病理和手术病理报告中生成主题词,由内分泌外科医生审查后分配主题。细胞病理报告主题包括病理/细胞学特征、FNA准备和恶性肿瘤。手术病理报告主题包括术中活检、颈部和侧颈部淋巴结清扫、细胞学和癌症累及范围。
LLM零样本学习复发预测: Llama3.1 8B模型的F1分数仅为0.393,准确率0.542,表现欠佳,其二元分类结果作为附加特征用于机器学习模型。
模型性能: 仅使用EMR特征的基线模型中,梯度提升表现最佳,F1分数0.521,ROC-AUC 0.457。结合EMR和LDA特征的XGBoost模型整体表现最佳,训练集交叉验证F1分数0.591,ROC-AUC 0.744。超参数调优后提升至F1分数0.647,AUC 0.753。最终模型在留出测试集上F1分数0.631(95% CI 0.509-0.758),AUC 0.741(95% CI 0.572-0.892)。模型校准欠佳,Brier分数0.141,超过零模型Brier分数0.096。仅使用甲状腺球蛋白的逻辑回归模型AUC为0.643,低于组合模型的0.744。
模型可解释性: 增益特征重要性图和SHAP摘要图均显示前十位最重要特征中有七个为LDA衍生特征。手术病理LDA主题2(颈部和侧颈部淋巴结清扫)是最重要的预测因子,最大SHAP值达0.759。术后甲状腺球蛋白水平也进入前十特征。
五、讨论与结论总结
讨论部分指出,本研究的模型性能与此前仅依赖结构化临床变量的甲状腺癌复发模型相当,突显了NLP衍生特征作为可扩展替代方案的实际优势。值得注意的是,结构化EMR单独模型的判别能力有限,AUC范围0.45-0.49,表明现有结构化特征无法可靠区分复发。LDA主题模型通过无监督方法识别出与颈部淋巴结清扫相关的临床一致主题,展示了其从非结构化病理叙述中提取临床有意义模式的能力。相比之下,LLM衍生和TF-IDF特征未纳入最佳模型,表明零样本LLM分类在未进行领域特定微调的情况下可能尚无法捕捉与癌症复发相关的细微语言模式,而TF-IDF可能缺乏主题建模所能实现的临床叙述文本中的上下文理解。
研究局限性包括:队列不平衡(复发率约10%)、排除大量数据不完整患者可能引入选择偏倚、未定义最短随访时间导致无法进行时间-事件分析、单机构研究缺乏外部验证、EMR基线模型未纳入AJCC/TNM分期和ATA风险类别等已确立的预测因子,以及仅评估了一个LLM模型。
研究结论:本研究展示了一种将非结构化叙述报告中的NLP衍生特征作为结构化输入整合到机器学习癌症复发预测模型中的新颖方法。主题建模能够从病理文本中提取临床有意义的特征,可减轻大规模临床数据集构建中人工抽象的工作负担。这些发现支持进一步研究临床叙述报告在预测模型中的应用,并揭示了LLM在该领域的当前局限性。