在电子病历(EMR)中可靠地识别手术操作对于临床登记、试验招募、质量保证和手术日志验证至关重要。行政编码可能无法准确反映临床诊断或手术操作。在一项澳大利亚两家医院的研究中,仅53.9%的眼科手术被正确编码[1]。

大型语言模型(LLM)可能通过解释非结构化临床文本而克服行政编码的某些局限性,无需特定任务的标注训练[2,3,4,5]。本地部署的开放权重模型可能解决与云端托管专有系统相关的隐私和数据治理限制。气腹视网膜固定术(PnR)很适合评估这一方法,因为它在手术室外进行时可能被漏记录,记录在不同的临床笔记中,并且使用与玻璃体切割术(PPV)和气腹位移重叠的眼内气体术语来描述。我们评估了在院内网络中部署的开放权重LLM是否能准确从眼科EMR中识别有记录的PnR。

这项回顾性诊断准确性研究纳入了2023年7月至2024年6月期间在阿德莱德皇家医院和伊丽莎白女王医院管理的患者。从机构数据仓库中检索包含" C3F8"、" SF6"或" pneumatic"的候选记录。中央阿德莱德地方卫生网络人类研究伦理委员会批准了该研究(参考编号:21255)。

参考标准由纵向EMR的手动审查得出。两名审查者(JT和JP)独立评估所有记录(98.2%一致;Cohen κ = 0.943),疑难病例由玻璃体视网膜专科医师(WOC)裁定。Qwen3-235B-A22B部署在机构网络内部。一个两阶段的零样本提示指令模型确定每条记录是否记录了PnR并返回布尔分类(补充材料)。性能通过灵敏度、特异度、阳性预测值、阴性预测值、准确率、F1分数和Matthews相关系数(95% CI)与参考标准进行评估。

队列包括542例患者记录,其中110例(20.3%)记录了PnR。模型产生了108例真阳性、407例真阴性、25例假阳性和2例假阴性分类。灵敏度为0.98(95% CI,0.94–0.99),特异度0.94(95% CI,0.92–0.96),阳性预测值0.81(95% CI,0.74–0.87),阴性预测值0.99(95% CI,0.98–0.99)(表 1)。在25例假阳性中,14例(56%)涉及黄斑下出血的气腹位移,11例(44%)与PPV相关的气囊填塞。

表1 大型语言模型识别有记录的气腹视网膜固定术的性能。

本地部署的开放权重LLM以高灵敏度和阴性预测值识别了有记录的PnR。在这个关键词增强的队列中,这些结果支持将其作为研究和行政工作流程中的病例发现工具。然而,由于阳性预测值为0.81,阳性分类仍应接受针对性的人工验证。假阳性主要集中在其他基于气体的视网膜手术上,表明手术操作重叠是分类错误的主要来源。这些发现将眼科LLM应用扩展到纵向手术操作的确定[2, 3]。以前的有监督自然语言处理方法需要标注的训练数据,并且在更复杂的眼科手术中表现出较低的性能[1]。相比之下,零样本方法减少了任务特定的开发负担,同时允许临床数据保留在机构基础设施内[3, 4]。

本研究的局限性包括关键词增强检索、单一模型和提示的评估,以及缺乏基于规则的对照。在实施之前需要进行外部多中心验证和前瞻性工作流程评估。这些发现支持人工监督的工作流程,而非完全自主的分类。