《PLOS Digital Health》:Impression-regularized finetuning enables small language models to extract cervical spine fractures from radiology reports
编辑推荐:
研究人员评估了小型开放权重大型语言模型(large language model, LLM)能否从CT放射学报告中准确提取椎体水平急性颈椎骨折标签,同时支持本地部署,以及印象正则化微调是否能够提高准确性、数据效率和时间稳定性。在这项单中心回顾性研究中,8,56
研究人员评估了小型开放权重大型语言模型(large language model, LLM)能否从CT放射学报告中准确提取椎体水平急性颈椎骨折标签,同时支持本地部署,以及印象正则化微调是否能够提高准确性、数据效率和时间稳定性。在这项单中心回顾性研究中,8,567份成人颈椎CT报告(2017–2022年)在神经放射科医生监督下标注了急性枕髁和C1–C7骨折。2017年的报告(n = 1,064)用于微调,2018–2022年的报告(n = 7,503)用于时间测试。研究人员使用标准低秩适应(Low-Rank Adaptation, LoRA)和印象正则化LoRA方法对Gemma-3(1B/4B/12B)、Llama-3.2-3B和Phi-3.5-Mini进行了微调。在训练期间,模型采样多个聚焦于急性颈椎骨折的合成目标印象,选择与参考标准标签最一致的候选,并应用辅助印象损失作为正则化。在推理时,所有模型执行单次确定性JSON提取。基线包括零样本提示、两遍印象引导提示和标准LoRA。印象正则化LoRA将Gemma-3-4B的宏F1(macro-F1)从0.885提高到0.909(宏精度0.929,宏召回0.893),同时降低了训练运行间的方差。改进对较小模型和低数据设置最为显著;Gemma-3-1B的宏F1从0.646提高到0.782。对于该椎体水平急性颈椎骨折提取任务,印象正则化的Gemma-3-4B接近Gemma-3-27B的零样本性能(宏F1 0.909对0.913)。在2018–2022年的时间评估中,平均F1从0.871提高到0.893,且各时间窗口的变异性相似或更低。系统误差分析显示,剩余误差主要与模糊的报告语言和标签边界情况相关。总体而言,印象正则化LoRA使小型开放权重LLM能够准确提取急性颈椎骨折标签,同时保持多年测试期内的性能,并保留适合隐私保护本地部署的可审计单次推理。
本研究聚焦于从放射学自由文本报告中自动提取结构化标签这一医学影像人工智能的关键环节。放射学报告常包含否定、不确定性、历史背景,并可能涉及多个解剖区域,导致手动和自动解析易错,尤其在骨折检测等安全关键任务中。颈椎CT广泛用于创伤,漏诊可致严重神经风险,假阳性则可引发过度分诊和不必要会诊。传统自然语言处理(natural language processing, NLP)方法需依赖数千至数万份标注报告,大型语言模型(large language model, LLM)虽提升了精度,但常需超大模型和复杂提示策略,且时间评估有限,难以在放射科本地部署。小型开放权重LLM具备本地执行和成本可控的优势,但直接进行报告到标签的提取需同时掌握复杂临床语义和刚性结构化输出,在有限监督下较为困难。印象(impression)作为放射学报告中原生的中间表示,虽是自然目标,但印象生成会形成硬瓶颈并增加推理成本。为此,研究人员提出印象正则化微调(impression-regularized finetuning),在训练时利用合成的、聚焦骨折的目标印象作为潜在辅助监督,同时保持部署时的单次确定性JSON提取。
研究人员在单中心回顾性队列中开展研究,使用2017年1,064份颈椎CT报告进行微调,并用2018–2022年7,503份报告进行时间泛化测试。队列来自多伦多圣迈克尔医院(St. Michael’s Hospital, Unity Health Toronto)急诊科,共8,567份成人报告,由神经放射科医生和神经外科住院医师独立标注枕髁(occipital condyle, OCC)及C1–C7共8个椎体水平的急性骨折,不一致病例由第三方仲裁。技术方法上,研究人员采用低秩适应(Low-Rank Adaptation, LoRA)微调多个小模型;印象正则化方法在训练时通过分组束搜索生成多个候选目标印象,依据参考标准标签的负对数似然选出最一致的候选,并联合优化JSON提取损失与印象生成损失作为辅助正则化;推理时采用单次贪婪解码,保证可审计性。基线包括零样本提示、两遍印象引导提示和标准LoRA。
研究结果分为六部分。在基线性能方面,零样本单次JSON提取中Phi-3.5-Mini表现最强(宏F1 0.859),Llama-3.2-3B次之(0.791),Gemma-3-4B最低(0.669);两遍提示对Gemma和Llama略有提升,但显著降低Phi性能。在微调性能与数据效率方面,LoRA微调大幅提升所有模型,印象正则化额外带来增益:完整数据下Gemma-3-4B宏F1从0.885±0.022升至0.909±0.004(p=0.002),Llama从0.890±0.004升至0.902±0.004,Phi改善不显著;低数据时优势最大,Gemma-3-4B在N=20时从0.739升至0.798。在Gemma家族扩展方面,印象正则化在1B、4B、12B规模均提升,其中1B提升最大(0.646升至0.782),4B接近27B零样本性能(0.909对0.913)。在时间性能方面,2018–2022测试期存在可测的分布偏移;印象正则化提高所有模型的时间平均F1并降低变异性,Gemma-3-1B平均F1从0.615升至0.750,变异系数(coefficient of variation, CV)从16.32%降至11.15%;Gemma-3-4B从0.871升至0.893,CV从7.13%降至6.19%。在各水平性能方面,Gemma-3-4B印象正则化在各椎体水平的精度均不低于0.862、召回均不低于0.833,中颈段C3–C5相对较低,相比标准LoRA主要提升精度。在错误模式方面,对23个报告级假阳性和30个假阴性分析显示,假阴性主要源于遗漏明确描述的骨折(43.3%)和含糊措辞(30.0%),假阳性主要源于退行性/病理性病变误判(52.2%)及术后/硬件相关改变(39.1%)。
讨论部分指出,印象正则化的收益不止于印象格式本身,标签表述控制同样提升宏F1(0.901对0.885),提示标签对齐的辅助监督是增益来源。该方法不是骨折特异性的,可推广至其他放射学表型。剩余错误主要由模糊语言和标签边界导致,而非模型不稳定。局限性包括合成印象可能传播基础模型偏差、单步采样、单中心设计以及大模型收益递减。研究结论为:在单中心队列中,使用印象正则化LoRA训练的小型开放权重LLM能够准确提取椎体水平急性颈椎骨折标签,同时保持多年测试期性能,并支持可审计的单次推理,适合隐私保护的本地部署;但临床使用前仍需外部验证、前瞻性监测以及对错误和假警报的仔细防范。