《Cancer Imaging》:Multidisciplinary attitudes towards LLM-structured oncologic CT reports: a prospective fixed-sequence questionnaire study
编辑推荐:
目的:大语言模型(LLMs)能够自动化地将放射学自由文本转换为结构化报告,但多学科读者对由此产生的输出的偏好仍未得到充分研究。这项前瞻性、两阶段、固定序贯受试者内研究评估了读者对LLM结构化与传统自由文本肿瘤CT报告的评估。
材料与方法:于2025年5月至11
目的:大语言模型(LLMs)能够自动化地将放射学自由文本转换为结构化报告,但多学科读者对由此产生的输出的偏好仍未得到充分研究。这项前瞻性、两阶段、固定序贯受试者内研究评估了读者对LLM结构化与传统自由文本肿瘤CT报告的评估。
材料与方法:于2025年5月至11月期间招募了一组配对的便利样本,包括放射科医生、放射科技师、肿瘤科医生和医学生。在第一阶段,参与者在9点李克特量表上对5份自由文本肿瘤CT报告的可读性与理解力(3项)、肿瘤信息质量(5项)和临床实用性(4项)进行评分。经过至少4周的洗脱期后,参与者对由Llama-4-Scout-17B-16E-Instruct生成的LLM结构化版本进行了评分。
结果:共纳入66名配对参与者(24名医学生、22名放射科医生、12名放射科技师、8名肿瘤科医生)(平均[标准差]年龄,30.5[7.6]岁;37名[56.1%]女性)。结构化报告在12个项目中的11项显示出显著更高的同意优势比(比值比[OR]范围,1.70–4.81),其中临床实用性的效应最强(OR,4.81;95% CI,3.24–7.15),其次是信息可寻性(OR,4.31;95% CI,3.12–5.96)、建议清晰度(OR,4.14;95% CI,2.95–5.83)和患者沟通适宜性(OR,3.45;95% CI,2.59–4.60)。放射科技师在所有12个项目上均显示出显著更高的评分,放射科医生在6个项目上,学生在7个项目上,而肿瘤科医生在所有项目上均无显著差异。
结论:在这个单中心配对样本中,LLM结构化的肿瘤CT报告在大多数评估维度上获得了比传统自由文本报告更高的读者评分,其中信息可寻性和临床实用性的差异最大。这些发现支持进一步评估放射科医生监督下的LLM辅助报告结构化,包括在临床实施前进行正式的源到输出验证和随机多中心评估。
论文解读文章
研究背景与问题
放射学报告是放射科医生与临床医生之间沟通的核心工具,尤其在肿瘤影像学中,报告需承载分期、治疗反应及可操作发现等信息,服务于多学科团队。传统自由文本报告虽然灵活,但常因结构不统一导致关键信息检索困难,影响临床决策效率。尽管结构化报告已被证明能提升报告的完整性、可读性和信息检索效率,但在实际应用中推广缓慢,原因包括模板僵化、可能过度简化内容以及对现有工作流程的干扰。此外,现有研究多聚焦于放射科医生和转诊医生的观点,而对放射科技师、医学生等更广泛的多学科用户的偏好关注不足。大语言模型(LLMs)的出现为自动将自由文本转化为结构化报告提供了技术可能,但其输出在临床部署前仍需严格验证,且关于最终用户接受度的前瞻性多学科证据仍然匮乏。为此,本研究旨在通过前瞻性、固定序贯设计,系统评估多学科读者对LLM结构化与传统自由文本肿瘤CT报告在可读性、肿瘤信息质量和临床实用性方面的偏好。
研究方法概述
这是一项前瞻性、两阶段、固定序贯受试者内研究,于2025年5月至11月在慕尼黑工业大学进行。研究人员招募了66名配对参与者,包括放射科医生、放射科技师、肿瘤科医生和医学生。研究分两个阶段:第一阶段,参与者评估5份针对结直肠癌、乳腺癌、前列腺癌、肝细胞癌和肺癌的自由文本CT报告;经过至少4周洗脱期后,同一批参与者评估由开源大语言模型Llama-4-Scout-17B-16E-Instruct(本地部署,温度设为0)基于预设模板转换的结构化版本。所有结构化报告在调查前均由两名放射科医生进行共识审核以确保内容一致性。问卷包含12个条目,涵盖可读性与理解力、肿瘤信息质量和临床实用性三个维度,采用9点李克特量表评分。统计分析采用配对Wilcoxon符号秩检验和广义线性混合模型(GLMM),调整了专业组别、年龄、经验/培训阶段和癌症领域等协变量。
研究结果
可读性与理解力
在该维度中,可读性(Q1)在两种报告格式间无显著差异(OR,1.15;95% CI,0.86–1.54;p = 0.35)。表述清晰度(Q2)从6.8(1.6)提升至7.3(1.6)(OR,1.70;95% CI,1.19–2.43;p = 0.004)。信息可寻性(Q3)改善最为显著,均值从6.0(2.0)升至7.1(1.8)(OR,4.31;95% CI,3.12–5.96;p < 0.001)。放射科技师是所有亚组中唯一在全部3个项目上均显示显著改善的群体。
肿瘤信息质量
结构与组织(Q5)在该维度中效应最大,均值从6.3(2.0)升至7.3(1.7)(OR,3.10;95% CI,2.20–4.37),其次为完整性(Q7;OR,2.76;95% CI,1.93–3.93)、精确性(Q8;OR,2.60;95% CI,1.88–3.60)、可理解性(Q6;OR,2.14;95% CI,1.51–3.04)和肿瘤信息清晰度(Q4;OR,1.89;95% CI,1.36–2.62)。放射科技师在所有5个项目上均有显著改善,放射科医生在3个项目上有显著改善,医学生在2个项目上有显著改善。
临床实用性
临床有用性(Q9)在所有12个条目中显示出最高的优势比,均值从6.6(2.0)升至7.4(1.5)(OR,4.81;95% CI,3.24–7.15),其次为建议清晰度(Q11;OR,4.14;95% CI,2.95–5.83)、患者沟通适宜性(Q12;OR,3.45;95% CI,2.59–4.60)和临床决策支持(Q10;OR,2.64;95% CI,1.75–3.98)。放射科技师和医学生均在所有4个项目上显示出显著改善,放射科医生在Q9和Q11上显著改善。
协变量分析
专业组别对基线评分有影响,例如肿瘤科医生在完整性和建议清晰度等条目上的基线同意优势比显著高于医学生。经验或培训阶段与8个条目的同意概率正相关,而年龄则在4个条目上呈负相关,表明读者背景显著影响评分。
讨论与结论
本研究发现,LLM结构化的肿瘤CT报告在绝大多数评估维度上获得了高于传统自由文本报告的读者评分,尤其是在信息可寻性、临床有用性、建议清晰度和患者沟通适宜性方面。这与既往研究中结构化报告在肿瘤影像学中提升信息可及性和临床决策支持的结论一致。值得注意的是,放射科技师作为以往被忽视的群体,表现出最一致的正面评价,这可能源于结构化报告清晰、可预测的组织方式对他们导航信息能力的显著增强。相比之下,放射科医生的改善较为温和,可能与其对自由文本报告的更高熟悉度有关。肿瘤科医生未显示出统计学显著改善,这很可能受到小样本量和其较高的基线评分的限制。
研究人员强调,尽管结构化报告获得了更高评分,但这不能等同于LLM转换过程的准确性或安全性。所有结构化报告在调查前虽经放射科医生审核,但并未采用外部参考标准、盲法独立裁决或定量准确性终点。因此,更高的感知完整性和精确性不应被解读为转换过程无幻觉、遗漏或错误。本研究的局限性包括单中心便利样本、非随机化的固定序贯设计可能引入学习或期望效应、参与者无法对报告格式设盲、以及样本量限制了亚组分析的精度。
研究结论指出,LLM结构化的肿瘤CT报告在大多数评估维度上获得了比传统自由文本报告更高的读者评分,特别是在信息可寻性、建议清晰度和临床实用性方面。这些发现为质量控制下的LLM结构化报告提供了以读者为中心的初步证据,但并未建立转换准确性或自主使用的安全性。在临床实施前,仍需进行正式的源到输出验证以及前瞻性计划的多中心评估。