《Journal of International Medical Research》:Assessing the accuracy of ChatGPT-5.6 in American College of Radiology Thyroid Imaging Reporting and Data System feature scoring and classification from synthetic free-text thyroid ultrasound reports
编辑推荐:
目的:美国放射学会甲状腺影像报告和数据系统(American College of Radiology Thyroid Imaging Reporting and Data System,ACR TI-RADS)基于预定义的超声特征,为甲状腺结节风险分层提供了
目的:美国放射学会甲状腺影像报告和数据系统(American College of Radiology Thyroid Imaging Reporting and Data System,ACR TI-RADS)基于预定义的超声特征,为甲状腺结节风险分层提供了标准化框架。本研究旨在评估ChatGPT-5.6 Sol在从合成自由文本超声报告中提取并评分ACR TI-RADS特征以及进行甲状腺结节分类方面的准确性与稳健性。
方法:构建了包含100份合成甲状腺超声报告的主要数据集,每份报告描述1个结节及5个ACR TI-RADS特征类别。研究人员采用结构化提示策略评估ChatGPT-5.6 Sol在特征识别、特征评分、总分计算及最终TI-RADS分类中的表现,并测试了一种非直接提示用于总分计算和最终分类。进一步使用30例在TR1至TR5间均衡分布的合成挑战集评估稳健性。研究将输出结果与基于2017年ACR TI-RADS标准的参考标注进行比较,采用Wilson 95%置信区间报告准确性,并使用Cohen's kappa评估最终类别一致性。
结果:在主要数据集中,每个ACR TI-RADS特征类别的特征识别与评分准确性均为100.0%(100/100;95%置信区间:96.3%–100.0%)。总分计算和最终分类在所有病例中也均正确(100/100;95%置信区间:96.3%–100.0%),Cohen's κ为1.000。在挑战集中,30例病例的特征识别、特征评分、总分计算和最终分类均全部正确(30/30;95%置信区间:88.6%–100.0%),Cohen's κ为1.000。非直接提示在两个数据集中产生的总分和分类准确性与结构化提示完全一致,无不一致病例。
结论:ChatGPT-5.6 Sol在两个合成数据集中均表现出高准确性及一致的基于ACR TI-RADS的分类能力。大语言模型在自由文本超声报告的标准化TI-RADS解读方面可能具有潜力;但仍需在更大规模、更多样化的环境中进行进一步验证,以确定其泛化性。
论文解读
一、研究背景与意义
高频超声的广泛应用使无症状成人中甲状腺结节的检出率显著升高,部分人群中患病率超过60%。尽管绝大多数结节为良性,但准确的风险分层对于确定哪些结节需要进一步干预、哪些可以安全观察至关重要。美国放射学会甲状腺影像报告和数据系统(American College of Radiology Thyroid Imaging Reporting and Data System,ACR TI-RADS)提供了一种结构化的基于分值的框架,旨在标准化甲状腺结节的超声评估,并支持一致且循证的临床决策。该系统对五个关键超声特征,包括成分、回声、形态、边缘和回声灶,根据其与恶性风险的相关性赋予加权分值,总分决定TI-RADS类别(TR1至TR5),并对应细针穿刺活检、影像随访或无需进一步处理等管理建议。
大语言模型(Large Language Models,LLMs)在医学教育、临床病例分析和诊断支持等领域日益受到关注。在医学影像和临床报告处理方面,LLMs已被探索用于处理自由文本报告,包括检测事实或逻辑不一致、依据临床指南标准化叙述内容以及简化报告语言等。既往多项研究探讨了LLMs从自由文本超声描述中提取ACR TI-RADS相关超声特征并辅助甲状腺结节分类的能力,但各研究间性能差异较大,表明从叙述性报告中实现可靠的TI-RADS分类仍具挑战。多模态LLMs在甲状腺超声图像直接分析方面也已被评估,但图像分类和TI-RADS评估任务中的表现不一。因此,需要进一步评估更新版本LLMs在基于TI-RADS分类非结构化叙述性甲状腺超声报告方面的准确性和稳健性。
二、研究内容与主要结论
本研究旨在评估ChatGPT-5.6 Sol在从合成自由文本超声报告中提取和评分ACR TI-RADS特征以及进行甲状腺结节分类方面的准确性和稳健性。研究结果显示,ChatGPT-5.6 Sol在主要数据集的全部100例病例中,特征识别、特征评分、总分计算和最终分类均全部正确,模型分配与参考TI-RADS类别完全一致。在包含30例病例的挑战集中,各评估层面的准确性同样达到100%。提示敏感性分析显示,结构化提示和非直接提示策略在总分计算和最终分类方面均达到100%准确性,无不一致病例。该研究结果表明,ChatGPT-5.6 Sol在结合超声描述解读与基于规则的TI-RADS评分任务中表现优异,为叙述性超声报告的标准化后处理提供了潜在工具。
三、关键技术方法
研究人员构建了100份中文合成自由文本超声报告作为主要数据集,每份报告描述单个甲状腺结节并包含ACR TI-RADS定义的五个超声特征类别。报告由具有10年临床经验的放射科医师撰写,并由超过20年经验的高级超声专家审核。参考标注依据2017年ACR TI-RADS标准建立,记录五个特征类别、对应分值、总分和最终TI-RADS类别。另构建了30例合成挑战集,TR1至TR5每类各6例,纳入非标准或同义术语、缩写、额外非TI-RADS临床信息及并发回声灶等情况。研究通过ChatGPT界面使用ChatGPT-5.6 Sol进行分析,采用结构化提示程序,包括确认模型熟悉ACR TI-RADS系统、标准化任务指令及输入原始中文报告;同时测试非直接提示用于总分计算和最终分类。统计分析使用Python 3.14.6,采用Wilson评分法估计95%置信区间,Cohen's kappa评估类别一致性,McNemar检验进行提示敏感性配对比较。
四、研究结果
- 1.
数据集特征:主要数据集中50%结节为实性或几乎完全实性,32%为混合囊实性;80%结节为横径大于纵径,61%边缘光滑;低回声和极低回声结节分别占50%和24%。TI-RADS类别分布为TR1占18%、TR2占4%、TR3占8%、TR4占45%、TR5占25%。挑战集包含30例合成报告,TR1至TR5每类各6例。
- 2.
特征识别与评分准确性:ChatGPT-5.6 Sol在成分、回声、形态、边缘和回声灶五个特征类别的识别准确性均为100.0%(100/100;95%置信区间:96.3%–100.0%),各特征类别的评分准确性同样均为100.0%。
- 3.
总分与最终分类准确性:全部100份报告的总TI-RADS评分计算均正确(100/100;100.0%;95%置信区间:96.3%–100.0%),最终TI-RADS分类也全部正确,Cohen's κ为1.000。各参考类别内均实现完全正确分类。
- 4.
挑战集表现:在30例挑战集中,五个ACR TI-RADS特征类别的识别和评分准确性均为100.0%(30/30;95%置信区间:88.6%–100.0%),总分计算和最终分类也全部正确,Cohen's κ为1.000。
- 5.
提示敏感性分析:在主要数据集中,结构化提示和非直接提示在总分计算和最终TI-RADS分类方面均达到100.0%准确性,挑战集中两种提示策略下准确性同样为100.0%,无不一致病例。
五、讨论与结论
既往研究显示LLMs在甲状腺超声报告解读中的性能不一,如ChatGPT-3.5与检查者分配的TI-RADS类别一致性仅为42%,ChatGPT-4.0虽能将非结构化超声文本转化为结构化报告但仍产生分类错误和幻觉内容。本研究观察到的高一致性可能不仅与模型能力进步有关,也与任务性质相关:每份报告均包含ACR TI-RADS评估所需的超声信息,一旦相关描述被正确解读,分值分配、总分求和和类别判定即遵循明确的评分算法。这种语言解读与基于规则评分的组合可能特别适合当前LLMs的能力。研究结果最直接适用于超声报告解读后标准化环节,即超声特征以叙述形式记录后,LLM可提取相关描述、分配标准化TI-RADS评分并生成对应类别,有助于将叙述性报告转化为结构化数据、评估评分-类别一致性及标准化报告。
研究存在一定局限性:主要数据集和挑战集均为合成数据,主要报告包含ACR TI-RADS评估所需的完整超声特征描述,未系统评估缺失、冲突或模糊特征信息的报告;TI-RADS类别分布不均,TR2和TR3病例较少;仅评估单一LLM,未与其他当代模型进行头对头比较或重复独立运行以评估输出可重复性。需要在更大规模、包含更多异质性报告风格、不完整或模糊描述以及真实临床报告的研究中进一步验证。
结论:ChatGPT-5.6 Sol展示了将叙述性甲状腺超声描述一致地转化为标准化ACR TI-RADS评估的能力,且在报告复杂性和提示策略变化下性能保持稳定。当相关信息以文本形式可获得时,当前LLMs可能非常适合结合超声描述解读与基于规则的TI-RADS评分任务。仍需在更大规模和更多样化的真实世界临床数据集中进一步评估该方法的泛化性和实用价值。