《Anaesthesia and Intensive Care》:Trustworthy AI in intensive care: From model performance to clinical decisions
编辑推荐:
自然语言界面(Natural-language interfaces)显著提升了临床人工智能(AI)的可及性。临床医生无需专业编程技能即可查询电子病历、检索相关信息并总结复杂病史。在重症监护(intensive care)中,这些能力极具吸引力,因为危重症会产
自然语言界面(Natural-language interfaces)显著提升了临床人工智能(AI)的可及性。临床医生无需专业编程技能即可查询电子病历、检索相关信息并总结复杂病史。在重症监护(intensive care)中,这些能力极具吸引力,因为危重症会产生大量异质性数据,包括生理测量值、实验室结果、影像学、微生物学、治疗记录及多学科文档。
然而,技术能力并不保证临床实用性。重要信息可能被遗漏,矛盾发现可能被忽视,输出可能因过于迟缓而无法影响治疗决策。回顾性数据集上的性能表现,也仅能为系统在繁忙重症监护病房(ICU)中的实际运行提供有限证据——在真实环境中,数据不完整、工作流程多变且决策必须迅速作出。
Cui及其同事在本期期刊发表的范围综述(scoping review)对成人重症监护中的基础模型(foundation models)进行了及时评估。其最重要的发现并非大语言模型(LLMs)、检索增强生成(RAG)或混合架构的出现,而是支撑这些模型的证据基础尚不成熟。在64项实证研究中,90.6%仍处于内部回顾性验证阶段;仅6.3%报告了外部验证,仅有两项研究在活跃的临床工作流程中接受了前瞻性评估。鉴于SPIRIT-AI和CONSORT-AI等AI专项试验报告框架已可用,重症监护前瞻性评估的稀缺尤为显著。这些框架旨在提高AI干预临床评估的质量、透明度和可重复性。因此,大多数ICU基础模型研究(包括许多为高风险应用提出的混合及RAG系统)仍处于概念验证阶段,而非构成经临床验证的实践。
该综述还表明,这一验证差距不仅限于独立LLM。即使是常被提议作为高风险临床应用更安全架构的混合系统和检索增强系统,也极少超越回顾性评估。因此,ICU人工智能面临的主要挑战并非开发新模型,而是将有前景的系统转化为临床可信赖的工具。
在本篇社论中,研究人员提出缩小这一转化差距的四项优先事项:从临床决策出发、界定各系统组件的角色、保留未解决的不确定性、将患者表示为演化的临床状态。这些原则共同将关注重点从模型性能转向实际临床效用。
一、研究背景与问题
重症监护(intensive care)中的危重症患者会产生大量异质性临床数据,涵盖生理测量、实验室结果、影像学、微生物学、治疗记录及多学科文档。自然语言界面(natural-language interfaces)的进步使临床医生无需编程技能即可查询电子病历、检索信息并总结复杂病史,显著提升了临床人工智能(AI)的可及性。然而,技术能力并不等同于临床效用:重要信息可能被遗漏、矛盾发现可能被忽视、输出可能因延迟而无法影响治疗决策。此外,回顾性数据集上的性能验证仅能提供有限证据,无法反映系统在数据不完整、工作流程多变且需快速决策的真实ICU环境中的表现。Cui及其同事发表的这项范围综述(scoping review)对成人重症监护中的基础模型(foundation models)研究进行了系统评估,其核心发现并非各类新架构的出现,而是支撑这些模型的证据基础极不成熟——在64项实证研究中,90.6%仍停留在内部回顾性验证阶段,仅6.3%报告了外部验证,仅有两项研究在活跃临床工作流程中接受前瞻性评估。这一验证差距同样延伸至混合系统和检索增强生成(retrieval-augmented generation,RAG)系统——这些常被视为高风险临床应用更安全架构的方案,也极少超越回顾性评估阶段。因此,ICU人工智能面临的核心挑战不在于模型开发,而在于将有前景的系统转化为临床可信赖的工具。
二、研究内容与主要结论
针对上述转化差距,研究人员在社论中提出四项优先原则:第一,从临床决策出发,而非从可用数据集出发寻找应用场景;第二,明确界定混合架构中各组件的职责分配;第三,保留临床证据中未解决的不确定性而非加以掩盖;第四,将患者表示为随时间演化的临床状态而非静态观察集合。这些原则共同将评估重点从模型性能转向实际临床效用。研究的重要意义在于指出:临床医生实施的并非预测,而是决策;AI的成功标准应由预测准确性转向决策是否更及时、更恰当、更符合证据并最终改善患者结局。
三、关键技术方法
该研究为社论性综述,未开展原始实验。其方法论基础为Cui等人进行的范围综述,该综述采用双轴分类法(dual-axis taxonomy):一方面按底层模型类型将基础模型分类为生成式大语言模型(generative LLMs)、临床编码器语言模型(clinical encoder language models)、组合方法或非文本基础模型;另一方面按系统架构分类为独立系统(standalone)、检索增强系统(retrieval-augmented)或混合系统(hybrid)。数据主要来源于已发表文献,其中回顾性数据集以MIMIC(重症监护医疗信息集,Medical Information Mart for Intensive Care)为主。
四、研究结果
综述的贡献:Cui等人识别的应用涵盖诊断与治疗决策支持、临床自然语言处理、预测分析和ICU运营管理。综述采用双轴分类法,同时分类底层基础模型与嵌入的更大系统架构。这一区分至关重要,因为临床AI系统很少是单一模型——混合系统可能将LLM与传统预测模型、基于规则的协议或特定模态的图像与波形分析工具相结合。综述揭示了一种模式:混合架构更常应用于高风险诊断和预测任务,而独立LLM在总体上仍占主导。然而,支持任一方法的证据仍然有限。该领域仍严重依赖回顾性数据集,多中心、前瞻性或基于工作流程的评估极为匮乏。
可信赖ICU人工智能的四项优先事项:
从临床决策出发:许多AI项目始于可用数据集再寻找临床应用,更有效的方法应从需要支持的决策出发。研究者应明确谁将使用系统、何时需要输出、当时可获得哪些信息以及预期应采取的后续行动。假阳性和假阴性输出的后果也应在模型开发前加以规定。例如,支持从无创通气升级为有创通气的系统,应在实际临床决策窗口内评估,而非在任意选定的预测时间点。其价值可能不在于推荐插管,而在于促使更早的重新评估。审查时间、后续行动的适当性和警报负担可能比单纯死亡率更有意义的结局指标。
界定各组件的角色:混合架构的安全性不仅取决于架构本身,更取决于分配给各组件的职责。生理波形、医学影像、药代动力学计算和安全约束可能更适合由专门模型或确定性规则处理。明确的禁忌症、过敏检查和剂量限制通常应通过结构化逻辑而非开放式文本生成来执行。LLM在检索机构指南、组织信息和传达发现方面最为有用,但检索并不能消除错误——不正确的来源选择、不完整的检索和对建议的不当应用仍是重要风险。系统应明确如何管理不确定性、缺失数据及组件间的分歧。
保留未解决的不确定性:综述将幻觉(hallucination)、可解释性和临床医生信任列为主要实施障碍。临床决策常涉及不确定、不完整、矛盾或演化的证据,AI系统应保留这种不确定性而非加以掩盖。例如,乳酸浓度下降伴随血管加压药需求增加,应作为需要解读的矛盾信息呈现,而非自动总结为改善。同样重要的是,系统有时应放弃作答——当证据不足或矛盾时,请求临床审查可能优于生成自信但可能误导的建议。未来评估不仅应考察区分度和校准度,还应考察弃权的频率、适当性和后果。
将患者表示为演化的临床状态:危重症是动态过程,但许多现有系统实际上将病历视为静态观察集合。有临床意义的表示应区分当前发现与历史信息、活跃治疗与已停用疗法、缺失数据与已记录的阴性结果。不仅应保留发生了什么,还应保留何时发生以及临床医生何时获得该信息。数小时前适当的治疗在微生物学结果、器官功能变化或意外生理反应出现后可能需要重新考虑。语言界面可帮助临床医生探索这些演化轨迹,但底层表示必须可追溯到源数据并保留时间关系。
五、讨论与结论
讨论部分总结:研究人员将上述原则转化为两类临床应用。第一类是跨学科知识支持——管理危重症患者常需重症医学、感染病学、微生物学、药学、放射学和外科学等多学科专业知识,AI系统可帮助临床医生检索验证过的指南、识别相关专科资源并识别何时需要正式会诊。当问题具有患者特异性、证据有限或管理具有重大风险时,必须保留直接会诊和临床医生责任,AI的作用应是改善专业知识可及性而非替代。第二类是脓毒症(sepsis)中纵向感染-宿主反应再评估——脓毒症需要反复评估感染控制、抗微生物药物暴露、器官功能障碍和宿主反应。持续性恶化可能反映感染源控制不足、抗微生物药物暴露不足、无菌性炎症或免疫失调。AI可通过在统一时间框架内整合这些多样信息流,并识别当前解读何时应被重新考虑,来辅助临床医生。近期一种结合结构化预测模型与RAG支持的LLM的混合系统证明了技术可行性,但其临床获益尚未得到证实。
结论翻译:综述的发现表明,评估方式可能需要更广泛的转变。传统上,验证侧重于预测性能,但临床医生实施的并非预测而是决策。关键问题因此在于AI是否以改善患者照护的方式改变决策。未来研究应评估AI支持的决策是否更及时、更恰当、更符合证据并与改善结局相关。成功指标可能包括再评估时间、临床行动的适当性、警报负担、可用性、临床医生信任和以患者为中心的结局,而非仅预测准确性。因此,ICU人工智能的下一阶段应更少聚焦于开发新模型,更多聚焦于证明临床价值。系统应围绕特定决策设计、为其组件分配明确角色、保留不确定性并将患者表示为演化的临床状态。证明临床价值还需要健全的治理、持续的安全监测和AI支持决策的明确问责。最终目标不是更好的预测而是更好的决策。ICU人工智能的成功将不由模型性能单独决定,而取决于其改善临床效率、工作流程表现、决策质量和患者结局的能力。