生成式人工智能(GenAI)赋能医疗中的叙事性认知替代(NCS)、技能演化与问责缺口:重获人类临床推理的以人为中心治理框架

《Frontiers in Public Health》:Reclaiming human clinical reasoning in generative AI-enabled healthcare: a perspective on cognitive agency, skill evolution, and accountability

【字体: 大 中 小 】 时间:2026年10月13日 来源:Frontiers in Public Health 4.1

编辑推荐:

  生成式人工智能(GenAI)和大语言模型(LLMs)正在将临床决策支持系统(CDSS)从传统离散预测转变为流畅、情境感知的临床叙述生成。尽管这些能力显著提升临床工作流程效率,但也引入独特认知挑战:高度流畅且看似合理的医学叙述可能重塑医师构建临床意义和作出分析性

  
生成式人工智能(GenAI)和大语言模型(LLMs)正在将临床决策支持系统(CDSS)从传统离散预测转变为流畅、情境感知的临床叙述生成。尽管这些能力显著提升临床工作流程效率,但也引入独特认知挑战:高度流畅且看似合理的医学叙述可能重塑医师构建临床意义和作出分析性判断的方式。本观点性论文引入叙事性认知替代(NCS)概念,并将其作为可检验的中层理论构念提出,用以描述当GenAI输出预先组织诊断推理和治疗路径时,人类认知从主动假设生成向被动回溯验证的假设性转变。研究人员进一步提出技能演化框架,刻画GenAI对医师胜任力的潜在影响,涵盖五种轨迹:增强(Augmentation)、重构(Restructuring)、去技能化(Deskilling)、未技能化(Never-skilling)和误技能化(Mis-skilling)。此外,研究人员分析由此产生的问责缺口(Accountability Gap):尽管算法输出日益嵌入临床决策,决策影响分布于临床医师、机构、开发者和部署者,但专业问责和最终决策权仍在形式上集中于个体医师。为应对这些系统性挑战,研究人员提出以人为中心的治理框架——作为需要前瞻性评估的设计假设——涵盖用户界面设计(嵌入风险自适应认知摩擦)、医学教育(建立有针对性的、受保护的AI-free推理练习(“Reasoning Cleanrooms”))和机构政策(实施实质性人类监督和算法警戒)。研究人员认为,数字健康治理的目标不应是最大化自动化,而应维护AI赋能医疗系统内的人类认知能动性、诊断警觉性和分层、分布式问责。
一、研究背景与问题。临床推理是复杂认知过程,涉及问题表征、假设生成、证据整合、不确定性管理和反思校准。临床胜任力不只依赖事实知识检索,而依赖医师在患者接触中构建、更新和校准内部心理模型。传统CDSS(临床决策支持系统)主要依赖规则逻辑或判别式机器学习,输出通常为离散风险评分、警报标志或数值概率,人机分工清晰。GenAI(生成式人工智能)及LLMs(大语言模型)将CDSS从离散预测转向流畅、情境感知的临床叙述生成,可直接合成诊断推理、鉴别诊断分析和结构化治疗计划。尽管可能提高文档和信息检索效率,但高度流畅、看似合理的医学叙述可能重塑医师构建临床意义和分析判断的方式;当AI在照护入口呈现逻辑连贯的临床叙述,可能在独立人类推理开始前预塑医师初始心理模型和诊断搜索空间。近期随机试验显示,医师访问LLM未显著改善诊断推理,而LLM单独表现优于两个医师组,且LLM自身表现类人认知偏倚。模型能力不会自动转化为人机协作推理改善。研究人员开展此项观点性研究,旨在考察叙述型CDSS的潜在认知影响,提出可检验、以人为中心的治理框架。

二、关键技术与方法。该研究为观点性论文,关键技术方法为概念分析与理论构建,综合认知心理学、医学教育、系统治理、自动化偏倚和AI监管文献。研究人员采用明确认识论标注,区分经验发现、外推和假设;提出中层理论构念NCS、技能演化框架、问责缺口分析和以人为中心治理框架;设计候选结局指标与研究议程,包括随机情景实验、对照实验、纵向队列、撤除试验、模拟评估、前瞻性实施研究、卫生服务研究和算法警戒。无原始临床样本队列来源。

三、研究结果。1 引言:研究人员指出临床推理与临床胜任力形成依赖内部心理模型的构建、更新和校准,传统CDSS目标应增强决策准确性并保留人类认知参与和监督。2 认知范式转变:从信息检索到叙事性认知替代。通过概念分析,研究人员提出认知卸载可优化工作记忆,但当外部系统承担综合证据、生成鉴别诊断和制定治疗计划等核心责任时,可能演变为认知委托。GenAI的叙述流畅性可能放大自动化偏倚,高处理流畅性可能优先激活System 1(直觉快速加工)并减少System 2(分析审慎加工)验证。NCS被提出为可检验的中层理论构念,描述当流畅、行动导向AI叙述预先组织诊断假设、因果解释和管理计划时,人类认知从主动自下而上意义构建转向对外生框架的被动回溯验证。NCS不是新认知架构,而是配置假设:自动化偏倚、锚定、过早闭合和确认偏倚被重组并前置到推理框架阶段。其相对区分在于锚由AI外生提供且先于独立推理,影响单元是整个诊断叙事。若NCS发生,应表现为独立假设广度收缩、向AI框架趋同、反事实推理减弱、对故意错误AI建议检测下降、AI撤除后暂时表现受损。识别需三条件:AI叙述先于独立假设生成;叙述完整预组织假设、因果解释和管理计划;有人类优先对照。3 AI赋能医疗的技能演化框架。研究人员提出五轨迹:增强(GenAI卸载低级数据提取和综合,释放工作记忆用于复杂判断、患者沟通和多重疾病管理);重构(核心胜任力从死记硬背转向批判验证、情境调整和伦理监督);去技能化(长期依赖AI预构叙述框架,经验医师无AI时独立诊断推理和假设生成逐渐下降);未技能化(AI绕过独立诊断综合的认知挣扎,受训者和初级医师未内化稳健临床心理模型);误技能化(不加批判内化算法训练集中的潜在偏倚、虚构因果链或非标准实践模式)。五类非单一连续体,影响技能获得、维持或扭曲,可共存。轨迹受基线专长、AI暴露时长强度、任务复杂、委托程度和可逆性调节。现有去技能化和未技能化证据多来自概念论证、横断面观察和模拟研究,缺纵向临床有意义能力丧失证明。研究人员假设人类优先工作流可能保护独立认知能力,AI优先可能随时间侵蚀技能;经验医师主要关注去技能化,受训者关注未技能化。4 分布式责任与问责缺口。法律伦理问责取决于司法管辖区、监管分类、预期用途、部署方式、过失和产品责任标准、合同安排和因果贡献。GenAI嵌入照护路径后,决策影响分布于开发者、提供者、部署者、医院管理者和临床终端用户。研究人员区分五层责任:专业问责、伦理责任、组织责任、监管义务和法律责任;并区分人类控制、人类监督和最终决策权威。三大断层:透明性缺口,黑箱和非确定性生成使医师难以追踪叙述建议的临床依据,但不可检查参数不等于缺乏临床有用透明性,关键是临床来源、证据可追溯性、生成依据、模型局限和预期用途文档;控制缺口,医师形式上保留最终决策权,但预构叙述可能缩小实际搜索空间;归因缺口,不良事件时在算法缺陷、部署协议和监督实践间分配责任极复杂且依赖司法管辖区。责任悖论:专业问责和最终决策权形式上集中于个体医师,而认知输入由医师未设计、不能完全检查、不能单方治理的系统塑造。EU AI Act(欧盟人工智能法案)第14条对高风险AI系统要求提供者设计有效监督,部署者分配合格人员和资源,但不统一适用所有生成AI;若决策影响分布式,问责应分层分布式。5 以人为中心的多层次治理框架。干预应视为设计假设,需前瞻性实证检验。5.1 界面治理:风险自适应认知摩擦。HCI(人机交互)设计应避免无缝、无摩擦超自动化。嵌入认知摩擦可能促进System 2分析评估:证据映射,将叙述结论链接到原始EHR数据或权威指南;不确定性可视化,标明缺失数据、校准不确定性、关键主张来源和证据强度、模型局限;强制性人类控制点,要求医师在显示AI建议前记录独立初步诊断印象。但强制输入可能强化初始锚定、诱发表面合规和增加工作流负担,效果取决于专长、任务复杂、临床风险、时间压力和界面设计。认知摩擦应风险自适应:急诊高 stakes 需低干扰高显著性保障而非更长摩擦;常规诊断和复杂查房可用更多认知摩擦。5.2 教育治理:保护独立心理模型。医学教育应确保学生在依赖GenAI临床推理前建立稳健内部临床心理模型。提出“Reasoning Cleanrooms”(推理洁净室)作为受保护AI-free推理练习:无AI形成性练习、选定轮转和模拟课程、定义的能力评估,受训者须在无AI辅助下完成从原始数据到假设形成全过程。不是全面禁止AI,而是定时保护推理过程。中高级培训引入AI叙述审查、幻觉识别和算法偏倚审计;定期AI-off练习帮助评估和维持系统中断或极端边缘情况下的临床胜任力。5.3 机构治理:实施实质性人类监督。机构须制定政策,确保高风险临床AI的人类监督是实质性而非敷衍。端到端审计日志记录AI输出、模型版本、医师修改和最终医嘱,支持部署后监测和问责,符合算法警戒框架。注意互动时长不是实质性监督有效代理,长会话可能反映橡皮图章;广泛监测本身有临床医生监视、隐私、工作量和防御性实践风险,须权衡和明确治理。6 从个体认知到系统级后果。若假设机制大规模运作,后果超出个体医师至卫生系统公共卫生能力:劳动力胜任力,AI优先环境中训练和执业队列可能形成不同分布胜任力;诊断变异,大量医师在AI生成框架内推理可能导致伪同质化,表面一致但继承模型系统偏倚和盲点;公平,LLM可编码和放大对代表性不足人群的偏倚,叙述层面影响可能传播诊断彻底性差异和患者安全差异;系统韧性,工作流预设AI支持的机构须在模型失败、中断或分布漂移时保留安全照护能力。认知能动性是人群级资产和安全数字公共卫生基础设施前提。这些系统级后果仍为前瞻性假设。7 面向实证验证的研究议程。研究人员提出围绕可测量结局的研究议程。优先问题:持续AI暴露后独立假设生成是否收缩;AI优先与人类优先工作流下鉴别广度和校准是否不同;临床医生是否检测故意错误AI建议;暂时AI撤除后表现如何变化;认知摩擦界面和Reasoning Cleanrooms是否改善下游患者安全结局且不造成不可持续认知或工作流成本。需临床推理研究者、人因专家、教育者和治理学者合作。

四、讨论总结与结论翻译。讨论部分将个体认知机制外推到系统级后果,并提出实证验证议程,强调这些主张主要为假设,需专门实证研究。治理干预作为设计假设,需前瞻评估其效果和意外后果。结论部分翻译:生成式AI是临床决策支持演进的里程碑,但基于叙述的输出也引入尚未被充分表征的认知挑战。通过创造高处理流畅性,GenAI可能触发叙述性认知替代并重塑临床推理发生机制。数字健康治理的最终愿望不应是追求完全自动化,而应是在AI辅助时代持续维护人类认知能动性、诊断警觉性和分层、分布式问责。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号