人机协同强化学习在个性化与适应性干预中应用于健康与医疗领域:一项系统文献综述

《International Journal of Medical Informatics》:Human-in-the-loop reinforcement learning for personalized and adaptive interventions in wellness and healthcare: A systematic literature review

【字体: 大 中 小 】 时间:2026年10月12日 来源:International Journal of Medical Informatics 5.0

编辑推荐:

   摘要 背景 强化学习(RL)正作为一种有前景的技术出现,支持个性化和自适应的临床干预。这得益于其建模顺序决策和从纵向数据中学习的能力。RL 的部署在可解释性和集成到临床工作流程方面提出了挑战。这些担忧引发了对人在回路(human-in-the-loop)方法的兴趣,在这种方法

  

摘要
背景
强化学习(RL)正作为一种有前景的技术出现,支持个性化和自适应的临床干预。这得益于其建模顺序决策和从纵向数据中学习的能力。RL 的部署在可解释性和集成到临床工作流程方面提出了挑战。这些担忧引发了对人在回路(human-in-the-loop)方法的兴趣,在这种方法中,个体在实际或预期中保留角色,然后在 RL 支持的决策影响护理之前发挥作用。然而,RL 在医疗保健中的应用仍然分散且标准化程度低。因此,对文献进行系统综述是及时的,以识别当前状态、方向、挑战和研究空白。

方法
根据 PRISMA 指南报告了一项系统综述。检索了 ScienceDirect、Scopus、PubMed、IEEE Xplore 和 Web of Science 数据库截至 2026 年 1 月 21 日可用的所有记录,涵盖将 RL 应用于医疗保健和保健领域的个性化干预的研究,并包含“人在回路”概念。提取的信息包括疾病、应用、RL 方法、数据集维度、与其他技术的集成以及性能评估策略。

结果
41 篇论文符合纳入标准并进行了详细检查。RL 主要发现于医疗保健而非保健领域,特别是在 2 型糖尿病和其他慢性病以及重症监护环境中,决策过程的顺序性质在其中起着重要作用。数据结构和信息差异很大,造成了重大的可比性挑战。方法论在算法和评估指标上显示出强烈的异质性,限制了可重复性和可推广性。从疾病关注点来看,尽管心血管疾病是全球死亡的首要原因,且自适应决策在心血管疾病管理中具有潜在价值,但心血管疾病应用仍代表性不足。

结论
RL 提供了利用顺序数据个性化治疗和优化临床决策流程的机会。然而,缺乏共享的方法学标准、模型描述的透明度以及前瞻性研究数量有限构成了其采用的重大障碍。总之,需要更好的记录数据集、可比指标和前瞻性评估来建立临床有效性并支持未来实施。

引言
过去几十年,医疗保健的重点从“一刀切”方案转变为高度个性化的护理干预。最初,个性化意味着为每位患者选择最合适的干预措施,但自 2000 年代初以来,这一概念已演变为包括随时间动态调整干预措施,以适应每位患者不断变化的需求和健康轨迹,这代表了迈向个性化医疗保健的一大步 [1], [2], [3], [4]。自适应干预通常被称为动态治疗策略(DTRs),通过整合反馈机制来扩展个性化的概念,允许根据人员持续状态的进展来修改和调整健康相关干预 [5], [6], [7], [8]。DNA 测序的突破、先进的成像、连续监测可穿戴传感器、电子健康记录(EHRs)的采用和使用,以及计算和数据资源的大幅增加,推动了这一转变 [9]。因此,收集大量的纵向和多模式信息承诺了将原始数据转化为可操作信息的非凡机会,例如患者/用户特定见解、预见疾病轨迹或健康或不健康的生活方式行为 [10]。

但实现自适应的潜力需要开发能够分析所有可用数据的方法。计算能力的增加和人工智能(AI),特别是机器学习(ML)技术的快速进步,在医疗保健中开辟了新前沿 [11], [12], [13]。传统上,医疗保健中的 ML 应用依赖于监督学习和无监督学习。监督学习使用标记数据集训练模型以执行诊断或风险预测等任务,而无监督学习通常用于数据探索和聚类,在没有标记数据的情况下使用。ML 的另一个分支,强化学习(RL),为在复杂、动态演变的环境中优化决策提供了一个数学基础框架 [14]。RL 引入了一个与动态环境交互的智能体的概念,主要目标是学习最优行动策略。智能体根据环境的当前状态选择行动,并收到反映所做决策质量的奖励或惩罚。重复此周期,系统学会随着时间的推移最大化累积奖励,发展出能够优化决策过程的自适应策略,即使在不确定条件下也是如此 [15], [16]。自适应干预,包括动态治疗策略,提供了一个随时间调整个性化干预的框架,而 RL 代表了一种计算方法,用于根据环境的反馈优化顺序决策和行动以达到特定的量化目标。

这使得 RL 对于需要动态治疗调整和长期健康管理的干预具有潜在价值。事实上,RL 已出现 [17] 作为一种有前景的方法,用于开发自适应、个性化的医疗保健模型,并且可能特别适用于顺序决策任务,其中必须根据环境反馈随时间优化行动。在这种背景下,人在回路 [18] 的概念起着核心作用,它表明临床决策过程并不完全依赖于 RL 智能体:临床医生、患者或用户参与最终决策。这超越了被动接收建议,尽管人类参与不一定影响智能体的学习过程。这种方法可能会提高临床接受度和伦理监督,特别是在医疗保健这样的领域。

先前的综述检查了 RL 在医疗保健中的使用,重点并局限于特定的临床领域、护理环境或应用领域,如肿瘤学、心理健康、血糖控制和重症监护 [19], [20]。虽然这些贡献提供了有价值的见解,但它们并没有提供跨越医疗保健和保健领域的基于 RL 的个性化干预的广泛综合。此外,许多综述将 RL 包含在更广泛的 ML 分析中,但没有将其作为综述的主要主题 [21], [22], [23], [24], [25], [26], [27]。因此,仍然需要一项全面和系统的综述来综合 RL 在医疗保健中的当前状态,识别机会和挑战,并给出建议,特别关注其在启用自适应和个性化干预中的作用,并将人在回路维度作为纳入标准,以识别个体仍然参与决策过程的研究。

本文的目标是展示医疗保健和保健领域用于个性化治疗的 RL 应用现状,并识别缺失的内容和需要进一步研究的领域。为此,我们定义了以下研究问题(RQs):
RQ1: 人在回路强化学习如何应用于医疗保健以进行个性化治疗?
RQ2: 医疗保健中用于个性化治疗的强化学习使用哪些数据和数据集?
RQ3: 开发了哪些方法来利用医疗保健中用于个性化治疗的强化学习?
RQ4: 在医疗保健中用于个性化治疗的人在回路强化学习的应用中,哪些领域和方面是主要的和代表性不足的,以及哪里需要进一步研究?

本文其余部分如下:第 2 节描述了进行文献综述所采用的方法。第 3 节展示了文献中当前研究的分析,识别主要研究趋势。第 4 节讨论了调查结果,强调 RL 在医疗保健中的优势、当前局限性以及研究空白,概述了 RL 基础个性化和自适应干预在医疗保健中的可能未来方向,第 5 节提供了结论。

章节片段
综述方法
为了执行满足医学综述标准的完整且可重复的分析,我们应用了系统综述和荟萃分析 preferred 报告条目(PRISMA)方法 [28], [29]。尽管综述未前瞻性注册,但在筛选开始前已定义并固定了纳入和排除标准以及数据提取框架。资格标准考虑了截至 2026 年 1 月 21 日发布的所有论文,英文撰写,开放获取论文和

文章筛选与选择
识别、筛选和选择的完整过程如图 1 所示。通过表 1 中显示的搜索查询找到了 847 项研究。经过标题摘要和全文评估筛选后,最终有 41 篇论文符合预定义的资格标准(附录 B)。498 条记录被排除,因为它们不符合一项或多项资格标准,特别是人在回路标准,这是本次综述纳入的基本要求。

讨论
RL 越来越多地用于医疗保健和保健领域,其中各种方法已应用于不同的干预和疾病。分析显示了一个复杂的结果群体,解决了研究问题,详细情况如下。
RQ1: 我们确定了两个主要宏观领域:保健和医疗保健。在 41 项纳入研究中,13 项专注于保健应用,28 项专注于医疗保健。虽然本次综述未直接检查这一点,但这可能解释为

结论
文献综述强调了当前对医疗保健领域强化学习的兴趣,同时表明该领域仍处于巩固阶段。识别出的应用确认了 RL 的潜力,特别是对于个性化临床决策。然而,数据集、评估指标和实现的异质性限制了跨研究比较和临床结果,政策一致性,以及奖励优化不应被解释为直接证据的

生成式人工智能使用声明
在本工作准备期间,作者使用了 Copilot 来协助起草文本、改善清晰度和结构以及完善学术语言。作者根据需要审查和编辑了输出,并对已发表文章的内容承担全部责任。

CRediT 作者贡献声明
Miriana C. Torquati: 撰写 – 原稿,可视化,方法学,调查,正式分析,概念化。
Pedro A. Moreno-Sánchez: 撰写 – 审查与编辑,监督,方法学,调查。
Mark van Gils: .

利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文报告中所述的工作。

致谢
不适用。

Miriana C. Torquati | Pedro A. Moreno-Sánchez | Mark van Gils
坦佩雷大学医学与健康技术学院,芬兰坦佩雷 33720
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号