用于磁共振引导经尿道超声消融的嵌入式模仿学习深度强化学习控制器:仿真与仿体验证
《Artificial Intelligence in Medicine》:Imitation learning-embedded deep reinforcement learning controller designed for MRI-guided transurethral ultrasound ablation: Simulation and phantom validation
【字体:
大
中
小
】
时间:2026年10月14日
来源:Artificial Intelligence in Medicine 7.8
编辑推荐:
• 首款兼容MRI的IL-DRL超声热消融控制器
• BC初始化加速DRL收敛并防止陷入局部最优
• 实现超过97%的单层消融精度和治疗速度提升30%
引言
传统的前列腺治疗手段,如放射治疗和手术,往往导致高并发症率和较长的恢复时间[[1], [2], [3]]。因此,开
• 首款兼容MRI的IL-DRL超声热消融控制器
• BC初始化加速DRL收敛并防止陷入局部最优
• 实现超过97%的单层消融精度和治疗速度提升30%
引言
传统的前列腺治疗手段,如放射治疗和手术,往往导致高并发症率和较长的恢复时间[[1], [2], [3]]。因此,开发更安全有效的替代方法日益受到关注。尽管基于能量的疗法(如冷冻治疗[4]、光热消融[5]和射频消融[6])取得了进展,但在精确地将治疗能量局限于前列腺病变区域同时保护健康组织方面仍然面临重大临床挑战。MRI引导的间质超声消融被提出作为一种精确的影像引导替代方案,用于前列腺靶向治疗[7],具有在实时MR热成像反馈下输送空间可控热能的潜力。这种先进技术整合了三个关键组成部分:(1) 用于实时温度可视化的MRI系统,(2) 用于精确能量输送的间质超声换能器,(3) 能够实现温度反馈控制的闭环消融控制器[8]。临床医生经尿道插入换能器,该换能器随即将空间可控的超声能量输送到目标前列腺组织。同步的MRI热成像提供实时温度映射,使闭环控制器能够动态调节超声输出以实现精确消融。这种方法实现了与前列腺病变适配的超声能量输送,同时保护健康组织,从而可能提供更优越的治疗疗效和安全性。
超声换能器和温度反馈控制策略是MRI引导间质超声消融实现的两个关键组成部分。对于前者,已经开发了多种换能器,如机械旋转的线性阵列[9]、扇形管状阵列[10],或具有电子波束偏转能力的微型化二维相控阵[11]。然而,这些换能器通常仅在一个或两个工作频率下运行。消融区域几何形状表现出强烈的频率依赖性,较低频率(例如1–3 MHz)可实现更深穿透(>3 cm),但因声吸收降低而产生更窄的病变;相反,较高频率(5–10 MHz)产生更宽但更浅的消融区域。这种基本的权衡意味着仅靠离散频率选择无法实现不规则肿瘤几何形状的最优符合度。在我们近期的研究中[12],提出了一种基于非对称背衬层的多频超声换能器,该换能器展示了五种工作频率和对消融区域的灵活控制,使其在前列腺疾病的符合性消融方面尤为吸引人。
已开发出几种温度反馈控制策略,包括预定义控制[13]、基于仿真的反馈控制[[14], [15]]、模型预测控制(MPC)[16]和经典的比例-积分-微分(PID)控制[[17], [18]]。预定义控制方法通过经验导出的固定参数来调节换能器功率、频率和旋转速度。这种无模型方法通过避免复杂的系统建模简化了实施,但其静态规则架构缺乏对动态组织环境和患者间差异的适应性。相比之下,基于仿真的数值优化控制方法构建数值模型并用实验数据拟合以推导增益系数来调整输出功率,从而提供针对组织特征和治疗需求定制的控制性能。然而,这些方法严重依赖患者特定的数值模型,并要求对每位患者优化增益系数。近期研究表明,基于MPC的热疗通过生物热动力学的约束优化实现了更优越的性能。为超声癌症消融开发的MPC框架通过显式安全约束保护健康组织,同时在肿瘤根除方面比传统bang-bang控制提高了23%[16]。用于MR引导高强度聚焦超声超热疗的无偏差MPC取得了进展,通过纳入扰动估计器来补偿体内猪试验中患者特定的组织变异[19]。早期工作建立了通过功率/温度约束运行的预测控制器来实现最短时间热剂量控制,并通过聚焦超声体模进行了实验验证[20]。这些MPC方法通过基于模型的空间-时间热沉积优化系统性地解决了热疗中的欠驱动问题。此外,在PID控制方法中,控制器不需要详细的系统模型,而是简单地基于实时误差信号调整输出。虽然表现出良好的瞬态响应和稳健的温度稳定性,但控制器性能仍然严重依赖于增益参数校准。环境不确定性,包括灌注波动和组织异质性,会带来显著的调谐挑战,通常在临床部署期间需要经验性调整PID系数。为了解决控制性能受组织环境变化影响的问题,一些研究提出了模型参考自适应控制(MRAC)[21]和自适应PID控制器[22]。这些自适应控制器可以自动调整控制增益以补偿环境变化的影响。然而,现有控制方法在处理热扩散问题方面仍有局限性,即即使关闭换能器,组织内温度仍可能继续上升。同时,肿瘤边界的快速变化可能导致过度消融,影响治疗准确性。
近年来,在计算机科学和人工智能进步的推动下,强化学习(RL)在多个学科取得了重大突破[23]。在训练过程中,智能体通过与环境迭代交互来发现最优策略[24]。因此,训练良好的智能体可以最优地响应环境状态,从而实现闭环实时控制。深度强化学习(DRL)结合了深度学习和RL的优势,将深度学习的特征提取与RL的决策制定相结合[25]。利用深度神经网络(DNNs)强大的拟合能力,DRL在处理高维状态空间方面优于传统RL[26]。与依赖数值模拟系数的基于规则的消融控制方法不同,DRL有望实现更优越的消融性能。与需要复杂调谐的固定增益PID控制器相比,DRL可能提供更好的环境适应性。此外,相对于基于自适应控制的PID和MRAC,DRL有望有效处理边界变化和热扩散,从而提高消融精度。
然而,DRL存在几个局限性,包括训练时间长、难以摆脱局部最优和结果不稳定。为了解决这些挑战,模仿学习(IL)利用神经网络直接从专家演示数据中学习状态-动作映射,使智能体能够复制最优策略[[27], [28]]。在模仿学习中,行为克隆(BC)对于深度强化学习应用尤为有效[29]。该方法首先采用监督学习模仿专家演示,最小化策略偏差。然后智能体通过标准RL与环境交互来完善其策略[30]。BC和DRL的结合提供了两个关键优势:显著缩短训练时间和提高策略稳定性。研究人员已在许多领域成功应用了这种方法。例如,Kumar等人[31]采用IL初始化RL策略网络,他们训练的控制器在管理五栋建筑的功率分配方面比仅使用RL的控制器性能提高了20%。在云资源管理中,一种DRL解决方案采用IL将最优策略训练时间减少了37.5%[32]。同样,Huo等人[33]开发了一种多路径信号协同控制的端到端模型,采用基于规则的IL预训练来显著加速收敛。
从临床角度来看,MRI引导超声消融治疗前列腺疾病仍有三大主要挑战尚未解决:第一,肿瘤边界动态变化,即前列腺边界可能因患者运动、器官充盈或组织水肿而移位,因此需要实时适应;第二,热扩散异质性,因为血流灌注和组织组成的局部变化导致不可预测的热扩散,可能导致过度消融或消融不足;第三,精度与治疗时间的权衡,因为保守控制会延长麻醉时间和患者不适感,而激进控制则有损伤健康组织的风险。在本研究中,我们提出了一种用于兼容MRI超声消融的嵌入模仿学习的深度强化学习(IL-DRL)控制器。控制器架构旨在最终与实时MR热成像反馈集成。在本研究中,我们使用基于Pennes生物热方程的温度反馈在仿真环境中验证了控制器,并通过组织模拟体模实验展示了仿真到硬件的概念验证转化。具体而言,IL预训练提供了一个安全高效的初始策略,能够快速适应边界变化;基于近端策略优化(PPO-based)的闭环控制持续优化功率和旋转速度以补偿热扩散;BC + PPO2中的增强状态设计能够在保持亚毫米精度的同时实现高速旋转,从而在仿真和体模实验中缩短治疗时间同时保持温度在安全限值内。纳入多频超声换能器以增强消融边界适应性,然后训练IL-DRL控制器进行反馈消融。所提出的控制器基于三种不同但层级相关的网络架构开发。首先,采用PPO算法设计和构建自适应消融控制的基础模型。随后,引入了一种结合模仿学习与PPO算法的混合方法,称为BC + PPO1架构,以增强训练效率和收敛速度。然而,这种混合模型仍存在稳定性问题。为了解决这一局限性,将邻域观察问题纳入BC + PPO1架构的扩展状态空间,进一步提高了控制稳定性和效率。该方法的主要优势包括优越的消融精度(±1 mm范围内超过97%)、在异质组织条件下的稳健性能,以及通过稳定高速旋转有望显著减少治疗时间。重要的是要强调,当前研究关注控制器架构的开发和基于仿真的验证。虽然控制器设计用于最终与MRI热成像集成,但本研究中所有温度反馈均源自Pennes生物热方程,体模实验验证了仿真到硬件的转化而非闭环MRI热成像。使用实际MR热成像验证仍然是临床转化前的关键下一步。
各节摘要
理论实验方法
图1(a)展示了MRI引导经尿道超声消融的示意图。经尿道部署的超声换能器通过受控轴向旋转发射方向性超声能量来执行体积消融。这种超声能量被组织吸收,诱导局部加热,当温度达到细胞毒性阈值(通常≥55 °C)时发生治疗性消融,导致不可逆细胞损伤。在治疗过程中,MRI系统提供...
嵌入模仿学习的深度强化学习控制器
本节介绍所提出的IL-DRL控制策略,总结如下:
(1) 第一种控制策略(标记为PPO)采用PPO算法进行功率调整,采用预定义的基于规则的方法进行旋转速度控制。换能器的超声频率由一个自动适应换能器与前列腺边界距离的切换模块控制。
(2) 第二种策略(标记为BC + PPO1)利用PPO算法...
结果与讨论
所有报告的均值和标准差均针对每次比较适当独立单位计算。对于单层分析,每个1°增量(每片360点)的角度消融误差取平均值,生成每片每个种子一个数值;这个切片平均值作为跨多个切片控制器之间比较的独立单位。39片单层评估源自21个唯一前列腺标本。对于全腺体分析,每个切片...
讨论
我们首先讨论仿真发现及其方法论含义(5.1 方法论贡献与框架设计,5.2 专家演示策略及其局限性,5.3 强化学习微调的重要性,5.4 与现有方法的性能比较),随后考虑未来临床转化(第5.5–5.6节),最后承认当前研究的局限性(第5.7节)。
结论
在本研究中,我们提出了一种集成的IL嵌入DRL控制框架,用于前列腺疾病的热消融,结合了行为克隆初始化、多目标奖励工程、角度邻域状态增强和基于规则的多频硬件协调。训练结果表明,纳入IL算法能有效防止DRL模型收敛到局部最优,从而提高其整体性能。消融评估...
CRediT作者贡献声明
Lin Shengrong:撰写 – 审阅与编辑,撰写 – 初稿,验证,方法学,调查,形式化分析,数据管理。
Zhu Yonggen:撰写 – 审阅与编辑,撰写 – 初稿,可视化,验证,软件,方法学,调查,形式化分析,数据管理。
Cui Can:撰写 – 审阅与编辑,可视化,验证,资源,调查。
Chen Lin:撰写 – 审阅与编辑,可视化,软件,资源,方法学。
Tong Minfeng:...
伦理声明
所收集的数据符合相关法律和机构指南。
资金支持
作者声明以下财务利益/人际关系可能被视为潜在竞争利益:Kang Chen报告获得了浙江省项目的资金支持。Kang Chen报告获得了金华项目的资金支持。
如有其他作者,他们声明没有已知的利益冲突或个人关系可能会影响本文所报告的工作。
利益冲突声明
作者声明没有已知的利益冲突或个人关系可能会影响本文所报告的工作。
致谢
本工作部分得到了中国浙江省项目(LQ24A040009)和金华市项目(2024-1-056)的支持。
Shengrong Lin|Yonggen Zhu|Can Cui|Lin Chen|Minfeng Tong|Jianming Wen|Kang Chen
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号