基于强化学习的消防水炮在海洋环境中的瞄准控制与验证研究

《International Journal of Naval Architecture and Ocean Engineering》:A study on aiming control and validation of a reinforcement learning-based fire monitor in maritime environments

【字体: 大 中 小 】 时间:2026年07月13日 来源:International Journal of Naval Architecture and Ocean Engineering 4.4

编辑推荐:

  随着对自主船舶兴趣的增长,对即使在 irregular 海况下也能可靠运行的智能灭火系统的需求日益增加。本研究提出了一种用于消防水炮的自主瞄准控制方法,旨在通过强化学习(RL)优化其瞄准性能。使用 Unity 物理引擎创建了一个虚拟环境,模拟了船舶运动和水排放

  
随着对自主船舶兴趣的增长,对即使在 irregular 海况下也能可靠运行的智能灭火系统的需求日益增加。本研究提出了一种用于消防水炮的自主瞄准控制方法,旨在通过强化学习(RL)优化其瞄准性能。使用 Unity 物理引擎创建了一个虚拟环境,模拟了船舶运动和水排放的动态行为,同时反映了海况和排放压力的变化。所提出的基于 RL 的模型通过观察由惯性测量单元(IMU)传感器和压力传感器测量的船舶运动和喷嘴压力数据进行训练,以提高瞄准效率。该模型的有效性通过在实际船舶上进行的全尺寸实验得到验证,该船舶在海况约 3 的条件下运行。实验观察确认,该系统在真实海洋环境中保持了稳定且精确的火灾瞄准性能。这些结果表明,所提出的基于 RL 的控制方法有助于未来无人自主船舶的火灾响应操作自动化。
**论文解读:基于强化学习的消防水炮在海洋环境中的瞄准控制与验证研究**

**研究背景与问题**
随着自主船舶的发展,智能灭火系统在 irregular 海况下可靠运行的需求日益迫切。现有船舶灭火系统主要依赖 sprinkler(洒水系统),但其在开阔空间效率低,且在密闭舱室中 indiscriminate(无差别)喷水可能损坏高价值设备。替代方案是 water monitor(消防水炮),能够识别并精确瞄准火源。然而,船舶在海上运动时持续受到振荡和失稳影响,仅用固定坐标难以准确瞄准。因此,需要开发能够在动态海况下有效工作的瞄准控制系统。此前研究(Lee et al., 2020; Im et al., 2021)虽提出了基于强化学习(RL)的灭火模型,但存在以下局限:未考虑 discharge pressure(排放压力)变化对瞄准的影响;假设 IMU(惯性测量单元)安装在船舶重心,不符合实际布置;验证实验仅使用模拟船舶运动的地面设备(仅产生升沉运动),无法模拟多自由度真实海况。为此,研究人员开展了本研究,旨在提出一种考虑压力变化和实际传感器位置的 RL 瞄准控制方法,并在真实船舶上进行全尺寸验证。

**研究内容与结论**
研究人员提出了一种基于 RL 的自主瞄准控制方法,设计消防水炮在海洋环境中优化瞄准性能。通过 Unity 物理引擎构建虚拟环境,模拟船舶运动和水射流动力学,并反映海况和排放压力变化。训练后的 RL 模型通过观察 IMU 和压力传感器数据调整喷嘴角度。在仿真中,与未使用 RL 的模型相比,RL 模型在海况 1 至 6 下粒子到达数提升 2.5% 至 243.0%,且在高海况下表现尤为显著。随后,在韩国海军 LST-II 级舰船(well dock 内)上进行了全尺寸实验,海况约 3,通过视觉观测确认水射流准确命中虚拟火源。为定量评估,研究人员使用实测 IMU 数据重建虚拟环境(reverse-engineered validation),结果显示 RL 模型比无 RL 模型的粒子到达率(reward rate)提升 17.2%(62.8% vs 45.6%),与仿真结果偏差仅 3.6%。结论表明,所提 RL 控制方法可在真实海洋环境中稳定可靠地运行,推动自主灭火系统在船舶上的应用。该论文发表在《International Journal of Naval Architecture and Ocean Engineering》。

**主要关键技术方法**
1. **虚拟环境构建**:使用 Unity 物理引擎(版本 2022.3.58f1)和 ML-Agents 工具包,基于韩国海军提供的 LST-II 级船舶和 LCU 艇的设计数据,构建包含 well dock 和 landing craft utility(LCU)甲板的 compartment(舱室)模型。通过激光测距仪现场测量消防水炮、控制面板等设备位置,将其纳入虚拟布局。
2. **船舶运动模拟**:采用 Department of Defense (1986) 的运动方程及 Lee et al. (2020) 参数,结合船舶主尺度(LBP、GM、B)生成升沉、横摇、纵摇运动。通过 Miyashita et al. (2014) 模型和 Obi Fluid 插件模拟水射流轨迹和粒子分布。
3. **RL 模型设计**:基于 Proximal Policy Optimization(PPO)算法(ML-Agents 内置实现),定义 12 个状态变量(火源位置、IMU 测得加速度和速度、排放压力、喷嘴 pan/tilt 角度)。动作定义为 pan 和 tilt 角度连续调整(每步 ±1°)。奖励函数为每步到达火源的水粒子数(Pc)与最大粒子数(Pt=37,000)之比,累计奖励 R=(1/Pt)ΣPc。
4. **速度估计**:由于所用 IMU 不提供速度,采用 Simpson 规则对最近 14 个加速度样本积分估计速度。
5. **实船验证**:在韩国海军 LST-II 级舰船(well dock 内)进行全尺寸实验,海况约 3。使用电子压力计和 IMU 传感器,将测量数据输入 RL 模型,控制消防水炮瞄准虚拟火源(33 cm × 33 cm × 15 cm 托盘)。因无法直接测量水粒子数量,通过反向工程重建虚拟环境(基于实测 IMU 数据经 FFT 滤波和 RMS 重归一化)进行定量对比。

**研究结果**

**2. Reinforcement learning-based fire suppression model**
**2.1 Simulation environment design**:基于 LST-II 级船舶设计数据和 LCU 甲板布局,构建虚拟 compartment 模型。火源(33 cm × 33 cm × 15 cm 矩形 cuboid)在 testbed(测试区域)内随机生成。船舶运动通过正弦组合方程模拟,水射流采用 Miyashita 模型参数并通过 Obi Fluid 实现粒子分布(表 2 验证面积比例与实验一致)。
**2.2 Modeling for reinforcement learning**:定义 12 个状态变量,包括火源位置(x, y, z)、三轴加速度(ax, ay, az)、速度(vx, vy, vz)、排放压力(3-5 bar 随机噪声)、喷嘴角度(pan, tilt)。速度通过 Simpson 规则积分加速度获得(14 个样本表现最优)。压力场景采用对数/ sigmoid 曲线生成。初始瞄准角由 Miyashita 公式计算。动作定义为 pan/tilt 角度连续调整(±1°)。奖励函数为累计粒子比(最大 1.0,实际收敛至约 0.867)。
**2.3 Simulation results and analysis**:在 sea state 1 至 6 下固定火源中心位置,比较 RL 模型与无 RL 模型(仅初始瞄准角)。RL 模型粒子数从 sea state 1 的 33,237 至 sea state 6 的 18,353,而无 RL 模型从 32,422 降至 5,350。提升率从 2.5% 至 243.0%(海况越高越显著)。图 10 显示,低海况下排放压力对瞄准影响大于升沉运动,高海况下 RL 模型展现出预判性调整行为。

**3. Validation through actual ship test**
**3.1 Experimental setup**:在 LST-II 级舰船 well dock 内安装消防水炮和控制面板,IMU 贴近水炮安装。使用海水作为灭火剂,虚拟火源位于 LCU 甲板。海况约 3(船员观测和天气预报确认),视觉上水射流准确命中目标(图 15)。
**3.2 Validation and comparative analysis**:通过 FFT 分析 IMU 数据,保留 0.3 Hz 以下分量获得重构升沉位移(约 0.25 m),经 RMS 重归一化匹配 sea state 3 标准。重构环境验证中,RL 模型 reward rate 为 62.8%,无 RL 模型为 45.6%(提升 17.2%),与仿真 sea state 3 模型(66.4%)偏差仅 3.6%。证实 RL 模型在真实海况下显著提升瞄准性能。

**讨论**
本研究相较于 Lee et al. (2020) 的改进包括:引入排放压力变化作为输入,发现低海况下压力对瞄准影响更大;使用 IMU 在非重心位置的实际安装数据,而非假设重心测量;将验证从地面模拟设备扩展到实船全尺寸实验。通过反向工程重构环境进行定量评估,进一步确认 RL 模型的有效性。局限性在于仅在海况 3 下验证,IMU 数据含振动噪声,水炮机械响应延迟(0.5-1.0 s)可能影响高海况性能。未来需扩展到海况 5-6,通过滤波和噪声建模提高泛化性,并优化伺服电机设计和集成控制延迟模型,同时进行模型轻量化以适配工业计算设备。

**结论翻译**:本研究开发了一种基于强化学习(RL)的消防水炮瞄准控制系统,用于在海洋条件下实现有效灭火,并通过全尺寸船舶实验和虚拟环境验证评估了其性能。基于 Unity 的仿真环境被构建用于模拟船舶和排放水的运动,纳入了实际船舶规格和船上布局以确保真实的训练条件。在 RL 框架中,状态变量包括火源位置、IMU 测量的加速度和速度、排放压力以及水炮当前的 pan 和 tilt 角度。动作被定义为水炮的角度调整,而奖励被计算为击中火源的水粒子数与仿真中生成的最大粒子数之比,从而鼓励高效的瞄准行为。仿真结果表明,训练后的模型相比未训练的基线实现了显著更优的性能,随着海况严重程度的增加,改进变得更加明显,在瞄准效率上最高达到约 243%。在海况 3 条件下的全尺寸验证中,视觉观察确认排放水准确到达虚拟火源。使用从 IMU 测量数据构建的反向工程虚拟模型进行的进一步比较显示,与仿真结果偏差仅为 3.6%,证明了真实与仿真条件之间的强一致性。此外,反向工程虚拟环境显示,RL 模型的存在将粒子到达目标的比例提高了 17.2%,表明基于 RL 的模型直接有助于提高消防水炮的瞄准性能。这些发现表明,所提出的基于 RL 的瞄准控制系统可以在实际海洋环境中可靠运行。然而,本研究仅局限于在海况 3 下验证,且 IMU 数据包含由振动和干扰引入的噪声。未来的研究应扩展到更高海况(5-6)条件下的测试,并基于实际测量数据通过先进的滤波和噪声表征技术改进模型泛化性。此外,尽管本研究中使用的 RL 模型的推理时间在毫秒量级,但实际消防水炮的机械响应时间相对较慢,范围约为 0.5 至 1.0 秒。这种执行延迟可能在高动态海况下降低水炮的控制性能。为解决这一限制,未来的工作应专注于改进负责驱动水炮的伺服电机的机械设计,并将反映实际执行动态的控制延迟模型集成到 RL 环境中。此外,考虑到真实船舶环境中部署的工业计算设备的计算资源限制,应并行推进模型轻量化和推理优化,以进一步增强从仿真训练的模型在实际操作中的实用性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号