TAP-DDQN:对抗性海上交战中无人水面艇战术决策的乘性势函数奖励塑形框架

《Journal of Marine Science and Engineering》:TAP-DDQN: Multiplicative Potential-Based Reward Shaping Framework for Tactical Decision-Making of Unmanned Surface Vehicles in Adversarial Maritime Engagements

【字体: 大 中 小 】 时间:2026年08月27日 来源:Journal of Marine Science and Engineering 3.2

编辑推荐:

  无人水面艇日益需要能够在离散任务系统约束下进行交战级战术决策的舰载策略。然而,大多数现有系统仍然基于规则且具有可预测性,且许多海上强化学习研究仍专注于低级连续控制。本文提出了TAP-DDQN,这是一种使用乘性战术接近势和动态目标课程训练的GRU增强型决斗深度Q

  
无人水面艇日益需要能够在离散任务系统约束下进行交战级战术决策的舰载策略。然而,大多数现有系统仍然基于规则且具有可预测性,且许多海上强化学习研究仍专注于低级连续控制。本文提出了TAP-DDQN,这是一种使用乘性战术接近势和动态目标课程训练的GRU增强型决斗深度Q网络,用于对抗性海上交战中的离散战术决策。所提出的TAP将期望的交战距离环与方位感知战术项相耦合,使得角塑形主要在战术频带内被激活,从而在不鼓励不相关的远程方位优化的情况下提供密集的指导。该方法通过非侵入式TRNLE包装器实现,无需修改遗留的战斗管理软件栈即可进行学习和部署。在1对1水面交战场景中,所提出的智能体实现了的DGAR,并在奖励对齐诊断和机动一致性方面始终优于前馈和非TAP基线;相对于最强的学习基线(无TAP的DQN+MLP),改进了个百分点。定性分析进一步表明,学习到的策略接近期望的交战环,稳定了有利的舰尾舷侧几何形状,并表现出比基于规则或加性奖励基线更连贯的机动行为。这些结果支持乘性TAP塑形作为无人水面艇战术自主性和海军训练环境中智能对手生成的有效且部署兼容的方法。
【背景与问题】
无人水面艇正从遥控平台向必须在现实传感、运动学和任务系统约束下做出战术决策的自主海上系统发展。在对抗或非合作遭遇中,实际问题不再局限于低级导航,而是需要调节交战距离、利用战术几何并应对威胁。然而,现有海洋深度强化学习研究多集中于低级连续控制任务,防御领域的战术机动研究主要针对空战或简化的追逃环境,存在研究空白。此外,在开阔海域交战中,战术事件稀疏且延迟,纯终端奖励或仅基于距离的塑形不足。加性塑形即使在远距离也会注入角度梯度,产生归纳偏差。为此,亟需开发能在离散动作接口、有限推理延迟和认证硬件非侵入式约束下运行的交战级策略。

【研究与结论意义】
研究人员提出了TAP-DDQN框架,结合了乘性战术接近势奖励塑形、可解释的四分量奖励分解、带门控循环单元(GRU)记忆的决斗深度Q网络(DDQN)以及动态目标课程(DTC)。该框架通过非侵入式TRNLE包装器与遗留海军作战管理系统集成。结论表明,乘性TAP塑形有效提升了无人水面艇的战术自主性和海军训练环境中的智能对手生成能力。该研究发表在《Journal of Marine Science and Engineering》。

【关键技术方法】
研究人员将对抗性海军交战建模为部分可观测马尔可夫决策过程(POMDP),采用决斗深度Q网络并集成GRU提取时间特征。在奖励设计上,采用基于势函数的奖励塑形(PBRS),提出了乘性战术接近势(TAP),通过非侵入式TRNLE包装器与遗留作战模拟器集成。实验在1对1水面交战场景下进行,使用3个随机种子训练3000万步进行消融分析。

【研究结果】
实验设置和消融设计
研究在全相同TRNLE条件下,对比了7种配置(A-G),隔离了TAP乘性势函数塑形、DTC和GRU循环编码器的贡献。

训练效率
DDQN+RNN w/TAP最早跨越零奖励,并在300万步内达到高奖励,在1000万步后达到最高平均奖励。研究证实,时空奖励(STR)、TAP塑形和GRU编码器对训练效率有加性贡献。

任务级定量性能
在1对1水面交战中,提出模型实现了54.87%的DGAR,相对于最强学习基线(无TAP的DQN+MLP)提升了百分点。消融显示,TAP塑形在DGAR上贡献了,GRU额外贡献了。提出模型还达到了最高的平均战术势(0.56)和最低的Jerk Cost(1.24),证明其能更频繁达成任务目标并保持平滑轨迹。

乘性TAP耦合的奖励对齐验证
通过计算在500个评估回合中的五个对齐诊断指标,提出模型在所有维度上均取得最高值,证实其性能增益直接源于乘性TAP耦合,而非偶然架构因素。

智能体行为的定性分析
空间热图显示,提出模型在目标舰尾舷侧维持高密度弧,GRU提供了稳定角定位所需的时间上下文。动作分布表明,提出模型将大量步骤分配给转向动作,有效防止了稀疏奖励下的策略崩溃。

【讨论与结论】
讨论部分分析了乘性TAP耦合机制、循环时间记忆作用及其实践意义。乘性TAP仅在战术频带内激活角度引导,满足策略不变性。GRU通过跨长交战平滑优势估计,降低了Jerk Cost。该框架符合国际海上避碰规则(COLREGs)相关要求,双用途范式可部署于真实USV或舰载训练系统(OBTS)生成对手。局限性包括种子数较少、仅限1对1交战及针对特定战术条令。结论指出,TAP-DDQN通过乘性TAP耦合距离环和方位项,抑制了加性公式的归纳偏差。在3000万步训练中,显著优于基线。TRNLE包装器实现了深度强化学习与遗留作战系统的非侵入式集成。未来工作将扩展至多智能体对抗及异构集群,并探索部分可观测下的分层战术推理。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号