RADM:面向智能长时域机器人决策的风险自适应离散世界模型
《Expert Systems with Applications》:RADM: A Risk-Adaptive Discrete World Model for Intelligent Long-Horizon Robotic Decision-Making
【字体:
大
中
小
】
时间:2026年09月28日
来源:Expert Systems with Applications 9.4
编辑推荐:
- RADM 支持风险感知的长时域机器人决策。- 离散世界模型组织可达目标以支持规划。- 中心点检索将子目标锚定在已实现的物理状态上。- 分位数风险图根据任务风险特征自适应规划。- 导航与操作测试验证了样本高效的控制。
**引言**
在智能机器人系统中,自主智能体通常需要
- RADM 支持风险感知的长时域机器人决策。- 离散世界模型组织可达目标以支持规划。- 中心点检索将子目标锚定在已实现的物理状态上。- 分位数风险图根据任务风险特征自适应规划。- 导航与操作测试验证了样本高效的控制。
**引言**
在智能机器人系统中,自主智能体通常需要与复杂的物理环境交互,并在长时间跨度内做出可靠决策 [Mendonca, Rybkin, Daniilidis, Hafner, & Pathak (2021); Nasiriany, Pong, Lin, & Levine (2019)]。一个典型的例子是需要在多个指定目标之间导航的空中无人机,或者必须在空间约束下接近并操作物体的机械臂。按照 Huang, Liu, & Su (2019); Levy, Platt, & Saenko (2018) 的惯例,我们将这类任务称为通用目标到达问题。通过将目标显式地整合到标准强化学习中,目标条件强化学习(GCRL)[Kaelbling (1993); Pong, Gu, Dalal, & Levine (2018); Schaul, Horgan, Gregor, & Silver (2015)] 在单一策略下的多任务泛化方面展现了巨大潜力。然而,GCRL 方法在复杂的长时域任务中常常失效,特别是在稀疏奖励设置下 [Levy et al. (2018)]。在此类环境中,较长的任务时间跨度和稀疏的反馈共同阻碍了探索和长程信用分配。因此,仅依赖单一策略而缺乏中间决策指导往往导致样本效率低下和渐近性能次优。
长时域机器人决策的一个实用途径是将交互经验转化为紧凑的决策表示,以支持高层规划。一类通用方法利用了目标到达问题固有的图结构。通过将基于图的推理融入 GCRL 框架,这些方法将长时域规划分解为离散图节点(也称为地标)之间的转移,从而实现分层决策。作为基于模型的强化学习(MBRL)的一种实用实例,图引导方法桥接了全局轨迹规划和局部连续控制。然而,直接在物理状态上构建图不可避免地面临图规模的组合爆炸问题,使最短路径搜索的计算成本高昂。为了解决这一可扩展性瓶颈,近期研究倡导学习图结构的世界模型 [Hamed, Kim, Kim, Yoon, & Ahn (2024); Zhang, Yang, & Stadie (2021); Zhang, Zhang, Xing, & Xu (2025)]。这些方法不再直接从经验回放缓冲区中采样已访问状态,而是将环境蒸馏为紧凑的潜在规划空间,通过采样 [Zhang et al. (2025)] 或聚类 [Zhang et al. (2021)] 从中提取一组稀疏的代表性地标。这种抽象加速了长时域推理,同时减少了冗余的探索信号。
尽管前景广阔,现有的图结构世界模型仍面临两个限制其作为智能规划系统可靠性的局限性。首先,基于连续生成模型的方法 [Zhang et al. (2021, 2025)],如变分自编码器(VAE),通常构建连续潜在空间,其拓扑结构可能无法忠实地保留环境的物理可行性约束。因此,神经网络解码可能产生物理上不可行的"幻觉地标" [Chi et al. (2025)]。例如,位于墙壁两侧的有效物理状态的线性插值或聚类中心可能解码为墙壁内部的无效状态 [Eysenbach, Gupta, Ibarz, & Levine (2018)](图 1(a)),而非障碍物周围有意义的地标。其次,在地标获得后,当前方法 [Ke, Ruan, Tan, & Wu (2025); Myers, Zheng, Eysenbach, & Levine (2025); Reichlin, Vasco, Yin, & Kragic (2024); Wang, Torralba, Isola, & Zhang (2023)] 通常使用标准的目标条件距离近似器构建单一的风险中性搜索图,其边权重反映历史转移的平均成本。与人类智能体不同——人类智能体会基于对任务内在特征的了解做出知情决策(图 2)——这种静态图不支持在线规划期间的风险自适应策略调整,导致策略低效或不可靠。
在本文中,我们提出了风险自适应离散世界模型(RADM),一个用于图引导长时域机器人决策的智能规划框架。RADM 旨在产生可行的高层子目标,并将在线规划自适应地调整到异构环境风险特征。我们的方法通过三个核心决策模块运行。首先,RADM 使用向量量化-变分自编码器(VQ-VAE)[Van Den Oord, Vinyals et al. (2017)] 将连续目标空间映射为离散潜在表示,该编码器将嵌入的目标量化为有限码本。与先前的工作 [Hamed et al. (2024); Lee, Cho, Park, & Kim (2023)] 主要将 VQ-VAE 用作离散化瓶颈不同,RADM 通过度量正则化损失显式地将潜在空间中的欧氏距离与目标空间中的时间距离对齐。其次,受检索式锚定机制的启发,包括用于缓解大语言模型幻觉的检索增强生成(RAG)[Lewis et al. (2020); Kumar & Cohen (2026)],RADM 用基于中心点的检索取代了传统的神经网络解码。通过维护一个扩展的 VQ 码本 [Na & Moon (2024)],其中存储与每个码字相关联的已实现物理坐标,RADM 检索最近的历史已实现目标(即中心点)作为可执行地标 [Lee et al. (2026)],从而避免了不可行地标的生成,如图 1(b)所示。第三,RADM 引入分位数回归 [Kostrikov, Nair, & Levine (2021)] 在不同风险偏好下训练多个时间距离近似器,从而产生多层次风险搜索图。在在线规划期间,RADM 估计候选地标的风险偏度,并根据路径级不确定性和特定任务特征选择合适的乐观、中性或保守图,为底层 RL 策略提供自适应子目标。
本文的主要贡献如下:
1. RADM 学习了度量正则化的离散表示,将连续目标空间组织为感知可达性的潜在地标以支持图引导规划。
2. RADM 引入了无解码器的中心点检索机制,从扩展 VQ 码本中存储的历史已实现目标中提取物理锚定的地标。
3. RADM 构建了基于分位数的时间距离估计的多层次风险图,并执行风险自适应的图推理以进行在线子目标选择。
4. RADM 作为智能图引导机器人决策系统在长时域连续控制任务(包括导航和操作)上进行了实现和评估。实验结果表明,RADM 在较简单的设置中具有竞争力,在更具挑战性的任务中提供了更明显的提升,消融实验和可视化分析验证了每个 RADM 组件的作用。
本文其余部分组织如下:第 2 节回顾相关文献。第 3 节正式定义稀疏奖励下的 GCRL 问题。第 4 节介绍关于距离度量和图引导决策的基本预备知识。第 5 节详述提出的风险自适应离散世界模型框架。第 6 节在具有挑战性的连续控制领域中呈现全面的实验评估和消融研究。第 7 节从智能机器人规划的角度分析 RADM 并讨论其含义和局限性。第 8 节总结我们的工作。
**章节摘要**
**图引导的目标条件强化学习**:目标条件强化学习(GCRL)已成为通过目标嵌入到通用价值函数近似器中实现多任务泛化的标准框架 [Kaelbling, 1993; Pong, Gu, Dalal, & Levine; Schaul, Horgan, Gregor, Silver, 2015]。为缓解稀疏奖励任务中的样本效率问题,基于经验回放(HER)[Andrychowicz et al., 2017] 等基础技术被广泛采用。然而,扁平的 RL 架构在较长的时间跨度上往往难以应对。
**问题描述**:我们考虑通用马尔可夫决策过程(UMDP)[Sutton, Barto et al. (1998)] 下的目标条件强化学习(GCRL)问题,其可由元组 (??, ??, ??, ??, ??, ??, ???, ??) 参数化,其中 ??、?? 和 ?? 分别为状态空间、目标空间和动作空间。转移动力学由 P(s′∣s, a) 控制,??? 表示初始状态的分布。奖励函数定义为 ??: ??×??×??→?。γ ∈ [0, 1) 为折扣因子。?? 为有限时间跨度。
**基于目标条件价值函数的距离度量**:在稀疏奖励设置的范围内,每次未成功的转移被赋予 -1 的固定惩罚,而唯一的成功奖励 0 表示智能体已到达目标附近。形式上,二值奖励函数可表示为 ??(??, ??, ??′, ??) = ???[Ψ(??′) ≠ ??]。在此表示下,目标条件 Q 值隐式编码了当前策略 π 在执行动作 ?? 后从状态 ?? 到达目标 ?? 所需的期望步数。我们将此称为……
**方法论**:在本节中,我们呈现了提出的风险自适应离散世界模型(RADM)(见图 3),一个用于长时域机器人决策的智能规划框架。RADM 集成了三个互补组件:度量正则化的离散世界模型,组织环境可达区域以支持目标级规划(第 5.1 节);基于中心点的检索机制,将规划地标锚定在已实现的物理状态上(第 5.2 节);以及多层次分位数风险……
**实验**:在本节中,我们在一系列机器人导航和操作任务上评估了我们的方法(RADM)。我们的实证研究明确旨在回答以下研究问题:
RQ1(任务性能和样本效率):在稀疏奖励设置下,RADM 在具有挑战性的长时域任务中与最先进的目标条件 RL 基线方法相比表现如何?
RQ2(子目标可执行性和物理锚定):度量正则化的 VQ-VAE 和基于中心点的检索机制能否为下游机器人控制提供可行且适当的地标?
RQ3(风险自适应规划和决策鲁棒性):什么图……
**RADM 分析**:RADM 的核心作用是将稀疏的交互经验转化为紧凑的规划导向表示,以支持智能长时域机器人决策。RADM 不直接在所有已访问状态上进行规划,也不依赖连续解码器来生成子目标,而是将高层决策过程分解为三个耦合模块:度量正则化的离散潜在空间组织可达区域,扩展码本将每个选定的地标锚定在已实现的……
**结论**:本文提出了风险自适应离散世界模型(RADM),一个用于稀疏奖励和异构风险特征下长时域机器人决策的智能规划框架。RADM 解决了现有图引导机器人规划方法的两个关键局限性:物理未锚定的子目标生成和 风险中性的图搜索。通过学习度量正则化的离散世界模型,并从存储历史已实现目标的扩展码本中检索地标,RADM……
**ORCID 信息**:Shaocong Ma(ORCID: 0009-0005-1283-4015)
**CRediT 作者贡献声明**:Shaocong Ma:初稿撰写、方法论、软件、验证、可视化。Peiyang Zhou:初稿撰写、验证、形式分析。Zhuoer Wen:数据管理。Xinglin Chen:审稿与编辑。Xiang Zhang:验证、可视化。Ji Wang:监督。Minglong Li:监督。Kedi Zhang:监督。
**利益冲突声明**:作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Shaocong Ma | Peiyang Zhou | Zhuoer Wen | Xinglin Chen | Xiang Zhang | Ji Wang | Minglong Li | Kedi Zhang