SETLE:一种基于层次化图神经网络的强化学习轨迹结构化增强与编码新框架

《Neural Networks》:A representational framework for learning and encoding structurally enriched trajectories in complex agent environments

【字体: 大 中 小 】 时间:2026年03月20日 来源:Neural Networks 6.3

编辑推荐:

  在复杂的智能体决策任务中,强化学习(RL)常因缺乏对任务执行过程的结构化理解而影响其泛化能力。针对这一问题,研究人员提出了一项关于“结构化增强轨迹(SETs)学习与编码”的研究。他们开发了SETLE架构,通过构建包含对象、交互、可供性(Affordances)等多层次关系的异构子图来丰富轨迹表示,并证明了该框架能够有效识别跨任务的模式,在CREATE和MiniGrid环境中提升了下游任务的性能。这项研究为开发具有更强泛化与知识迁移能力的人工智能体提供了新的思路。

  
在人工智能的世界里,强化学习是让智能体(AI Agent)像玩游戏一样,通过与环境互动、获取奖励来学习最佳策略的核心技术。从在棋盘上击败人类的AlphaGo,到操控复杂机械臂的机器人,背后都有它的身影。然而,当我们将这些“游戏高手”从简单的训练场放到更复杂、多变的新环境中时,它们常常会“水土不服”,学到的技能难以迁移,表现大打折扣。这暴露了当前强化学习的一个核心困境:智能体缺乏对“如何”完成任务的深刻、结构化理解。
传统的强化学习方法,通常将智能体的经历(轨迹,Trajectory)简单记录为一系列“状态-动作”的扁平序列。这就像只记录了一个人从家到公司的每一步是“左转、直行、右转”,却忽略了“为什么”在某个路口转弯(因为看到了红绿灯?因为要避开施工?),以及“转弯”这个动作与“红绿灯”、“施工路障”这些对象之间有何关联。这种记录方式丢失了大量关于任务内部结构、对象间相互作用以及长远因果关系的宝贵信息,使得智能体难以从过去的成功或失败经验中,提炼出可复用的、可泛化的知识模式。
为了破解这一难题,由Corina C?t?r?u-Cotu?iu、Esther Mondragón和Eduardo Alonso组成的研究团队在《Neural Networks》期刊上发表了一项开创性研究。他们意识到,要让AI真正“理解”任务,必须为其“世界观”进行升级,赋予其更丰富的“词汇”来描绘经历。为此,他们提出了“结构化增强轨迹”(Structurally Enriched Trajectories, SETs)的全新概念,并构建了一个名为“结构化增强轨迹学习与编码”(Structurally Enriched Trajectory Learning and Encoding, SETLE)的完整计算框架。
这项研究的核心思想是,将一次任务执行(一个轨迹)不再看作线性的步骤清单,而是视为一个层次化的、关系丰富的“故事图”。在这个故事里,不仅有主角(智能体)的行动,还有各种“配角”(对象,Objects)和他们之间的“互动情节”(交互,Interactions)。更重要的是,故事引入了“可供性”(Affordances)这一关键概念,它描述了在特定情境下,一个对象能为智能体提供何种潜在交互可能(比如,椅子“可供”人坐下,但对大象则不“可供”),并关联了交互导致的下一状态和即时奖励。通过将这些元素——对象、交互、可供性、状态——组织成一个多层次的异构图(Heterogeneous Graph),SETs 便能捕捉到任务执行过程中精细的、结构化的依赖关系。
基于SETs的理念,研究人员开发了SETLE架构。该架构的核心是一个层次化的记忆系统,能够存储和编码来自不同任务的SETs。其关键创新在于一个异构子图编码器,它专门学习如何对代表单个轨迹的SET子图进行编码,而不是将整个庞大的任务图谱视为一个整体。这个编码器基于异构协同对比学习(Heterogeneous Co-contrastive Learning, HeCo)模型,通过元路径(如 SET-状态-对象-交互-可供性)和图模式两种视角来学习节点表示,并使用混合损失函数(结合三元组损失和对比损失)进行训练,确保相似的轨迹在编码空间里靠近,不同的则远离。
为了验证SETLE框架的有效性,研究团队在两个具有不同复杂性的实验平台上进行了系统评估:一个是侧重于物理交互和工具使用的CREATE环境,另一个是侧重于符号推理和多步规划的MiniGrid环境。在CREATE中,智能体的任务包括将球推入目标或放入桶中。研究首先通过随机探索收集了大量成功和失败的轨迹,并将其构建为SETs。分析表明,SETLE编码器学习到的轨迹嵌入(Embeddings)能够清晰地区分成功与失败的轨迹,形成良好的聚类。当SETLE与强化学习智能体结合后,在稀疏奖励的复杂任务中,其成功率实现了显著提升,证明了所学习到的结构化表征对下游决策任务的有力支持。
主要技术方法概览:
研究采用的主要技术方法包括:1) 使用Segment Anything Model (SAM) 进行零样本对象检测与提取,作为构建层次图的基础;2) 采用ConvLSTM编码器学习交互的动态表征,并结合三元组损失确保其判别性;3) 将任务轨迹建模为包含对象、交互、可供性、状态等多种节点类型的异构图,并存入Neo4j图数据库;4) 设计基于HeCo架构的异构子图编码器,利用元路径(如SET-St-Obj-Inter-Aff 和 SET-St-Aff-St)和图模式两种视图进行节点表征学习,并通过混合损失函数优化;5) 在CREATE和MiniGrid两个实验环境中进行验证,前者评估物理交互理解,后者评估符号规划能力。
研究结果分析:
  • •
    SET嵌入分析:边界值与损失函数的影响:实验系统评估了不同三元组损失边界值对SET嵌入聚类质量的影响。结果表明,较高的边界值(如1.5)能带来更优的聚类效果,成功与失败的轨迹在嵌入空间中分离更明显,这通过轮廓系数、戴维森堡丁指数和邓恩指数等指标得以证实。同时,与经典三元组损失相比,结合了跨视图对比学习的混合损失函数能产生更一致、判别性更强的轨迹表征。
  • •
    组件分析与消融研究:研究通过在不同环境(CREATE vs. MiniGrid)中应用SETLE,自然验证了其组件的模块化与必要性。在视觉动态复杂的CREATE中,ConvLSTM编码器对捕捉交互时序信息至关重要;而在符号化的MiniGrid中,该组件可被省略,证明了框架的灵活性。此外,通过对比包含完整层次结构(对象、交互、可供性、状态)的SET与简化版本(如移除可供性或扁平化序列)的编码效果,消融实验证实了层次化、关系化的图结构对于有效学习任务动态是不可或缺的。
  • •
    与强化学习的集成验证:最关键的验证在于将SETLE整合进完整的强化学习循环。在CREATE的稀疏奖励任务中,配备了SETLE的智能体相比基线方法,取得了突破性的成功率提升。这直接证明,通过SETLE学习到的结构化轨迹表征,能够为智能体的决策提供更丰富、更可迁移的上下文信息,从而显著改善其在复杂、泛化性要求高的场景下的学习效率和最终性能。
结论与意义:
本研究通过提出“结构化增强轨迹”的概念和SETLE计算框架,为强化学习的表征学习开辟了一条新路径。它成功地将强化学习的“本体论”从扁平的“状态-动作”序列,扩展到了包含对象、交互、可供性及其层次关系的丰富结构化世界。实验结果表明,这种结构化的、基于图的知识表示与编码方法,不仅能有效区分不同的任务执行模式,更能实质性地提升智能体在面临新任务、新环境时的泛化能力和决策水平。
这项工作的意义深远。首先,它为解决强化学习中长期存在的知识迁移和泛化难题提供了新的理论框架和实用工具。其次,SETLE所倡导的层次化、关系化知识表示,更贴近人类和生物智能对任务的理解方式,为开发具有更强因果推理和适应能力的人工通用智能(AGI)迈出了重要一步。最后,该框架具有良好的可扩展性和模块化特性,能够兼容不同感知模态(视觉、符号)和环境类型,为未来在更广泛、更复杂的现实世界场景(如机器人操作、自动驾驶)中应用奠定了基础。这项研究标志着我们向构建能够真正“理解”任务、并灵活运用经验的智能体又前进了一大步。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号