《Neural Networks》:DAG-NAS: An Explainable Neural Architecture Search Framework for Reinforcement Learning
编辑推荐:
可解释的神经架构搜索(NAS)框架,通过标量级DAG建模实现高精度架构搜索,结合可微优化和相关性剪枝策略,在强化学习(RL)任务中生成参数更少、性能相当且可解释性强的网络结构。
作者:Taegun An | Changhee Joo
韩国大学计算机科学与工程系,首尔 02841,大韩民国
摘要
我们提出了一种用于强化学习(RL)的可解释神经架构搜索(NAS)框架。我们将前馈神经网络建模为一个有向无环图(DAG),该图由标量级操作及其互连组成。标量级DAG使用可微分搜索方法进行训练,随后对搜索结果进行剪枝。这种方法生成了一种紧凑的神经架构,在提高性能的同时,通过突出解决问题所需的关键信息来增强可解释性。我们将NAS框架应用于Actor-Critic PPO算法的Actor网络和Critic网络的搜索中,涵盖了多种RL任务。大量实验表明,我们的架构在参数数量显著减少的情况下仍能实现可比的性能,并且能够突出关键特征并增强可解释性。
引言
机器学习作为人工智能的一个子领域,随着深度学习的出现而经历了巨大的发展。许多深度学习方法依赖于有效的神经网络架构,而这些架构通常是由人类专家通过耗时且往往基于直觉的过程设计的。神经架构搜索(NAS)通过自动化神经网络架构的设计,实现了重大的范式转变。自Zoph和Le(2017年)的开创性工作以来,NAS在NAS领域进行了广泛的研究,系统地探索了各种领域(如自然语言处理(NLP)、计算机视觉(CV)和强化学习(RL)中的新型高性能网络设计(Kang等人,2023年;Klyuchnikov等人,2020年;Parker-Holder等人,2022a年)。然而,由于强化学习算法的脆弱性、高计算成本和超参数敏感性等独特挑战,针对RL的NAS研究相对较少(White等人,2023年)。尽管如此,NAS仍具有巨大的潜力,可以扩展机器学习的应用范围(White等人,2023年)。
尽管NAS具有巨大潜力,但它也面临各种挑战和限制。其中一个主要挑战是设计NAS搜索空间需要专业知识,这导致了搜索空间设计与搜索复杂性之间的权衡。此外,过于定制化的搜索空间可能会阻碍潜在更好架构的探索,并在搜索过程中引入偏见(Liu等人,2018年)。据报道,在这种过度受限的搜索空间中,随机搜索也能取得类似的效果(Li和Talwalkar,2020年)。
另一个重要挑战是搜索到的架构缺乏足够的可解释性。很难理解它们是如何做出决策的,以及哪些信息是至关重要的。这个问题反映了深度学习中的一个更广泛问题,即复杂的网络结构往往导致模型成为黑箱,对其决策过程的理解有限。在深度学习领域,已经有一些研究致力于提高模型的可解释性(Lundberg和Lee,2017年;Montavon等人,2017年),但这些研究通常需要一些假设或仅适用于特定模型。在NAS领域,也有持续的努力来提高NAS生成模型的可解释性(Kadra等人,2023年),但仍有很大的改进空间。此外,在实际的RL问题中,智能体需要根据系统状态输入来解决序列决策问题。这些状态信息通常包括来自各种传感器的多个测量值,这些测量值可能具有任意相关性。在这种情况下,模型的可解释性对于识别解决问题所需的关键特征至关重要,这有助于减小模型规模。
本工作的关键动机在于,强化学习中的状态表示往往过于完整且高度相关。传统的神经架构和NAS方法主要关注性能,而没有揭示哪些状态变量驱动决策过程。这限制了它们在理解、调试和简化RL策略方面的实际应用价值。在这项工作中,我们将神经网络建模为标量级有向无环图,从而实现了比传统的层级或单元级NAS更细粒度的架构搜索。这种设计使搜索过程能够隐式地进行输入级特征选择,生成结构紧凑且决策路径直接可解释的架构。通过这种方式,它将面向性能的NAS与可解释的强化学习联系了起来。
在这项工作中,我们介绍了一种新颖的NAS方法,该方法通过高精度的DAG建模增强了搜索灵活性并提供了高可解释性。我们使用单输出顶点将典型的前馈神经网络分解为标量级操作。通过放宽对操作和互连的离散要求,我们采用了完全可微分的架构搜索方法。然后对得到的架构进行离散化和剪枝,以实现轻量级且高性能的设计。我们在多种RL任务中展示了该方法的有效性。
我们的贡献可以总结如下:
- •
据我们所知,我们是第一个在架构搜索中使用标量级DAG来建模神经网络的团队。我们的方法减少了设计搜索空间所需的努力,提高了搜索灵活性,并提供了高可解释性。
- •
我们开发了一个有效的DAG-NAS框架,用于搜索和选择神经架构。(i) 我们将约束放宽到DAG的顶点和边,使得搜索过程完全可微分。(ii) 我们引入了基于相关性的剪枝方法,以实现紧凑且可解释的架构。
- •
我们在广泛的RL任务中评估了我们的框架,并证明了我们框架发现的架构在参数数量显著减少的情况下仍能实现可比的性能。
相关研究
神经架构搜索(NAS)旨在自动化神经网络的设计,通常包括三个组成部分:搜索空间、搜索策略和性能评估策略(Elsken等人,2019年)。搜索空间定义了候选架构的集合,搜索策略决定了如何探索这些候选架构,性能评估策略则评估它们的质量。例如,Zoph和Le(2017年)的开创性工作采用了基于单元的搜索方法
初步介绍
强化学习(RL)深深植根于马尔可夫决策过程(MDP)的数学框架中,MDP为建模环境提供了一种结构化的方法。MDP正式定义为元组:
其中,
是状态集,
是动作集,
是转移概率函数,
是奖励函数,
γ∈[0, 1]是折扣因子。给定时间t的状态=,智能体采取动作,状态转移到,此时+1。
方法
在本节中,我们描述了所提出的DAG-NAS框架。我们将神经网络建模为标量级有向无环图(DAG),并通过放宽离散的架构约束来构建DAG超级网络。使用可微分优化方案进行架构搜索,然后进行离散化以获得最终的离散DAG(DDAG)。
之前不考虑输入特征选择的NAS方法由于状态输入过于完整而具有高复杂性
实验
我们在Gymnasium提供的多种强化学习(RL)环境中评估了所提出的DAG-NAS框架,使用的是Actor-Critic PPO智能体。PPO通过统一的更新规则支持离散和连续的动作空间,因此在不同任务之间不需要进行实质性修改。在我们的设置中,策略学习和架构搜索是同时进行的。我们采用了一个三层DAG超级网络,以提供与标准多层网络相当的表现能力
结论
我们通过标量级DAG建模神经网络,开发了一个完全可微分的NAS框架。通过简化单元设计、明确建模连接性和放宽离散的架构约束,我们构建了一个高效的架构搜索系统。此外,我们还引入了基于相关性的剪枝策略,以获得参数数量显著减少的离散DAG(DDAG)架构。另外,我们还消除了
未引用的参考文献
缺失的参考文献:图A1、图A2、图A3、图A4、图A5、图A6、图A7、图A8、图A9、图A10、图A11、图A12、图A13、图A14、图A15、图A16、图A17
CRediT作者贡献声明
Taegun An:撰写——原始草稿、可视化、验证、软件、资源管理、项目管理、方法论、调查、形式分析、数据整理、概念化。Changhee Joo:撰写——审阅与编辑、监督、项目管理、方法论、资金获取、形式分析、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
这项工作部分得到了韩国政府(MSIT)资助的IITP项目(RS-2024-00405128)的支持,部分得到了韩国政府(MSIT)资助的NRF项目(RS-2022-NR070834)的支持,以及部分得到了韩国政府(MSIT)通过IITP项目资助的ICT Creative Consilience计划(IITP-2026-RS-2020-II201819,33%)的支持。
作者:Taegun An
目前是韩国大学的博士生。他获得了蔚山国家科学技术院(UNIST)的计算机科学学士学位。他的研究兴趣包括强化学习(RL)和神经架构搜索(NAS)。