HEAGAN:采用部分权重共享的混合进化多目标GAN架构搜索方法

《Expert Systems with Applications》:HEAGAN: Hybrid evolutionary multi-objective GAN architecture search with partial weight sharing

【字体: 大 中 小 】 时间:2026年04月03日 来源:Expert Systems with Applications 7.5

编辑推荐:

  HEAGAN提出了一种高效的混合进化神经网络架构搜索框架,通过结合遗传算法和粒子群优化,以及部分权重共享策略,解决了GAN训练不稳定和架构设计依赖人工的问题,显著提升了生成质量与跨数据集泛化能力,并验证了各组件的有效性。

  
Ferrante Neri|Boyi Peng|Yu Xue
南京信息科技大学计算机科学学院,中国南京,210044

摘要

生成对抗网络(GANs)通常表现出不稳定的训练动态,并且严重依赖于手工设计的架构,这限制了其可扩展性和鲁棒性。本文提出了一种高效的混合进化神经架构搜索框架HEAGAN,专门用于GANs。HEAGAN仅搜索生成器架构,而判别器在整个训练和评估过程中使用固定的AutoGAN风格骨干网络。HEAGAN将引导式混合进化搜索与部分权重共享的超网络相结合,以自动化生成器架构的发现,用于无监督图像合成。该搜索结合了遗传算法和粒子群优化,同时通过动态节点激活的受限权重共享来减少权重耦合,并在超网络优化过程中缓解多模型遗忘问题。为了提高训练稳定性,引入了一种自适应的鲁棒损失函数,并基于NSGA-II的多目标公式共同优化生成质量和分布真实性。在CIFAR-10、STL-10、CIFAR-100和ImageNet32上的实验表明,HEAGAN能够一致地识别出具有改进稳定性和强泛化能力的生成器架构。在CIFAR-10上,HEAGAN的Inception分数为8.99 ± 0.11,Fréchet Inception距离为8.20。消融研究进一步验证了所提出组件的各自贡献。

引言

生成对抗网络(GANs)(Goodfellow等人,2014年)已成为无监督图像生成的基础范式,在图像合成(Kang, Zhu, Zhang, Park, Shechtman, Paris, Park, 2023; Zhang, Xu, Li, Zhang, Wang, Huang, Metaxas, 2018)、超分辨率(Zhang等人,2022a)、风格迁移(Liao, Hu, Yang, & Rosenhahn, 2022)和图像增强(Rafiei, Gauthier, Adeli, & Takabi, 2022)等任务中取得了显著进展。它们的成功依赖于生成器和判别器之间的对抗学习,这种竞争性互动使得合成出视觉上真实的数据成为可能。尽管取得了这些进展,但GAN的性能仍然对架构设计选择非常敏感,训练过程经常受到模式崩溃和梯度消失等不稳定现象的阻碍。尽管已经提出了多种损失函数(包括最小二乘损失(Mao等人,2017年)、Wasserstein距离(Arjovsky, Chintala, & Bottou, 2017年)和铰链损失(Brock, Donahue, & Simonyan, 2018年)以及深度卷积(Radford, Metz, & Chintala, 2015a)和残差结构(Xue, Zhang, Neri, Xue, & Zhang, 2025)等架构改进,但这些解决方案严重依赖于专家知识和大量的手动实验,限制了其可扩展性和可重复性。
神经架构搜索(NAS)通过算法搜索策略自动化架构设计,提供了一个原则性的替代方案。NAS在图像分类等监督领域表现出色(Bi, Xue, Mesejo, Cagnoni, Zhang, 2022; Hussain, Mushtaq, Shahroz, Akram, Ghith, Tlija, Kim, Ashraf, 2025; Wu, He, Dai, Zhou, Shang, Fan, Hu, 2025),但其应用于GANs仍然具有挑战性。根本困难在于GAN训练的非凸非凹最小-最大优化问题,其中稳定的平衡点难以识别,性能评估本身也存在噪声。此外,常用的评估指标(如Inception分数(IS)(Salimans等人,2016年)和Fréchet Inception距离(FID)(Heusel, Ramsauer, Unterthiner, Nessler, & Hochreiter, 2017年)计算成本高、不可微分,且不适合在搜索过程中频繁进行内循环评估。为了降低计算成本,引入了基于权重共享和超网络的一次性NAS方法(Bender, Kindermans, Zoph, Vasudevan, Le, 2018; Brock, Lim, Ritchie, & Weston, Pham, Guan, Zoph, Le, Dean, 2018)。然而,在对抗性设置中,这些方法经常受到严重评估偏差的影响,这是由于子网络之间的参数干扰和先前学习权重的覆盖(Benyahia, Yu, Smires, Jaggi, Davison, Salzmann, Musat, 2019; Chu, Zhang, Xu, 2021; Xue, Tong, Neri, Chen, Luo, Zhen, Wang, 2024b),从而削弱了架构评估的可靠性。
因此,进化算法作为GAN架构搜索的一个有吸引力的替代方案出现了,因为它们具有无梯度优化、对非平滑目标的鲁棒性以及强大的全局探索能力。然而,现有的进化NAS-GAN方法经常在搜索效率、稳定性和可扩展性之间面临权衡。一些方法仅限于小规模的搜索空间,而其他方法则由于架构-权重优化之间的紧密耦合而导致训练动态不稳定或过早收敛到过于紧凑的模型,例如在DONAS-GAN(Aung等人,2025)中观察到的情况。这些限制突显了一个根本性挑战:有效的GAN架构搜索不仅需要高效的探索,还需要在对抗性不确定性下进行可靠、基于知识的评估。
在这项工作中,我们提出了HEAGAN,这是一种专门为GANs设计的高效混合进化架构搜索框架。HEAGAN不是将架构搜索视为纯粹的组合优化问题,而是明确解决了搜索过程中性能评估的可靠性问题。该框架结合了遗传算法(GA)和粒子群优化(PSO),并增加了受灰狼启发的引导机制,以平衡种群多样性和收敛性。为了减轻传统全权重共享方案引入的评估偏差,HEAGAN引入了具有动态节点激活的部分权重共享策略,这限制了参数的重用并减少了权重耦合和多模型遗忘。因此,子网络评估提供了更一致和有信息的反馈,以指导进化过程。
在之前的进化NAS-GAN框架(如EWSGAN(Xue等人,2024b)、EAMGAN(Man, Xu, & He, 2025)和Evo-OSNAS(Zhang, Jin, & Hao, 2022b)的基础上,本文做出了以下贡献:
  • •
    混合进化决策框架。我们引入了一种紧密结合的GA-PSO搜索策略,增强了灰狼群引导、基于锦标赛的选择和余弦退火惯性控制,从而在复杂的对抗性搜索空间中实现稳健的探索-利用平衡。
  • •
    考虑可靠性的超网络训练。我们提出了一种具有动态节点激活和受限参数重用的部分权重共享机制,显著减少了子网络干扰并提高了架构性能评估的准确性。
  • •
    鲁棒损失引导的搜索。我们引入了一种自适应的鲁棒损失函数,以在噪声和异常值存在的情况下稳定对抗性训练,为进化优化提供了更平滑和更有信息量的适应度信号。
  • •
    多目标知识驱动的优化。我们使用NSGA-II(Lu等人,2019)将GAN架构搜索表述为一个多目标决策问题,同时优化IS和FID,以加速收敛到帕累托最优前沿。
  • 章节片段

    生成对抗网络

    生成对抗网络(GANs)(Goodfellow等人,2014年)已被广泛用于无监督生成任务,包括图像转换(Shim, 2024, Xue, Zhang, Neri, 2023)、数据增强(Wang, Jiang, Mu, Dong, 2025, Zhang, Zhang, 2024)、零样本学习(Ranjan, Kaushal, Girdhar, Kumar, 2025, Zhu, Elhoseiny, Liu, Peng, Elgammal, 2018)和文本到图像合成(Habib, Wadud, Patwary, Rahman, Mridha, Okuyama, Shin, 2024, Vinothkumar, Varadhaganapathy, Shanthakumari)等。

    HEAGAN:一种基于知识的混合进化框架

    本节介绍了所提出的HEAGAN框架,作为一种考虑可靠性的GAN生成器架构优化训练和搜索范式。在HEAGAN中,超网络不是辅助组件,而是实现进化搜索的核心基础设施:它被训练为一个一次性性能评估器,候选生成器从中继承参数,以便在进化过程中快速且一致地进行适应度估计。因此,HEAGAN紧密地将(i)超网络

    实验

    本节评估了所提出的混合进化搜索和部分权重共享策略在无监督图像生成中的有效性。实验在CIFAR-10和STL-10上进行,设计了比较和消融研究来评估性能、稳定性和搜索可靠性。实现代码可在https://github.com/Bo-yiPeng/HEAGAN获取。

    结论

    本文提出了HEAGAN,这是一种用于生成对抗网络中神经架构搜索的高效混合进化框架。通过同时解决架构优化和超网络训练可靠性问题,HEAGAN实现了完全自动化的多目标架构发现,用于无监督图像生成任务。
    所提出的方法结合了遗传算法和粒子群优化的混合进化搜索策略,并加入了引导式种群动态。

    资助

    本工作得到了国家自然科学基金(编号:62376127、61876089、61876185、61902281和1403206)、江苏省自然科学基金(编号:BK20141005)以及江苏省高等教育机构自然科学基金(编号:14KJB520025)的支持,并部分得到了江苏省杰出教授项目的支持。

    CRediT作者贡献声明

    Ferrante Neri:概念化、方法论、监督、资金获取、撰写——审阅与编辑。Boyi Peng:方法论、软件、数据管理、调查、形式分析、撰写——初稿、可视化。Yu Xue:监督、项目管理、资源协调、验证。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号