基于遗传算法的鲁棒图卷积网络设计,该方法利用节点分割与融合技术

《Swarm and Evolutionary Computation》:Genetic algorithm-based robust graph convolutional network design leveraging node splitting and fusion

【字体: 大 中 小 】 时间:2026年03月28日 来源:Swarm and Evolutionary Computation 8.5

编辑推荐:

  针对图卷积神经网络在安全关键环境中存在的软错误容错问题,本研究提出基于神经达尔文主义的遗传算法驱动结构优化框架。通过节点分割生成冗余单元和任务驱动的节点融合实现迭代网络进化,有效缓解故障传播、降低关键错误并优化故障分布,无需增加计算开销,为构建高效可靠GCNs提供新途径。

  
Jing Zhang|Peiyu Li|Zongxuan Xie|Xuezhi Zheng|Wangshen Wen|Jun Ge|Minchi Hu|Zhehan Dang|Chang Cai
广州大学物理与材料科学学院,中国广州510006

摘要

神经网络系统在多个领域中始终表现出卓越的性能,然而它们在安全关键环境中的应用仍面临由于软错误导致的重大鲁棒性挑战。传统的容错方法,包括硬件冗余和故障感知训练,往往不够充分,未能充分利用神经网络背后的生物学和进化原理。受神经达尔文主义的启发,本文提出了一种基于遗传算法的图卷积网络结构优化框架,该框架通过节点分割生成冗余单元,并通过节点融合整合功能相似的单元。迭代的网络进化逐步将信息处理从高度集中、敏感的节点转移到更鲁棒的分布式表示。通过辐照实验评估,所提出的方法可以限制故障传播、减轻关键错误并重塑故障分布模式,而不会增加额外的计算开销。其在实际安全关键场景中的应用为自动构建鲁棒的图神经网络提供了一条高效、低成本的途径。

引言

神经网络系统在包括物体检测、自然语言处理、自动驾驶、推荐系统、生物医学研究和太空探索在内的广泛领域取得了显著的成功[[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]。在其发展过程中,作为最早的神经网络模型的人工神经网络(ANNs)[12]从生物神经元的连接模式中获得了灵感,能够处理具有固定结构和统一维度的数据。然而,ANNs的连接模式相对简单,缺乏建模局部空间结构的能力。随着对感知系统理解的深入,卷积神经网络(CNNs)[13]应运而生。通过利用局部感受野、权重共享和分层抽象等机制,CNNs有效地模拟了人类视觉皮层提取空间特征的方式,从而在图像识别任务中取得了突破性进展。此外,为了满足非欧几里得结构数据(例如社交网络、分子结构、知识图谱)中的建模需求,提出了图卷积网络(GCNs)[14]。GCNs能够灵活捕捉基于图结构的不规则连接和节点之间的高阶依赖关系,从而更接近生物神经系统的多样化和动态信息传输过程。从ANNs到GCNs,神经网络架构不断向更具生物学启发性的结构进化,逐步逼近人类大脑中的分布式表示、局部关联和结构化信息传播的基本机制[1]。
随着神经网络架构向生物系统的进化,人们对实际部署中遇到的鲁棒性挑战给予了越来越多的关注。特别是在高辐射的商业太空应用和安全敏感的自动驾驶中,单事件扰动(SEUs)等软错误可能会导致神经网络计算中的权重扰动或节点故障,从而降低系统性能并可能引发灾难性故障[[15], [16], [17], [18], [19], [20], [21], [22]]。尽管神经网络由于其分布式表示和冗余连接而具有某种程度的容错能力,但这种内在的鲁棒性在面对系统性扰动时仍然主要是被动的且不够充分。为了解决这个问题,人们进行了大量关于硬件级冗余技术(如三重模块冗余(TMR)和错误校正码(ECC)[[23], [24], [25], [26], [27]]以及容错模型设计方法(如容错模型搜索和故障感知训练[[28], [29], [30], [31], [32]])的研究,以提高模型在软错误下的可靠性。然而,这些方法大多主要集中在硬件架构或训练启发式上,没有充分利用神经网络背后的生物学特性和进化逻辑。因此,迫切需要构建一个具有自主结构进化能力的容错神经网络框架,以实现针对SEU引起的扰动的更具前瞻性和可持续性的鲁棒性改进。
从神经达尔文主义的角度来看,复杂神经系统中的冗余并不是通过刻意设计产生的,而是在早期大脑发育过程中通过随机连接产生的,这些随机连接生成了大量功能相似的神经元,从而形成了结构多样性。在随后的经验选择中,这些冗余神经元中的一部分通过参与特定的功能过程被激活和强化,逐渐形成了具有协同编码的分布式表示。这种由冗余生成、选择性强化和协同整合驱动的进化机制显著增强了神经系统对局部损伤或外部干扰(如神经元死亡)的容错能力,即使在部分节点故障的情况下也能保持稳定运行[[31], [32]]。受这一原理的启发,本文提出了一种节点分割机制,以生成足够的冗余单元来减轻敏感节点的负担,然后通过任务驱动的选择逐步优化神经元连接,并通过节点融合整合功能相似的单元。遗传算法[33]被用来实现整个网络的迭代进化,从而实现从敏感节点的高度集中信息处理向更鲁棒的分布式表示的转变。这种方法可以被视为对神经系统进化逻辑的工程化实现。通过辐照实验和分析验证,所提出的方法有效减轻了关键节点上过度负载集中带来的脆弱性,并以可忽略的成本显著提高了神经网络的容错能力,反映了生物神经系统的动态适应性进化。
本文的结构如下。第2节介绍了图卷积网络的基础知识,并回顾了与遗传算法和神经网络可靠性相关的工作。第3节详细描述了所提出算法的实现。第4节阐述了实验参数和配置设置,以及硬件平台的实现和部署细节和辐照实验的程序。第5节分析了不同方案的进化过程和性能变化,通过中子辐照实验评估了每种配置的容错能力,并深入分析了所提出算法的故障缓解机制。最后,第6节总结了本文的关键发现和贡献。

节选内容

图卷积网络

与欧几里得空间中的规则网格不同,图的数据结构是不规则且不均匀的。图由顶点和边组成,不同的顶点通过边连接,每个顶点的度数可能有很大差异。这种不规则性使得难以有效地将传统的卷积操作应用于图结构数据。因此,提出了图卷积网络(GCNs)。一个标准的GCN网络通常由两个GCN层组成。公式(1)

基于遗传算法的框架概述

GCNs的信息传播框架与底层图结构紧密耦合;因此,它们的故障传播机制不可避免地受到这一关键因素的限制。为了揭示相关的脆弱性,我们首先在软件层面构建了一个基于32位寄存器的故障模型,并在GCN的输入层注入了随机的单比特翻转故障,模拟实际操作中可能发生的瞬态干扰。如图1所示,

参数设置和基准数据集

在本文中,我们关注了受生物神经系统原理指导的生物启发式结构优化的鲁棒性改进潜力。为了提高所提出算法的适用性,参数设置遵循了文献[37]中报告的惯例。具体来说,CROSSOVER_RATE和MUTATION_RATE分别设置为0.9和0.2;POPULATION_SIZE设置为20;代数设置为30。此外,

进化轨迹

为了更好地理解所提出的优化图网络结构的算法的细节,图5展示了该算法在三个基准数据集上的进化轨迹。如图5(a)所示,Split配置的适应度值演变过程被呈现出来。可以看出,由于任务较为简单,Split收敛得更快,而Fusion在大约第20代时接近收敛。然后我们收集了最佳个体

结论

本文通过提出一种基于遗传算法的结构优化方法,解决了GCNs在安全关键应用中对软错误的脆弱性问题,以提高其内在的容错能力。该框架受到神经达尔文主义的启发,通过节点分割生成冗余单元,并通过节点融合整合功能相似的单元。利用遗传算法,它协调了整个网络的迭代结构进化,将信息处理

CRediT作者贡献声明

Jing Zhang:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,软件,项目管理,方法论,调查,数据管理,概念化。Peiyu Li:软件,调查。Zongxuan Xie:软件,调查。Xuezhi Zheng:调查。Wangshen Wen:软件。Jun Ge:监督。Minchi Hu:验证。Zhehan Dang:验证。Chang Cai:撰写 – 审稿与编辑,监督,项目管理,资金获取。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号