神经网络系统在包括物体检测、自然语言处理、自动驾驶、推荐系统、生物医学研究和太空探索在内的广泛领域取得了显著的成功[[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11]]。在其发展过程中,作为最早的神经网络模型的人工神经网络(ANNs)[12]从生物神经元的连接模式中获得了灵感,能够处理具有固定结构和统一维度的数据。然而,ANNs的连接模式相对简单,缺乏建模局部空间结构的能力。随着对感知系统理解的深入,卷积神经网络(CNNs)[13]应运而生。通过利用局部感受野、权重共享和分层抽象等机制,CNNs有效地模拟了人类视觉皮层提取空间特征的方式,从而在图像识别任务中取得了突破性进展。此外,为了满足非欧几里得结构数据(例如社交网络、分子结构、知识图谱)中的建模需求,提出了图卷积网络(GCNs)[14]。GCNs能够灵活捕捉基于图结构的不规则连接和节点之间的高阶依赖关系,从而更接近生物神经系统的多样化和动态信息传输过程。从ANNs到GCNs,神经网络架构不断向更具生物学启发性的结构进化,逐步逼近人类大脑中的分布式表示、局部关联和结构化信息传播的基本机制[1]。
随着神经网络架构向生物系统的进化,人们对实际部署中遇到的鲁棒性挑战给予了越来越多的关注。特别是在高辐射的商业太空应用和安全敏感的自动驾驶中,单事件扰动(SEUs)等软错误可能会导致神经网络计算中的权重扰动或节点故障,从而降低系统性能并可能引发灾难性故障[[15], [16], [17], [18], [19], [20], [21], [22]]。尽管神经网络由于其分布式表示和冗余连接而具有某种程度的容错能力,但这种内在的鲁棒性在面对系统性扰动时仍然主要是被动的且不够充分。为了解决这个问题,人们进行了大量关于硬件级冗余技术(如三重模块冗余(TMR)和错误校正码(ECC)[[23], [24], [25], [26], [27]]以及容错模型设计方法(如容错模型搜索和故障感知训练[[28], [29], [30], [31], [32]])的研究,以提高模型在软错误下的可靠性。然而,这些方法大多主要集中在硬件架构或训练启发式上,没有充分利用神经网络背后的生物学特性和进化逻辑。因此,迫切需要构建一个具有自主结构进化能力的容错神经网络框架,以实现针对SEU引起的扰动的更具前瞻性和可持续性的鲁棒性改进。
从神经达尔文主义的角度来看,复杂神经系统中的冗余并不是通过刻意设计产生的,而是在早期大脑发育过程中通过随机连接产生的,这些随机连接生成了大量功能相似的神经元,从而形成了结构多样性。在随后的经验选择中,这些冗余神经元中的一部分通过参与特定的功能过程被激活和强化,逐渐形成了具有协同编码的分布式表示。这种由冗余生成、选择性强化和协同整合驱动的进化机制显著增强了神经系统对局部损伤或外部干扰(如神经元死亡)的容错能力,即使在部分节点故障的情况下也能保持稳定运行[[31], [32]]。受这一原理的启发,本文提出了一种节点分割机制,以生成足够的冗余单元来减轻敏感节点的负担,然后通过任务驱动的选择逐步优化神经元连接,并通过节点融合整合功能相似的单元。遗传算法[33]被用来实现整个网络的迭代进化,从而实现从敏感节点的高度集中信息处理向更鲁棒的分布式表示的转变。这种方法可以被视为对神经系统进化逻辑的工程化实现。通过辐照实验和分析验证,所提出的方法有效减轻了关键节点上过度负载集中带来的脆弱性,并以可忽略的成本显著提高了神经网络的容错能力,反映了生物神经系统的动态适应性进化。
本文的结构如下。第2节介绍了图卷积网络的基础知识,并回顾了与遗传算法和神经网络可靠性相关的工作。第3节详细描述了所提出算法的实现。第4节阐述了实验参数和配置设置,以及硬件平台的实现和部署细节和辐照实验的程序。第5节分析了不同方案的进化过程和性能变化,通过中子辐照实验评估了每种配置的容错能力,并深入分析了所提出算法的故障缓解机制。最后,第6节总结了本文的关键发现和贡献。