通过图像恢复任务对比由不同神经结构构成的忆阻型脉冲神经网络的性能
《Ceramics International》:Performance comparison of memristive spiking neural networks composed of different neural structures through image restoration problem
【字体:
大
中
小
】
时间:2026年03月16日
来源:Ceramics International 6.0
编辑推荐:
阿赫梅特·亚辛·巴兰|奥贝德·阿卜杜拉|尼梅特·科尔克马兹|雷贾伊·基利奇
土耳其凯塞里省梅利克加齐市,埃尔吉耶斯大学电气与电子工程系,邮编38039
摘要
脉冲神经网络作为第三代神经网络,将生物神经元结构与类脑计算方式相结合。近年来,为了实现STDP学习规则,人们
阿赫梅特·亚辛·巴兰|奥贝德·阿卜杜拉|尼梅特·科尔克马兹|雷贾伊·基利奇
土耳其凯塞里省梅利克加齐市,埃尔吉耶斯大学电气与电子工程系,邮编38039
摘要
脉冲神经网络作为第三代神经网络,将生物神经元结构与类脑计算方式相结合。近年来,为了实现STDP学习规则,人们将忆阻器突触机制引入脉冲神经网络结构中。基于此的忆阻器脉冲神经网络结构已被开发出来,并成功应用于诸多问题。不过这类结构通常采用的神经元模型生物学意义较低。目前文献中尚未充分揭示高生物学意义的神经元模型在忆阻器脉冲神经网络中的应用对网络性能的影响。因此,本研究通过图像恢复任务,比较了采用高生物学意义神经元模型与电压阈值自适应忆阻器结构所构建的忆阻器脉冲神经网络的性能。为此,首先设计了三种不同的基础忆阻器脉冲神经网络结构,每种结构包含25×5个神经元,分别采用菲茨休-纳古莫模型、欣德马什-罗斯模型和莫里斯-莱卡模型。接着通过乔格卡尔函数、比奥莱克函数和普罗德罗马基斯函数对这三种基础结构进行变体处理,得到了九种不同的基于忆阻器的神经网络结构。随后利用每种网络处理图像恢复任务,通过STDP规则和WTA算法恢复含噪声的图像。所有网络的性能指标,如忆阻响应、稳定时间以及误差对比等,均以详细图表形式呈现。为定量比较,还使用了结构相似性指数对原始噪声图像与恢复后的图像进行对比。根据性能对比结果可得出两个重要结论:其一,神经元模型的生物学意义越强,忆阻器脉冲神经网络恢复真实图像的速度越快;其二,忆阻器元件中窗口函数的变化也会显著影响网络性能。
引言
人类大脑能够借助多个相互连接的生物神经元网络来处理和存储信息[1][2]。受大脑信息处理机制启发,人们开发出了多种神经网络技术,旨在降低传统编程方法在解决问题时的复杂性。这些技术可划分为三类:第一代、第二代和第三代神经网络。第一代神经网络是由一层或多层神经元构成的简单感知器网络[3],其输出信号基于简单的两级激活函数产生。这类网络可用于解决分类问题,但无法学习更复杂的关联关系。第二代神经网络则是多层感知器,即深度神经网络。深度神经网络采用多级激活函数,虽然能帮助网络学习输入与输出变量之间更复杂的关联,但也使得网络结构比第一代神经网络更为复杂[4][5]。此外,深度神经网络还存在诸多问题,如缺乏专用加速芯片、功耗高、实时性能较差,且需要大量计算资源[6][7]。
另一方面,脉冲神经网络作为第三代人工神经网络,继承了第一代和第二代人工神经网络的特点,同时具有鲜明的生物学意义。脉冲神经网络的设计灵感来自大脑中生物神经元之间的通信机制,其结构由多个神经元层组成,当膜电位超过阈值时,这些神经元层会产生脉冲信号[8]。这类网络因其事件驱动特性、高效率、可在专用类脑芯片上运行以及依托低功耗硬件等优势而备受关注[9][10][11][12][13]。不过,脉冲神经网络也存在一些缺陷,如精度相对较低,且相关理论体系尚未完全建立。近期,作为传统冯·诺依曼架构的替代方案,类脑计算和逻辑存储系统引起了广泛关注。忆阻器脉冲神经网络也是其中的新兴技术之一。1971年,莱昂·楚亚提出了忆阻器元件,该元件被用作类脑信息处理中忆阻器脉冲神经网络的基本构建单元[14][15][16][17][18]。为了执行特定任务,忆阻器脉冲神经网络可通过监督学习或无监督学习算法进行训练[19][20]。在将忆阻器突触引入脉冲神经网络结构后,这类网络的计算能力得以提升[21][22][23][24][25][26]。
本研究采用了两种基本方法,为忆阻器脉冲神经网络的理论体系提供新的视角,认为这两种方法会对网络结构的性能产生重要影响。第一种方法是研究生物神经元模型的影响。由于神经元是大脑信息处理的基本单元,其详细的数学定义也会影响人工神经元的性能。另一种方法是研究突触定义的影响。突触连接负责在真实神经元之间传递信息,其工作原理与忆阻器元件密切相关。因此,忆阻器元件中窗口函数的变化对忆阻器脉冲神经网络的性能具有重要影响。
首先,研究了用于构建脉冲神经网络结构的神经元模型定义。现有研究表明,大多数文献中采用的神经元模型为积分触发模型和漏积分触发模型[27][28][29][30][31][32]。这类脉冲神经网络结构基于用电阻器和电容器表示神经元放电原理的理念,其中积分触发模型对此理念的体现最为直接。在该模型中,只有当外部输入作用于神经元且其强度超过阈值时,才会产生动作电位,否则膜电位将保持原有状态。而在漏积分触发模型中,为模拟神经元的离子扩散效应,增加了额外项,使得膜电位具有时间依赖性。这两种模型并无生物学意义,仅用于描述脉冲的产生过程。尽管它们在呈现神经元膜电位的时间变化特征方面具有一致性,但却是通过对生物神经元的关键特性进行抽象化得到的。另一方面,1952年,霍奇金和赫胥黎基于鱿鱼轴突的生物学特性提出了一个新的数学模型。通过该模型,可以详细定义膜上的离子传输机制、离子传导的平衡电位以及膜上电压门控通道的状态[33]。由于霍奇金-赫胥黎模型中的这些详细定义会带来较大的计算负担,人们通过简化该模型发展出了多种神经元模型,包括菲茨休-纳古莫模型、欣德马什-罗斯模型、莫里斯-莱卡模型、伊日凯维奇模型以及自适应指数积分触发模型[34][35][36][37][38]。虽然这些简化模型无法像霍奇金-赫胥黎模型那样详细定义神经元的各种特性,但通过各类参数仍可体现这些关键特性。此外,这些简化模型仅需两三个常微分方程即可描述,具备较高的计算效率。在本研究中,分别采用以下三种神经元模型构建了25×5规模的忆阻器脉冲神经网络结构:第一种是菲茨休-纳古莫模型,该模型是对霍奇金-赫胥黎模型进行简化后的结果,定义较为简单;第二种是欣德马什-罗斯模型,它在菲茨休-纳古莫模型的基础上增加了一个状态变量,以增强神经元动态的多样性;第三种是莫里斯-莱卡模型,该模型依据与霍奇金-赫胥黎模型相似的离子传导特性来描述神经元动态。
其次,突触结构在神经元的学习过程中起着关键作用。神经系统学习的基础是突触可塑性,而突触可塑性最典型的体现方式就是时序依赖性突触可塑性算法,该算法也是脉冲神经网络的核心参数之一[39]。在该算法中,突触前脉冲与突触后脉冲之间的时间差决定了突触权重变化的方向和强度,进而影响网络的学习过程。近期的一些研究显示,在类脑研究领域,时序依赖性突触可塑性算法经常与忆阻器结构结合使用[40][41]。目前,人们已利用忆阻器定义构建了忆阻器脉冲神经网络结构,用于解决特定问题。但据我们所知,目前尚无研究探讨忆阻器定义中窗口函数变化对忆阻器脉冲神经网络性能的影响。在本研究中,除了分析神经网络描述细节对忆阻器脉冲神经网络性能的影响外,还通过基于电压阈值自适应忆阻器定义的三种不同窗口函数,对忆阻器脉冲神经网络结构进行了多样化设计[42]。具体而言,首先分别使用菲茨休-纳古莫模型、欣德马什-罗斯模型和莫里斯-莱卡模型构建由25×5个神经元组成的忆阻器脉冲神经网络结构,随后再分别利用乔格卡尔函数、比奥莱克函数和普罗德罗马基斯函数对应的忆阻器将这些神经元连接起来。
最后,通过上述构建方式,得到了九种不同的忆阻器脉冲神经网络结构,用于解决图像恢复这一特定问题。在该图像恢复任务中,选取五个字母作为模板图像,并向其添加均匀的白噪声。随后分别利用这九种忆阻器脉冲神经网络结构尝试从含噪声的图像中恢复出真实的图像。为此,根据相同的问题评估标准,对这九种忆阻器脉冲神经网络的性能进行了比较。具体而言,记录了每种忆阻器脉冲神经网络恢复含噪声图像所需的稳定时间,并计算了恢复后的图像与原始无噪声图像之间的结构相似性指数。基于这两项标准,对九种忆阻器脉冲神经网络的性能进行了对比,最终得出了两个重要结论:其一,神经元模型的生物学意义越强,忆阻器脉冲神经网络恢复真实图像的速度越快;其二,忆阻器元件中窗口函数的变化也会显著影响网络性能。本研究的主要贡献如下:
• 本研究首次系统分析了具有生物学意义的神经元模型,即菲茨休-纳古莫模型、欣德马什-罗斯模型和莫里斯-莱卡模型,对忆阻器脉冲神经网络性能的影响,从而全面阐述了贴近生物现实的神经元动态对网络整体行为的作用。
• 系统研究了基于电压阈值自适应忆阻器结构的乔格卡尔函数、比奥莱克函数和普罗德罗马基斯函数对忆阻器脉冲神经网络性能的影响。
• 详细研究了忆阻器器件中窗口函数的非线性特性对网络学习动态及图像恢复质量的影响,明确了窗口函数在决定忆阻器脉冲神经网络性能方面的关键作用。
• 在字母模板图像被白噪声干扰的图像恢复任务背景下,基于网络忆阻响应、稳定时间以及结构相似性指数等关键性能指标,对多种不同的忆阻器脉冲神经网络结构进行了全面比较。
• 最后,通过详细的响应图表展示了九种不同忆阻器脉冲神经网络结构的对比结果,确定了能够最成功恢复被噪声干扰的字母图像的最佳网络结构及参数组合。
本文的结构如下:第二部分首先介绍忆阻器脉冲神经网络结构的基础知识,阐述神经网络的发展历程,并说明忆阻器脉冲神经网络的优势。第三部分则详细研究用于所设计的忆阻器脉冲神经网络中的生物神经元模型(菲茨休-纳古莫模型、莫里斯-莱卡模型、欣德马什-罗斯模型)及其对网络行为的影响,同时在这一部分还定义了忆阻器元件以及乔格卡尔函数、比奥莱克函数和普罗德罗马基斯函数。第四部分在介绍具体的图像恢复任务后,说明了如何利用九种不同的忆阻器脉冲神经网络结构来解决该任务。第五部分展示了基于生物神经元模型与忆阻器窗口函数组合所得到的数值研究结果,并通过图表对这些结果进行可视化呈现,最后在结论部分对整个研究进行了总体评价。
片段摘录
神经网络代际与脉冲神经网络
人类大脑能够借助多个相互连接的生物神经元网络来处理和存储信息。受这一结构的启发,自20世纪80年代以来,人工神经网络被广泛用于降低问题解决的复杂性[1][2]。ANNs可划分为三种类型:第一代、第二代和第三代神经网络,这些分类是基于它们的层结构以及各层结构的训练方式来确定的。本节探讨了所设计的忆阻型脉冲神经网络的结构,阐述了该结构的特征及其数学模型,并对它们分别进行了分析。在介绍了能够体现MSNN脉冲行为的神经元模型以及基于VTEAM忆阻器模型的多种窗口函数之后,这些组件被用来构建不同的MSNN网络。图2展示了一个总结这一过程的图表,该图反映了所设计的MSNN的结构。
在图像恢复问题的研究背景下,本研究选取了文献中已有研究的案例,用于评估SNNs的性能[62]、[63]、[64]、[65]、[66]、[67]、[68]。此外,还有其他涉及利用SNNs进行图像恢复和模式识别应用的研究,这些研究的内容已在表3中进行了总结。在大多数这类研究中,所构建的SNNs都采用了STDP学习算法,而该算法通常是通过忆阻性突触来实现的。
在本研究部分,为了获得有意义的结果,计算了突触权重的平均稳定时间及其对应的标准差。同时,SSIM评估结果清楚地显示了窗口函数选择对神经元模型结构输出质量的影响,表明评估不仅仅局限于基于稳定时间的分析,还包括相似性和模式一致性指标。首先,是各项统计结果。
本研究构建了九种忆阻型SNN网络结构,旨在解决图像恢复这一特定问题。通过针对同一问题采用相同的评估标准,比较了这九种MSNN网络的性能。由此得出了两个重要结论:其一,随着神经元模型的生物学合理性提高,MSNN网络能够更快地得到准确输出;其二,忆阻器元件中窗口函数的变化也会对网络性能产生影响。
**作者贡献说明**
Ahmet Yasin Baran:撰写原始稿件、软件开发、研究实施。Obeid Abdalla:撰写原始稿件、软件开发、概念设计。Nimet Korkmaz:论文审阅与编辑、方法设计。Recai K?l??:结果验证、项目监督。
**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
**致谢**
我们感谢埃尔吉耶斯大学科学研究项目协调办公室(ERU/BAP)(项目编号FBA-2024-13580)以及土耳其科学和技术研究理事会2211-C计划(项目编号1649B032309584)所提供的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号