激活集成与记忆辅助的动态锁存量化器:用于抗变异且低能耗的神经形态计算
《Advanced Intelligent Systems》:Activation-Integrated and Memory-Assisted Dynamic-Latch Quantizer for Variation-Tolerant and Low-Energy Neuromorphic Computing
【字体:
大
中
小
】
时间:2026年03月10日
来源:Advanced Intelligent Systems 6.1
编辑推荐:
摘要
模拟-数字转换器(ADC)仍然是神经形态计算(NC)系统中的主要瓶颈,尤其是在面积和能耗方面。在这项工作中,我们提出了一种基于动态锁存器的、由存储器辅助的ADC,该ADC集成了电荷陷阱闪存(CTF)存储单元,以实现高度紧凑和节能的操作。这种存储器辅助的动态锁存器ADC将C
摘要
模拟-数字转换器(ADC)仍然是神经形态计算(NC)系统中的主要瓶颈,尤其是在面积和能耗方面。在这项工作中,我们提出了一种基于动态锁存器的、由存储器辅助的ADC,该ADC集成了电荷陷阱闪存(CTF)存储单元,以实现高度紧凑和节能的操作。这种存储器辅助的动态锁存器ADC将CTF单元嵌入到差分比较器中,将阈值转变为一个非易失性的、可电编程的参数,并重新利用它来执行ADC内的非线性激活功能。4位ADC通过选择性的编程/擦除操作,以10毫伏的分辨率调整其切换点,表现出平均DNL=0.07 LSB,并且能够在高达100°C的温度下稳定工作。在500纳米工艺下,每个比特的转换大约需要15纳秒和约220飞焦耳的预充电和评估周期能量;而当缩小到32纳米工艺时,延迟减少到约26皮秒,能量消耗降低到约690阿焦耳。基准测试证实,与之前的设计相比,所提出的ADC在能量和面积效率方面具有显著优势,使其成为NC系统的紧凑且可行的解决方案。
1 引言
最近在人工智能(AI)领域的进展展示了超越人类能力的性能,使其成为现代社会不可或缺的一部分[1-3]。然而,这种AI的进步是以增加计算需求为代价的。AI参数的维度持续增长,其增长速度超过了基于冯·诺伊曼架构的硬件(如GPU/CPU)的改进速度,这引发了硬件可扩展性可能成为AI发展瓶颈的问题[4, 5]。此外,维持这些工作负载所需的能量消耗巨大。如果当前趋势持续下去,到2030年,AI的功耗可能会超过全球电力供应量,这意味着硬件限制最终可能会阻碍AI的进一步发展[6]。这一预期突显了在AI计算硬件效率方面取得突破的迫切需求。传统的冯·诺伊曼架构依赖于存储单元和处理单元之间的分离。冯·诺伊曼架构由于大量数据传输和对数字逻辑操作的依赖而导致了巨大的能量开销[4]。为了解决这些问题,神经形态计算(NC)作为一种有前景的替代方案应运而生[7-9]。NC方案将AI参数直接存储在非易失性存储器(NVM)阵列中,以导电状态的形式存储,从而根据欧姆定律和基尔霍夫电流定律实现大规模并行模拟操作[10]。关键操作是输入向量与权重矩阵之间的向量-矩阵乘法(VMM)。各种NVM,包括电荷陷阱闪存(CTF)[11-13]、ReRAM[14-16]、铁电存储器[17-19]、相变存储器[20, 21]和电化学存储器[22, 23],都可以用于VMM操作。模拟VMM操作通常能够实现每瓦特几到数百太次操作的能效性能(TOPS/W),比传统的数字AI加速器提高了数百倍[24-26]。由于许多报告中的实际宏观级实现仍在不断成熟[27-29],NC操作越来越被视为下一代低能耗AI加速器的有希望的候选者。然而,NVM主要被用于VMM操作,而外围电路通常假设使用传统的nMOS/pMOS基CMOS组件实现[30]。尽管如此,大多数研究主要集中在NVM阵列的特性上,要么忽略外围电路,要么假设它们是理想的。然而,这些外围电路(特别是模拟-数字转换器(ADC)的操作)会引入显著的面积和能量开销,因此对其优化对于NC的整体效率至关重要[31]。相比之下,一些研究旨在通过利用NVM或专用组件来减少外围电路中的晶体管数量。这些方法试图用高度紧凑的替代设备替换传统的CMOS实现,包括逻辑门、施密特触发器、随机数生成器和积分-触发操作,从而提高面积和能量效率[32-35]。尽管这些研究在各自领域取得了显著的改进,但它们通常仅限于特定的操作替换,而没有解决NC架构的问题。在这项工作中,我们提出了一种将CTF存储单元集成到动态锁存器比较器中的存储器辅助ADC架构,如图1所示。这种存储器辅助设计预计将比传统的CMOS实现提供多种设计优势,包括增强的抗变性、可调性和ADC内计算能力。除了我们之前的存储器辅助ADC[36, 37],它们在很大程度上提高了面积和能量效率外,这项工作还进一步解决了热可靠性问题,这是NC在广泛工作温度范围内实际应用的关键要求。在动态锁存器比较器电路中使用嵌入式CTF存储单元可以针对工艺变化进行调节,而动态充放电机制确保了超低能耗。基于动态锁存器的架构还通过差分结构确保了热稳定性。存储器辅助ADC通过在存储器辅助比较器中直接嵌入非线性映射,进一步集成了额外的非线性激活功能,消除了对单独非线性激活模块的需求。通过这种统一的方法,我们强调存储器辅助设计可以克服NC中ADC的传统限制。通过降低复杂性、提高可靠性和集成非线性激活功能,我们的存储器辅助动态锁存器ADC为可扩展、节能且实用的神经形态硬件铺平了道路。
2 存储器辅助动态锁存器ADC的特性和测量
在本节中,我们提出了存储器辅助动态锁存器ADC的特性和测量结果。该ADC是在6英寸SOI晶圆上使用500纳米CMOS工艺技术制造的。存储设备的集成仅需要一个额外的掩模,确保与nMOS和pMOS晶体管兼容。详细的制造流程如图S1所示。如图2a,b所示,存储设备是一个具有TiN栅极和Al2O3/Si3N4/SiO2介电堆栈的CTF单元。单个ADC单位比特模块的电路图以及使用单位比特模块的整个ADC架构如图S2所示。制造的存储器辅助动态锁存器ADC如图2c所示。图3a中左侧和右侧CTF存储单元的阈值电压分别表示为Vth1和Vth2。图3a展示了基于动态锁存器的ADC的操作时序图,该操作包括两个阶段:预充电阶段和评估阶段。在预充电阶段,施加在PMOS上的Vpre设置为0伏特,将输出反相器的输入节点和虚拟反相器的输入节点充电到电源电压(Vdd)。在预充电阶段,输入电压(Vin)和参考偏置电压(Vbias)都保持在0伏特,电路中没有静态电流流动。在评估阶段,Vpre变为Vdd,并对Vin和Vbias施加电压。Vin设置为要转换的模拟电压,而Vbias设置为预定的参考电压。在操作过程中,ADC的行为通过比较两个CTF存储单元上的电压过驱动(Vin?Vth2和Vbias?Vth1)来确定。如果连接到Vin的CTF存储单元的电压过驱动大于连接到Vbias的CTF存储单元的电压过驱动,则锁存器操作通过下拉作用将VNode电压降低;相反,如果Vin侧的电压过驱动较小,则锁存器操作通过上拉作用将节点电压升高。因此,存储的阈值电压使得每个单元的参考电平可以调节,而由Vin和Vbias确定的电压过驱动之间的比较通过锁存器操作设置了VNode电压。然后,接收VNode作为输入的反相器决定了最终的输出电压Vout。通过这一系列操作,实现了模拟到数字的转换。由于差分锁存器结构,这种操作对温度变化具有很强的鲁棒性。因为电路对于Vin和Vbias是完全对称的,温度引起的变化对两侧的影响相似,因此大部分被抵消了。
2.1 CTF栅极器件堆栈的示意图(TiN/Al2O3/Si3N4/Si)。
2.2 显示介电层厚度的横截面TEM图像。
2.3 制造的ADC的显微图,突出显示了单位比特模块。
3 存储器辅助动态锁存器ADC的操作时序图
(a) 所提出的基于动态锁存器的ADC的操作时序图。当(b) Vin > Vbias和(c) Vin > Vbias时,测量得到的动态锁存器ADC的瞬态波形。图3b,c展示了在原始CTF存储单元状态下单位比特模块的瞬态测量结果(室温下)。具体来说,图3b对应于Vin为0.49伏特且Vbias为0.5伏特的情况,而图3c显示Vin为0.51伏特且Vbias为0.5伏特的情况。在预充电阶段,输出电压(Vout)被初始化为0伏特。然而,在评估阶段,行为会有所不同:如果Vin低于Vbias,则输出反相器的输入节点保持充电状态,导致Vout保持在0伏特;相反,如果Vin高于Vbias,则锁存器释放输出反相器的输入节点,使Vout变为Vdd。在图S3中,通过在100°C的温度下进行相同的测量来评估存储器辅助动态锁存器ADC的热可靠性。结果证实,即使在高温条件下,ADC也能保持稳定操作。这种鲁棒性源于差分锁存器架构,它对称地抵消了温度引起的器件特性变化。结果还证实,ADC即使在高温条件下也能保持稳定操作。为了验证这种行为,使用PTM 32纳米技术库[38]进行了额外的模拟,如图S4a所示。ADC单位比特模块的切换电压定义为Vswitch。当Vin高于Vswitch时,输出为“1”;当Vin低于Vswitch时,输出为“0”。评估了所有编程的Vswitch水平(从0.15伏特到0.75伏特)在室温到100°C之间的变化。在所有情况下,Vswitch的变化都在10毫伏特范围内。假设参考电平间隔为0.1伏特,这相当于不到0.1个LSB,表明在温度变化下的操作非常稳定。图S4b-d表明,存储器器件的温度依赖性传输特性在不同阈值电压设置下并不完全对称,但这并不完全抵消了变化。尽管如此,产生的偏差很小,不会影响整体鲁棒性。图4a展示了集成到ADC中的CTF存储单元的选择性编程和擦除方法。在我们之前的工作中,我们验证了仅通过控制源节点、体节点和栅节点(同时让漏节点悬空)就可以成功执行编程、擦除和抑制操作[39]。为了选择性地编程某个CTF存储单元,相应Vin存储单元的栅节点被偏置到一个高编程电压(VPGM)。相反,为了抑制之前连接到Vbias的存储单元的编程,其栅节点被接地到0伏特(Vinh)。所选存储单元的源节点和体节点被偏置到0伏特(Vsel),而被抑制的单元的源节点和体节点接收VPGM的一半(Vunsel)。因此,只有目标单元会出现高电压,所有其他单元都保持抑制状态。对于擦除操作,向Vsel施加高电压以避免使用负电压。Vunsel被偏置到0伏特。VERS被接地到0伏特,而Vinh被设置为Vsel的一半以进行抑制。图4b显示了使用该方法成功进行选择性编程和擦除操作的结果。图S5展示了使用选择性编程/擦除操作来调整每个ADC单位比特模块的Vswitch的流程图。按照这个程序,测量的Vswitch在规定的分辨率(本工作中为10毫伏特)内收敛到目标值。图4c展示了随着Vin的增加,Vout最初从0伏特转变为Vdd时的Vswitch映射结果。图S6展示了CTF存储单元的耐久性和保持特性,以证明CTF存储器辅助ADC的可靠性。图4:在图查看器或PowerPoint中打开
(a) 示意图展示了所提出的基于动态锁存器的内存ADC中的程序、擦除和抑制操作。(b) 测量结果证实了Vswitch的选择性变化。(c) 每个单元位模块的Vswitch映射结果。(d) ADC的DNL和INL测量值。
3. ADC中的激活函数集成
此外,基于内存的动态锁存器ADC可以直接在ADC操作中集成非线性激活函数。如图5a所示,AI计算中的隐藏神经元需要ReLU或Sigmoid等非线性激活函数。在传统的基于NVM的模拟AI加速器中,ADC操作之后需要一个单独的数字模块来处理非线性激活函数[40]。这种方法在加速器内部引入了额外的数据传输,并由于额外的数字电路而增加了面积和能量开销。此外,当数据转换先于非线性激活时,在非线性激活函数处理之前会发生信息丢失。由于量化是一个不可逆的多对一操作,会丢弃幅度信息,因此后续的非线性激活无法恢复这些信息,从而导致计算精度下降[41]。在量化之前应用单调压缩非线性可以保持有效的分辨率并减少失真,而量化后的非线性则无法恢复量化器丢失的信息[42]。相比之下,如图5b,c所示,所提出的基于内存的ADC通过Vswitch实现了线性和非线性映射。这种集成允许在ADC本身内执行非线性激活,从而减少了对额外数字模块的需求。因此,基于内存的ADC不仅提高了ADC操作本身的效率,还通过将非线性计算直接嵌入到转换过程中增强了系统级性能。
图5:在图查看器或PowerPoint中打开
(a) 集成非线性激活的激活感知ADC的概念。(b) 使用100 mV Vswitch间隔测量的4位ReLU类映射。(c) 使用0.5到1.5 V的Vswitch测量的4位Sigmoid类映射。
4. ADC性能评估
4.1 网络仿真
进行了神经网络仿真以评估所提出的基于动态锁存器的ADC的适用性。如图6a所示,使用具有七个卷积层和两个全连接层的VGG-9网络[43]进行了CIFAR-10图像分类,其中ADC的DNL被集成到修正线性单元(ReLU)激活中。网络应用了5位权重和4位激活的条件。
4.2 ADC基准测试
ADC性能在500纳米和32纳米CMOS工艺节点上进行了基准测试。在500纳米节点,所有结果均基于实验测量,图S7中显示的瞬态波形除外,而能耗和延迟是使用HSPICE仿真计算的。32纳米的结果完全基于仿真,旨在预测所提出ADC的可扩展性。选择32纳米节点是因为商业晶圆工艺中可用的嵌入式闪存选项最低可达28纳米,而32纳米代表了最接近的公开可用工艺库。图S7a,b分别使用500纳米和32纳米工艺库[38, 44]进行了HSPICE仿真,以评估基于动态锁存器的内存ADC的可扩展性、延迟和能耗。在500纳米工艺仿真中,Vdd设置为2.5 V,Vin设置为1.01 V,Vbias设置为1 V。在操作期间,由预充电阶段后的锁存器放电启动的评估阶段大约在15纳秒内完成。此外,每个单元位模块的总能耗大约为220 fJ,用于一个预充电和评估阶段的周期。能量主要消耗在动态操作上,显示出随着电容减少而改进的潜力。相比之下,32纳米节点的仿真显示了显著的性能提升,过渡过程仅需要大约26皮秒。此外,每个单元位模块的能耗显著降低到大约690 aJ,突显了所提出ADC设计的强大可扩展性。图7将所提出的基于内存的动态锁存器ADC的关键性能指标与之前报道的设计进行了对比[45]。正如早期研究所示,并通过我们的网络级仿真得到证实,AI推理任务即使在低分辨率激活下也能保持准确性。基于这一见解,我们设计并评估了一个4位ADC。如图7a所示,所提出的设计即使在500纳米工艺中也能实现具有竞争力的每转换能耗,而图7b展示了其紧凑的面积占用。当扩展到32纳米时,电路级仿真预测在能效和面积密度方面都有几倍的改进,即使与在更先进工艺节点(如5纳米)制造的ADC相比也是如此[46]。
图7:将所提出的基于内存的动态锁存器ADC与报道的设计进行基准测试。(a) 每样本能耗与有效位数。(b) 面积与有效位数。所提出的工作在500纳米和32纳米节点上都展示了具有竞争力的性能。表S1和S2提供了包括温度计到二进制编码器的性能基准,以便进行公平比较[9, 30, 36, 37, 47-49]。对于32纳米的扩展预测,假设CTF存储单元具有足够的Vth调节范围[50]。我们注意到,扩展CTF存储单元可能会引入非理想性,包括设备间的变异性和随机电报噪声引起的电流波动,这可能会干扰有效的切换点。因此,预测结果没有假设嵌入式CTF存储单元的最小特征扩展。与我们之前报道的静态内存ADC相比,所提出的设计展示了改进的能效。与基于闪存闸流管的早期动态内存ADC相比,这里提出的基于锁存器的动态操作显著降低了延迟,同时保持了内存辅助设计的固有优势。尽管锁存器结构使用的晶体管比基于闸流管的设计更多,但它仅由标准nMOS/pMOS设备和CTF存储单元组成,确保了可制造性和对工艺变化的鲁棒性。重要的是,虽然之前的工作确立了内存辅助ADC的可行性并展示了其在紧凑性和效率方面的优势,但所提出的设计通过实现比传统CMOS基ADC更高的面积和性能进一步增强了这些优势。此外,所提出的ADC可靠地保持了大于4位的有效分辨率,这对于鲁棒的神经计算(NC)来说是足够的。
5. 结论
在这项工作中,我们提出了一种基于内存辅助的动态锁存器的ADC,它将CTF存储单元集成到比较器结构中,用于神经计算(NC)应用。在高达100°C的温度下,证明了差分锁存器的稳健操作。CTF辅助的调节将切换点设置为具有10 mV分辨率的目标,提供了对设备和工艺变化的强容忍度。ADC基准测试表明,与之前基于内存的和传统的CMOS ADC相比,它在能效和面积效率方面具有优越性。这些结果解决了神经形态加速器中的一个核心瓶颈,并确立了CTF辅助的动态锁存器ADC作为未来NC的紧凑、节能且可行的解决方案。
支持信息
更多支持信息可以在支持信息部分在线找到。支持图S1:所提出的基于内存辅助的动态锁存器ADC在SOI晶圆上的制造工艺流程。该流程包括:(i) 有源隔离、氧化和通道离子注入,(ii) pMOS/nMOS设备的栅极氧化和n+多晶栅(Gate 1)图案化,(iii) Al2O3/Si3N4/SiO2(ANO)堆栈和TiN栅(Gate 2)的沉积以及CTF集成的图案化,以及(iv) 源/漏极离子注入,随后是后端线(BEOL)处理。该流程展示了标准CMOS设备和CTF存储单元的共集成,仅需要一个额外的掩模步骤。支持图S2:所提出的基于内存辅助的动态锁存器ADC的电路图。单个单元位模块由带有嵌入式CTF存储器的动态锁存器比较器组成,用于生成可校准的参考信号。多个具有不同参考电压的单元位模块级联产生温度计代码输出,实现多级量化。支持图S3:在高温(100°C)下所提出的基于内存辅助的动态锁存器ADC的测量瞬态波形。(a) 对于Vin = 0.49 V和Vbias = 0.5 V,输出(Vout)在评估期间保持低电平。(b) 对于Vin = 0.51 V和Vbias = 0.5 V,Vout切换到高电平。结果证实了在高温条件下的稳定和稳健操作。支持图S4:从27°C到100°C的切换电压变化的蒙特卡洛评估。提取了每个编程Vswitch条件的Vswitch变化。还展示了用于设置Vswitch的存储设备的模拟温度依赖性ID–VG传输曲线:(b) Vswitch = 0.45 V,(c) Vswitch = 0.15 V,(d) Vswitch = 0.75 V。支持图S5:用于校准每个单元位模块的Vswitch的选择性编程/擦除映射算法的流程图。该过程迭代地测量Vout在Vin = Vswitch ± 分辨率(res)时,根据需要向目标CTF单元施加编程(PGM)或擦除(ERS)脉冲,并收敛直到Vswitch与所需分辨率对齐。支持图S6:(a) CTF单元在编程/擦除操作后的阈值电压保持。(b) 程序/擦除循环下的记忆窗口和亚阈值摆幅。支持图S7:所提出的基于内存辅助的动态锁存器ADC的瞬态HSPICE仿真结果。(a) 在500纳米节点(Vdd = 2.5 V,Vin = 1.01 V,Vbias = 1 V)时,评估阶段完成,延迟约为1.5纳秒。(b) 在32纳米节点(Vdd = 0.9 V,Vin = 0.46 V,Vbias = 0.45 V)时,延迟显著降低到约26皮秒,突显了设计的强大可扩展性。支持图S8:具有共享高压编程/擦除驱动器的ADC架构,用于CTF存储单元的Vth调节。支持表S1:之前和所提出的基于内存辅助的锁存器ADC之间的基准测试。支持表S2:所提出的基于内存辅助的锁存器ADC与用于低功耗神经计算的ADC之间的基准测试。
作者贡献
Jonghyun Ko:概念化(平等),数据整理(平等),形式分析(平等),调查(平等),方法论(平等),项目管理(平等),资源(平等),软件(平等),验证(平等),可视化(平等),写作——原始草稿(平等),写作——审阅与编辑(平等)。Jiseong Im:概念化(平等),数据整理(平等),形式分析(平等),调查(平等),方法论(平等),资源(平等),软件(平等),验证(平等),可视化(平等),写作——原始草稿(平等),写作——审阅与编辑(平等)。Ryun-Han Koo:数据整理(支持),方法论(支持),验证(支持),可视化(支持)。Sung-Ho Park:数据整理(支持),形式分析(支持),方法论(支持)。Jong-Ho Lee:资金获取(领导),项目管理(领导)。
致谢
Jonghyun Ko和Jiseong Im对这项工作做出了同等贡献。这项研究部分得到了韩国国家研究基金会(NRF)通过科学技术信息通信部(RS-2025-00517999和RS-2025-10032968)的国家研发计划的支持,部分得到了2025年首尔国立大学教育与研究计划BK21 FOUR项目的支持。
本工作得到了NRF(RS-2025-00517999和RS-2025-10032968)和首尔国立大学(BK21)的支持。
利益冲突
作者声明没有利益冲突。
数据可用性声明
支持本研究发现的数据可以在合理请求下从相应作者处获得。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号