《SCIENCE ADVANCES》:Implementation of offset corrected AGAD algorithm on 130-nm CMOS technology–based RRAM array for analog neural network training
编辑推荐:
研究人员提出了最具先进性且性能最优的Tiki-Taka(TT)算法版本,即带动态基准的模拟梯度累加(AGAD),在基于HfO2的阻变随机存取存储器(RRAM)阵列上用于模拟神经网络训练的首个实现。通过与近期TT算法版本的比较仿真,研究人员验证仅AGAD可在存在
研究人员提出了最具先进性且性能最优的Tiki-Taka(TT)算法版本,即带动态基准的模拟梯度累加(AGAD),在基于HfO2的阻变随机存取存储器(RRAM)阵列上用于模拟神经网络训练的首个实现。通过与近期TT算法版本的比较仿真,研究人员验证仅AGAD可在存在基准误差时实现快速且准确的梯度累加;该鲁棒性由斩波(chopper)技术与基于滑动平均的动态数字基准实现。为作演示,研究人员提出并制备了具有优异保持特性且消除半选扰动的新型4T1R单元交叉阵列;在硬件上实验实现AGAD双向权重更新,并扩展到阵列级权重转移任务,以0.005低损失实现成功权重收敛,这对神经网络训练至关重要。该研究强调AGAD可为现实器件限制下存内计算提供可行路径。
研究背景方面,人工智能(AI)与大语言模型等应用推动深度学习发展,但传统冯·诺依曼架构存在内存瓶颈,图形处理器(GPU)功耗高,现场可编程门阵列(FPGA)与应用专用集成电路(ASIC)等数字加速器受关注。模拟AI加速器可直接在阻变随机存取存储器(RRAM)、相变存储器(PCM)、电化学随机存取存储器(ECRAM)等新兴非易失存储器(NVM)中计算,利用欧姆定律与基尔霍夫电流定律(KCL)在交叉阵列完成矩阵向量乘法(MVM),支持模拟存内计算(AIMC)。训练阶段计算负载高于推理,但NVM器件存在非理想性:增强与抑制不对称、电导衰减导致保持差、模拟态数少、周期间(c-to-c)与器件间(d-to-d)变异,使随机梯度下降(SGD)训练精度下降。Tiki-Taka(TT)算法及其版本TTv2、Chopped-TTv2(c-TTv2)可缓解问题,但高级版本缺乏理论分析与实验训练验证。该论文发表于《SCIENCE ADVANCES》,研究人员在130纳米互补金属氧化物半导体(CMOS)工艺HfO2基RRAM阵列实现AGAD,得出AGAD仅靠斩波与动态数字基准即可在基准偏移下快速准确方向梯度累加,4T1R单元消除半选扰动且6个月保持优良,阵列级对角权重转移均方误差(MSE)达0.005,意义在于为实际非理想器件下AIMC训练提供可扩展硬件算法协同路径。
关键技术方法上,研究人员采用软边界突触模型仿真,以辅助(A)矩阵、核心(C)矩阵、隐藏(H)矩阵解耦梯度与权重存储;用斩波技术按斩波概率ρ调制激活外积符号;以泄漏积分Aavg=(1?β)Aavg+βAmain生成动态数字基准Aref;制备130纳米CMOS后端集成HfO2 RRAM的4T1R单元交叉阵列,用RPU测试仪做编程与读取;硬件上A/C存RRAM、H存数字内存,按转移周期ns与阈值±1调度更新。
偏移校正部分,研究人员通过仿真对比TTv2、c-TTv2、AGAD在基准设于非零点的情形:TTv2权重更新方向错误;c-TTv2靠斩波使正负相位偏移项or相消,Ht+2n?Ht=2λkg,但正方向累积使学习变慢;AGAD引入最近Amain状态的滑动平均数字基准,隐藏权重变化以正确方向为主,最快收敛,说明斩波加动态基准是偏移鲁棒关键。
4T1R单元架构部分,研究人员用2×2阵列说明PFET用于SET与反向读、NFET用于RESET与正向读,两同型管作与门局部选通;选中细胞绿区双向调制,半选灰区无切换,结论为4T1R消除半选写入扰动,面积约为1T1R四倍但可借先进CMOS缩小。
电气表征与对称点部分,研究人员测出RESET起始?1.4 V、SET起始1.5 V,低阻态(LRS)I-V线性至1 mA顺从电流;50器件6个月保持,多数变化低于15%;25器件平均态数(NOS)8.8、对称点偏移(SPskew)0.45偏Gmax;SP随周期漂移,结论为需连续校准而非固定基准。
AGAD硬件机制部分,研究人员以x=1、误差0.25用两单元演示:斩波调激活×误差符号定Amain行/列脉冲向,Aavg按β=0.5漏平均同步入Aref,WA符号恢复后送H,达?1阈给Cmain负编程;反向误差可正方向更新,结论为硬件实现双向权重更新。
阵列级演示部分,研究人员用100点y=wtargetx+σnoise,wtarget=?0.33,扩到2×2 A/C阵列仅左下对角传?0.5;WA随斩波周期交替、符号恢复后负向累积,收敛后正负梯度平衡停更;MSE=0.005,结论为无串扰阵列级权重转移可行。
讨论部分总结:AGAD免预编程模拟基准与差分读出电路,数字域后读比较,A/C解耦增加控制开销但抗非理想;时间复杂度前向反向O(1)、参考与H计算O(N);对不对称、基准偏移、NOS低均鲁棒,小ViT约4.6M参CIFAR-10下比TTv2/c-TTv2少转移脉冲;限制是Amain漂移损稳定、低耐力退化、数字开销随N2·b增长、256×256六位需大量累加器寄存器与调度逻辑、参考迭代引延迟、数字能耗占比升但仍远优于全数字且约50倍低延迟、测试误差仅约2%。
结论翻译:研究人员展示了基于斩波的TT算法AGAD在AIMC训练的首个硬件级实现;动态基准估计消除预编程基准阵列与差分读出电路,降低校准需求;4T1R交叉阵列精确选通无半选扰动且6个月保持;AGAD滑动平均数字基准比c-TTv2累更大量梯度加速收敛;硬件机制与阵列训练MSE=0.005;AGAD可显著提升未来AIMC系统训练性能与适用性。