BinDRAM:基于未经修改的商用DRAM的二元神经网络

《Future Generation Computer Systems》:BinDRAM: Binary Neural Network on Unmodified Commodity DRAM

【字体: 大 中 小 】 时间:2026年03月29日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  二进制神经网络加速器|DRAM内处理|端到端二进制架构|批量归一化优化|高吞吐低功耗

  
作者:Dan Yaron、Benjamin Wolfzon、Zuher Jahshan、Alexander Fish、Leonid Yavits
巴伊兰大学工程学院

摘要

利用内存进行计算时,会利用内存基础设施的模拟特性来实现逻辑和算术运算。在商用现成(COTS)DRAM中进行计算尤其具有前景,因为DRAM列之间存在巨大的并行性,并且无需对现有的DRAM设备进行任何修改。人工智能是一个可以从这种普遍存在、易于扩展且价格合理的平台上受益的应用领域。二进制神经网络(BNN)中,权重和激活值被限制在二进制值(±1)范围内,这是传统神经网络的一种高效替代方案。这种BNN通过使用XNOR操作代替乘法运算,使其非常适合使用内存来实现。典型的BNN在将线性层(矩阵-向量乘法)二值化的同时,仍以全精度实现其他网络层(批量归一化、softmax以及有时是卷积神经网络的输入层)。这限制了其在面积和能耗方面的优势,并且需要架构支持才能进行全精度运算。我们提出了BinDRAM,这是一种真正端到端的二进制网络,它基于COTS DRAM实现,并采用了两种方法来消除全精度运算:(1)复制最后一层:输出层处理一组略微修改后的输入激活向量副本,然后通过简单多数投票等方式汇总它们的二进制输出以得出最终结果;(2)通过在POPCOUNT(即BNN的点积)中添加一个常数来实现批量归一化,并保持二进制结果。BinDRAM的吞吐量达到了每秒12,200次推理,功耗仅为0.89瓦。BinDRAM项目可在以下链接公开获取:

引言

利用DRAM进行计算时,会利用DRAM阵列的模拟特性在DRAM中实现逻辑运算。这主要分为两类:第一类需要对硬件进行修改才能在商用DRAM中实现计算功能,尽管这类解决方案通常会保留DRAM的访问协议,但会改变其内部设计;第二类则无需任何修改,直接针对未经修改的商用现成(COTS)DRAM。
由于COTS DRAM的广泛可用性、低成本和丰富的容量,它成为基于内存的计算(PuM)的一个特别有吸引力的目标。虽然在COTS DRAM中进行计算可以实现具有巨大并行性的批量逻辑运算,但这种运算本身也存在缺陷,因为最基本的批量逻辑运算(如行复制和多数判断)容易出错,成功率可能低于100% [1]。
二进制神经网络(BNN)是一类权重和激活值被限制在二进制范围内的人工神经网络,通常表示为‘+1’和‘?1’。这种量化显著降低了内存需求和计算复杂性,使得BNN能够在资源受限的设备(如嵌入式系统和移动平台)上高效运行 [2]、[3]。尽管BNN结构简单,但与全精度神经网络相比,在图像识别和自然语言处理等任务中表现出竞争力 [4]、[5]、[6]、[7]。BNN的轻量级特性很好地满足了边缘计算中对能效高和实时推理的需求。然而,二值化过程引入了一些挑战,例如训练期间近似误差的增加,这需要专门的优化技术 [8]、[9]。常用的策略包括梯度近似和新型损失函数来稳定训练并保持性能 [10]、[11]、[12]、[13],同时也探索了BNN训练的其他方法 [6]、[15]、[16]。
BNN的一个显著局限性是必须使用全精度来实现网络的多个组件 [17]、[18]、[19]、[20]、[21]。为了保持特征表示,许多层需要使用全精度浮点或定点运算来实现,否则性能会显著下降。例如,在卷积BNN中,第一层通常也是全精度实现的 [20]、[21]。
此外,BNN的最后一层也是高精度实现的 [18]、[19],以便能够区分不同的类别。这在针对多层感知器(MLP)的BNN设计中也很常见。例如,在MNIST分类任务中,[22]将模拟popcount的输出数字化为4到8位,以便进行后续的批量归一化和输出层实现。对于包含大量类别的数据集(如ImageNet),可能需要16位精度 [23]。
总之,在所有类型的BNN中,使用全精度实现多个层的需求是普遍且不可避免的,这使得BNN的定义有些模糊。此外,最先进的BNN加速器所实现的能效指标往往没有考虑到那些在软件中实现的层(如批量归一化和softmax)。
不同BNN加速方法中,批量归一化和输出层的全精度实现方式各不相同。在神经形态或新兴的基于内存的/PuM加速器中,通过将表示模拟点积的模拟电压或电流值数字化来实现所需的精度级别。在[22]中,采用了时间到数字(TDC)转换方法,即在不同时间点对模拟比较器的输出进行多次采样,然后将得到的二进制序列上传到主机处理器,再在软件中实现批量归一化和softmax。另一种方法是使用模数转换(ADC)将模拟点积数字化和/或二值化 [24]、[25]。
这两种方法都存在显著的限制:TDC转换容易受到变化的影响 [26],可能导致较大的精度损失;ADC则会增加面积和能耗 [27]、[28]。
我们提出了BinDRAM,这是一种基于COTS(未经修改)DRAM的BNN加速器,它采用了我们开发的特殊技术——复制最后一层(第3.1节),实现了端到端的二进制执行,无需专门设计易受影响的模拟或TDC电路。
本工作的贡献如下:
  • •
    据我们所知,BinDRAM是第一个真正端到端二进制神经网络加速器,它基于COTS DRAM实现。
  • •
    我们开发了一种具有复制最后一层的新型BNN模型,可以高精度地推断目标类别。
  • •
    我们修改了DRAM Bender的硬件和软件,这是一种先进的COTS DRAM处理开发平台,使其能够支持长程序,从而实现实际应用并更准确地测量其性能。
  • •
    我们使用COTS DDR4对BinDRAM进行了实验评估,并测量了其端到端的BNN性能。
本工作的其余部分组织如下:第2节介绍了背景;第3节详细介绍了BinDRAM模型;第4节描述了BinDRAM的设计;第5节评估了BinDRAM的性能;最后,第6节总结了本工作并提出了未来的研究方向。

DRAM结构

DRAM组织

图1(a)-(c)分别展示了DRAM等级、DRAM芯片和DRAM银行。一个DRAM等级包含多个(通常是八个)DRAM芯片,而这些芯片又由多个DRAM银行组成。物理上,银行被划分为多个子阵列(未显示)。逻辑上,一个DRAM银行包含多行和多列的DRAM单元(图1(d)),这些单元连接到一组感测放大器(SAs)。每一行的DRAM单元共享一个字线来访问(读取/写入)内存数据。同样,每一列的DRAM单元也共享一个字线。

复制最后一层(DLL)

在分类神经网络中,全连接(最后一层)通常将扁平化的输入特征向量“匹配”到目标类别。与输入特征向量相关性最高的类别被选为目标类别。理想情况下,目标类别的输出logit应为1,而其他类别的输出应为0。然而,在实际应用中,目标类别的输出也可能是0,且某些“错误”的类别也可能输出0。

BinDRAM中的数据映射

BinDRAM中的BNN的输入激活值和权重都被限制在+1和-1之间,其中+1编码为1,-1编码为0(这样输入激活值和权重的二进制乘法就通过XNOR操作实现)。如图4所示,BNN的权重和输入激活值可以在BinDRAM中以两种格式存储:
  • •
    权重以固定方式存储在DRAM中,每两个DRAM单元存储一个权重,权重矩阵的行存储在DRAM的列中。
  • 实验设置和成功率结果

    我们在Xilinx Alveo U200 FPGA平台上集成的TIMETEC PREMIUM DDR4 UDIMM [85]模块上,实验评估了修改后的DRAM时序和COTS DRAM的处理功能。工作站使用的是基于i7的Dell Precision 3680 Tower [87]。实验评估设置如图6所示。COTS DRAM处理过程使用了专门为时序验证设计的DRAM命令序列,以及用于实现BNN的功能性命令序列(如上所述)。

    结论和未来工作

    在这项工作中,我们提出了BinDRAM,这是一种基于COTS DRAM的基于内存的二进制神经网络(BNN)加速器。BinDRAM在DRAM中实现了操作(通过读取实现XNOR运算进行二进制乘法,通过n元多数判断进行二进制累加(popcount),通过同时激活多行DRAM来实现数据传输)。BinDRAM实现了真正的端到端二进制网络,而不需要通常在先进BNN中使用的全精度运算。
    未引用的参考文献
    表4和表5。
    CRediT作者贡献声明
    Dan Yaron:撰写——审稿与编辑、初稿撰写、可视化、验证、方法论、研究、概念化。
    Benjamin Wolfzon:撰写——审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论、研究、概念化。
    Zuher Jahshan:撰写——审稿与编辑、初稿撰写、软件开发。
    Alexander Fish:项目管理、资金获取。
    Leonid Yavits:撰写——审稿与编辑、初稿撰写。
    利益冲突声明
    作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号