《Microprocessors and Microsystems》:Area–accuracy evaluation of a quantized attention head on a resource-constrained FPGA
编辑推荐:
•在 Basys3 FPGA 上实现了一个定点 INT4/INT8/INT16 注意力头。•阶段级测试将输入量化与定点算术误差分离。•在 INT4/INT8 下量化占主导地位;INT16 揭示了算术误差下限。•INT8 在保持 FP32 Top-1 准确率的同时,预测翻转率为
- •
在 Basys3 FPGA 上实现了一个定点 INT4/INT8/INT16 注意力头。
- •
阶段级测试将输入量化与定点算术误差分离。
- •
在 INT4/INT8 下量化占主导地位;INT16 揭示了算术误差下限。
- •
INT8 在保持 FP32 Top-1 准确率的同时,预测翻转率为 0.8%。
- •
Softmax 限制了面积,而 QKT 决定了估计的流水线速率。
引言
自注意力机制 [1] 引入以来,Transformer 模型的普及度显著增加,并成为广泛任务中的主导架构。一个常见应用领域是计算机视觉,其中视觉 Transformer(ViTs)取得了强劲的性能。然而,这需要付出计算需求大幅增加的成本,尤其是与其他计算机视觉解决方案(如卷积神经网络(CNNs))相比。这些需求的大部分来自于自注意力机制,这使得基于 Transformer 的模型在边缘设备上部署更具挑战性 [2]。
减少网络规模的一种常见方法是量化,它通过使用低精度格式而不是高精度浮点值来表示模型参数和激活值。通过应用此技术,可以显著降低内存需求,同时保持功能性能,因为深度神经网络(DNNs)通常对量化误差引入的权重和偏置的小变化具有鲁棒性 [3]。
在可用于 DNN 部署的硬件平台中,现场可编程门阵列(FPGAs)在学术界获得了广泛关注。这很大程度上归功于它们的重构能力,使其非常适合快速发展的网络架构。此外,它们的低延迟特性使其成为边缘设备部署的有力候选者。
大多数基于 FPGA 的 Transformer 加速先前工作针对的是逻辑和内存资源丰富的高端设备,在这些设备上部署完整的 Transformer 模型是可行的,并且量化的成本通常可以在不仔细调查其个别来源的情况下被吸收。资源受限的 FPGA,如 Basys3,为边缘应用提供了更具成本敏感性的部署目标,但留下的误差余量很小。由于 DSP、BRAM 和逻辑资源有限,精度的每一位都对硬件成本和数值行为产生直接且可衡量的影响,这有助于解释量化误差的来源。现有工作通常仅报告端到端误差或任务级准确率,而不会将误差归因于其根本来源。本工作通过关注单个注意力头(Transformer 架构中计算需求最高的块之一),并评估其在多个量化级别下的 FPGA 实现的面积 - 准确率权衡,来解决这一差距。本文的主要贡献如下:
- •
一种逐阶段误差分解方法论,将每个硬件模块与 CPU 参考进行比较,从而将输入量化引入的数值误差与定点数据通路引入的误差分离开来。
- •
对实现的算术误差下限进行表征。结果表明,在 INT4 和 INT8 精度级别下,输入量化主导了端到端误差,而 INT16 揭示了定点输出格式带来的误差。QKT 阶段是无损的,其余阶段级 MAE 位于大约 10?7 和 10?5 之间。
- •
对数值保真度、分类准确率、资源利用率和估计流水线性能的联合评估。结果确定 Softmax 是主要的面积瓶颈,QKT 阶段是延迟瓶颈,INT8 是目标设备上最理想的运行点。
为了指导评估,定义了以下研究问题:
- RQ1
量化级别如何影响注意力头实现的 FPGA 资源使用情况?
- RQ2
定点硬件实现相对于输入量化引入的误差贡献了多少数值误差?
- RQ3
注意力流水线中的哪些阶段主导了数值误差和硬件成本?
- RQ4
哪种量化级别在 Basys3 FPGA 上提供了硬件面积和输出准确率之间最佳的实际权衡?
章节摘要
背景与相关工作
本节提供理解本文贡献所需的技术背景。首先,介绍基本概念,包括自注意力机制、量化和基于 FPGA 的推理。随后,回顾了有关 Transformer 模型 FPGA 加速和注意力机制量化的相关现有工作。
量化输入准备
用于基于 CPU 计算的参考输入以 32 位浮点格式表示。由于低成本 FPGA 仅提供有限的硬件资源,以原始表示存储这些输入可能会消耗可用内存的大部分,甚至完全超出容量。我们通过通过量化降低数值精度来解决此限制。
第一步是选择量化值的目标表示。一种可能性是
系统架构
所提出的系统如图 1 所示。它由几个模块组成,其中大部分专门用于注意力计算。此外,一些模块控制执行流程,处理数据输入,并转换由处理流水线产生的输出数据。
执行流程由软处理器 MicroBlaze 管理,它可在 Xilinx Vivado 设计环境中使用。其主要作用是初始化其余模块,为其提供可配置参数,
HLS IP 设计与 FPGA 实现
除 UART 发射器模块外,所有模块均使用 Vitis HLS 实现,该模块使用 Verilog 硬件描述语言编写并直接集成到 Vivado 设计中。由于 UART 模块对时序敏感,RTL 提供波特率生成和位级排序的周期精确控制,因此使用 Verilog 实现。加速器模块作为单独的块实现。这种设计方法提高了模块化,并简化了验证
实验方法
我们实验所用的 FPGA 是 Basys3 板卡,该板卡基于 Xilinx Artix-7 芯片构建。该板卡不提供任何外部内存,因此所有操作仅依赖于片上内存资源。由于这是一个重大限制,我们选择了较小的 Transformer 模型之一 DeIT-Tiny [22]。它是一种数据高效的视觉 Transformer,在输入分辨率为 224 × 224 的 ImageNet-1k 数据集上训练和微调。为了在受控环境下评估所提出的方法
结果
本节展示了本工作的评估结果。首先,使用上一节引入的误差指标检查端到端数值保真度。其次,评估来自 Vivado 的硬件消耗和延迟。第三,呈现与量化和每个阶段相关的观察结果。最后,通过运行精确位宽的 Python 实现来确定分类正确性。
讨论
本节归因于观察到的数值误差,解释了面积和延迟瓶颈,并评估了 Basys3 实现的实用运行点。
局限性与未来工作
本工作中呈现的评估专注于资源受限 FPGA 设备上量化注意力头的特定实现。因此,几个约束限制了结果的应用范围。以下小节重点关注当前工作的关键局限性,并确定未来研究的方向。
结论
本工作展示了在资源受限的 Basys3 FPGA 上单个量化注意力头的定点实现。它评估了 INT4、INT8 和 INT16 配置在数值保真度、任务级准确率、资源利用率和性能方面的表现。采用逐阶段评估方法论将输入量化引入的误差与定点硬件实现引入的误差分离开来。
结果表明,在
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能会影响本论文中报告的工作。
致谢
本工作得到 斯洛伐克共和国教育部、科学、研究与体育部 KEGA 机构 的资助,项目编号 015TUKE-4/2024,项目名称为《网络安全教育中的现代方法与教育形式》。
工学士 托马什·丹科(1999 年出生)于 2024 年获得科希策技术大学电气与信息技术学院计算机与信息学系硕士学位。毕业后,他作为软件工程师加入行业。目前,他正在同一系攻读博士学位,其硕士学业也在此完成。他的研究专注于深度神经网络的硬件加速。在学术学习之余,他从事软件
托马什·丹科 | 诺伯特·亚当