《Results in Engineering》:Efficient FPGA Realization of Neural Network Activation Functions using Adaptive Piecewise Polynomial Approximations with Chebyshev Nodes
编辑推荐:
在FPGA等硬件平台上部署神经网络时,激活函数的高效实现至关重要,因为资源约束和实时性能要求是主导设计考量因素。本研究提出了一种统一框架,用于逼近三种广泛使用的非线性激活函数,即S型函数(sigmoid)、双曲正切函数(tanh)和对称高斯函数(symmetr
在FPGA等硬件平台上部署神经网络时,激活函数的高效实现至关重要,因为资源约束和实时性能要求是主导设计考量因素。本研究提出了一种统一框架,用于逼近三种广泛使用的非线性激活函数,即S型函数(sigmoid)、双曲正切函数(tanh)和对称高斯函数(symmetric Gaussian),该框架采用自适应分段多项式插值方法并针对FPGA部署进行优化。通过利用切比雪夫节点(Chebyshev nodes)和基于高阶导数曲率的子区间选择方法,研究人员开发了二次和三次多项式模型,在实现高逼近精度的同时最小化了计算开销。所提出的设计使用Q32.32定点算术在SystemVerilog中实现,并在Xilinx Virtex UltraScale+ FPGA上进行综合。实验结果表明,增加分段数量可显著降低逼近误差,同时保持具有竞争力的延迟和资源效率。与现有方法相比,所提出的方法实现了更低的均方误差(MSE)和更高的工作频率,且具有适度的硬件复杂度,使其适用于实时和边缘人工智能应用。此外,所提出的工作为神经网络加速器中的激活函数逼近提供了一种可扩展且精确的硬件友好型解决方案。
本研究聚焦于神经网络激活函数在FPGA(Field-Programmable Gate Array,现场可编程门阵列)上的高效硬件实现问题。人工神经网络(ANN,Artificial Neural Network)已广泛应用于信号处理、通信和智能控制系统等实时嵌入式领域。将神经网络部署于FPGA平台具有延迟低、并行度高和功耗效率好等优势。然而,S型函数(sigmoid)、双曲正切函数(tanh)和高斯函数(Gaussian)等非线性激活函数包含指数运算和除法运算,直接在FPGA硬件上实现会面临计算成本高、硬件效率低等挑战。
目前,研究人员已提出多种逼近策略,包括基于查找表(LUT,Look-Up Table)的直接实现、逻辑逼近器、固定点优化函数块、分段线性(PWL,Piecewise Linear)和分段非线性(PWNL,Piecewise Nonlinear)方案、CORDIC(Coordinate Rotation Digital Computer,坐标旋转数字计算机)迭代算法等。其中,分段线性或分段非线性方案通过将定义域分割为若干子区间,在各区间内采用简单多项式或线性函数来降低复杂度。此外,自适应域划分技术如基于曲率的划分和分层边界细化等方法,通过在非线性度高的区域使用更多分段和计算资源来提升逼近效率。在插值方法中,切比雪夫多项式(Chebyshev polynomials)因其最优逼近特性和最小误差特征而受到关注。尽管已有大量相关研究,但能够同时平衡高精度、最小硬件资源和低延迟的统一逼近策略仍然是一个挑战,特别是对于多种激活函数的同时支持尚显不足。
为此,B. Chakradhar Reddy等研究人员提出了一种新型的硬件高效逼近技术,针对S型函数、对称S型函数和对称高斯函数三种激活函数,面向FPGA平台上的实时神经网络部署。该方法采用离线非均匀区间划分策略,子区间边界在设计阶段通过基于Python的仿真确定;通过分析函数的高阶导数所引导的曲率信息,在高曲率区域分配更密集的子区间,从而最小化整个定义域上的逼近误差。各区间多项式系数采用切比雪夫插值计算以确保数值稳定性和最优逼近特性。分段边界和多项式系数均在设计时离线计算,并作为常量编码到Verilog RTL代码中,硬件运行期间保持固定。整个框架采用SystemVerilog和Q32.32定点算术实现,在延迟、逻辑资源利用和逼近精度之间实现了优于现有方法的综合性能。
研究人员采用的关键技术方法包括三个核心方面。第一,基于曲率自适应的非均匀区间划分技术:利用高阶导数(二次逼近采用三阶导数
(3),三次逼近采用四阶导数
(4))构建误差平衡权重函数
(+1)(+1)
/(+1),通过数值积分计算累积积分函数并进行逆变换,实现自适应子区间选择,使高曲率区域获得更密集的划分。第二,切比雪夫节点(Chebyshev nodes)插值与范德蒙德(Vandermonde)系统求解:在每个子区间内,于+1个切比雪夫节点处进行多项式插值,通过求解范德蒙德线性方程组获得多项式系数,该方法具有数值稳定性好、插值误差最小的特点。第三,SystemVerilog硬件实现与Q32.32定点算术优化:采用两级组合逻辑架构(区间识别与系数选择阶段、多项式求值阶段),使用64位有符号Q32.32格式(32位整数位和32位小数位),利用DSP(Digital Signal Processing,数字信号处理)切片进行乘法运算,通过扩展精度中间寄存器(二次逼近128位、三次逼近192位)防止算术溢出,实现单周期组合逻辑路径的实时处理。样本来源方面,实验在Xilinx Virtex UltraScale+ FPGA(型号XCVU13P-FHGB2104-3-E)平台上进行,使用Vivado 2020.2工具链进行综合、实现和功耗分析。
研究结果表明,研究人员对S型函数、对称S型函数和对称高斯函数三种激活函数在FPGA上的实现进行了全面评估。关于资源利用与时序性能,研究发现二次多项式逼近设计相比三次设计,LUT(Look-Up Table,查找表)利用量减少约70%至120%,DSP切片使用量减少近三分之二,工作频率提高约25%至30%,关键路径延迟从约11.1 ns(二次)增加至约15.3 ns(三次)。动态功耗方面,二次设计比三次设计低30%至50%,但三次设计在精度方面具有显著优势。随着分段数量从10增加至40,各类激活函数的逼近误差均呈单调下降趋势,三次40段配置的MSE(Mean Squared Error,均方误差)可达10
-8量级。
关于S型函数的逼近结果,10段二次逼近的最大误差为0.01233,平均误差为0.001507,MSE为7.73×10
-6;提升至40段三次逼近后,最大误差降至0.00041,平均误差降至0.00020,MSE显著降低至3.96×10
-8,工作频率为65.45 MHz,消耗3955个LUT和97个DSP切片。与现有方法相比,该设计在最大误差上优于Konwer的PWQ设计(0.01799)约44倍,MSE提升约397倍;与Hajduk的麦克劳林/帕德逼近(1916-2624 LUTs,494.4-940.8 ns延迟)相比,速度提升32至61倍。
关于对称S型函数(tanh)的逼近结果,40段三次逼近实现最大误差0.00495、平均误差0.00022、MSE为4.01×10
-7,消耗5454个LUT和97个DSP切片,工作频率63.98 MHz。该设计在延迟上比Hajduk的麦克劳林/帕德逼近快34至62倍,相比Tiwari的CORDIC实现(1590-5830 ns)快100至370倍,同时保持了可比的精度水平。10段二次设计的最大误差为0.01075,随着分段数增加误差迅速收敛。
关于对称高斯函数的逼近结果,由于其原点附近曲率极高、尾部快速衰减趋于平坦的特性,逼近误差呈现非单调变化趋势。40段二次设计实现最大误差0.00183、平均误差0.00040、MSE为3.07×10
-7,消耗4292个LUT和98个DSP切片,工作频率86.16 MHz,延迟仅11.607 ns。与Waseem的现有设计(7822 LUTs,5505 FFs,14 s延迟)相比,LUT使用量减少46%,FF(Flip-Flop,触发器)减少98.8%,速度提升约900000倍,并提供了原有工作缺乏的明确误差指标。三次设计在部分配置下因固定点系数量化效应和区间边界处切比雪夫插值的局部振荡,最大误差略有上升,但平均误差仍保持在较低水平。
研究人员在讨论部分深入分析了精度与资源的权衡关系。视觉分析表明,所提出的切比雪夫分段方案在MSE-LUT-DSP三维权衡空间中占据优势区域,特别是对于S型函数,三次40段逼近以3955 LUTs和97 DSPs实现了3.96×10
-8的MSE,优于多数资源预算更高的先前工作。二次S型逼近因低MSE和最小DSP使用,被推荐用于超低功耗或可穿戴边缘AI场景;三次逼近则适用于机器人或实时控制系统等精度关键任务。对于需要灵活权衡的应用,建议集成两种阶数的函数块并通过运行时配置实现功率与精度的自适应调节。此外,对称高斯函数的逼近因高曲率特性需要更多资源,但二次设计仍能以较低DSP数量实现竞争力性能。
研究结论指出,本研究提出的基于切比雪夫节点的自适应分段多项式逼近方法,为FPGA上的神经网络激活函数实现提供了一种精确、低延迟且资源高效的解决方案,有效解决了现有方法在精度、速度和硬件复杂度之间难以兼顾的问题。该方法在统一框架内支持多种激活函数,具有良好的可扩展性,并通过离线优化和固定系数策略实现了全组合逻辑的低延迟推理,对实时信号处理和边缘AI部署具有重要价值。未来研究方向包括:探索动态分段分配机制进一步优化硬件使用;深化与神经网络加速器的集成;扩展至ReLU、Swish等更多激活函数;利用训练阶段的前向激活分布统计和反向梯度信息进行数据驱动的分段优化;以及针对均匀量化输入网格探索mock-Chebyshev和约束最小二乘逼近变体,以拓宽该框架在ADC量化前端和查表预处理等场景中的应用范围。