FLASH:通过线性近似和简化了两阶段流水线架构的能效高效FPGA加速技术,用于量化CNN-Transformer混合网络
《IEEE Transactions on Neural Networks and Learning Systems》:FLASH: Energy-Efficient FPGA Acceleration via Linear Approximation and Streamlined Two-Stage Pipeline Architectures for Quantized CNN–Transformer Hybrid Networks
【字体:
大
中
小
】
时间:2026年04月02日
来源:IEEE Transactions on Neural Networks and Learning Systems 8.9
编辑推荐:
提出基于FPGA的FLASH加速器,优化量化、非线性函数近似和流水线设计,在Xilinx VCU118上实现16.8倍能效提升,仅0.84%精度损失。
摘要:
混合视觉变换器(HybridViTs)将卷积神经网络(CNN)与Transformer模块相结合,兼具局部和全局特征提取能力,在多种计算机视觉任务中表现出高性能。然而,轻量级CNN模块与计算密集型Transformer模块之间的显著计算不对称性,给在同一硬件架构内同时进行优化和加速带来了挑战。为了解决这些问题,我们提出了FLASH,这是一种基于高效能现场可编程门阵列(FPGA)的加速器,专为CNN-Transformer混合网络设计。FLASH通过将冗余的量化-反量化操作合并为一步重新量化来减少量化开销,并通过适当的缩放因子处理,使得残差连接仅支持8位整数运算。为了进一步提高硬件效率,FLASH引入了对非线性函数(如Swish和Softmax)的硬件友好型线性近似实现。通过离线校准预先计算每行的最大值,我们消除了最大值搜索逻辑和中间内存缓冲的开销,同时通过重用共享的整数-指数运算单元来最小化资源消耗。在架构上,FLASH采用两阶段流水线:第一阶段利用完全流水线的MobileNetV2骨干网络避免了对外部DRAM的访问;第二阶段通过专用计算单元和数据流优化来加速Transformer和卷积组件的运行。使用Xilinx VCU118 FPGA上的MobileViT(MViT)-xxs进行的实验评估表明,与FP32基线相比,FLASH在ImageNet-1K任务上的准确率仅下降了0.84%,同时功耗降低了16.8倍,能效提高了26.3倍。这些结果证明了FLASH是用于实时推理HybridViT模型的高效能硬件加速器。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号