摘要:
量化的大型语言模型(LLM)推理包括仅对权重进行量化以及对权重和激活值同时进行量化,这导致在同一加速器中同时存在多种输入-权重格式对,这些格式对涵盖了FP-INT和INT-INT GEMM(General Matrix Multiply)。这些工作负载有不同的执行要求:FP-INT需要处理指数运算,而INT-INT则不需要;此外,它们支持的运算符格式具有不同的位宽。关键挑战是在统一的数据路径中灵活满足这些异构要求,而无需重复使用特定格式的硬件或产生大量的重配置开销。本文提出了ReFormGEMM,这是一种统一的GEMM数据路径,支持六种输入-权重格式对:FP16 × INT4、BF16 × INT4以及{INT4, INT8} × {INT4, INT8}。其核心思想是将这两种类型的工作负载表示为4位整数乘积的序列,从而使所有支持的模式能够共享一个4b × 4b的处理单元数组,而特定格式的对齐和重构则在数组边界处进行处理。统一的带符号/无符号矩阵执行单元和基于模式的活动降低机制解决了因这种共享而引入的面积和切换开销问题。在28纳米工艺下的后期评估显示,ReFormGEMM的TOPS(每平方毫米运算次数)性能提升了1.36–2.72倍,TOPS每瓦性能提升了2.08–4.52倍,相较于专门的Fused-TCU配置。对于Llama 3.1 8B模型在线性层上的评估,即使在考虑了片上存储和内存访问能量消耗后,其TOPS每平方毫米性能仍提升了1.18–2.48倍,TOPS每瓦性能提升了1.01–2.16倍。当使用SpinQuant进行模型量化时,FP16–INT4和BF16–INT4格式下的GEMM级数值误差更低,模型精度与GPU执行结果几乎相同;而INT4/INT8格式组合则没有引入额外的算术误差。这些结果表明,基于块的重组机制可以在不重复使用特定格式的计算数组的情况下,高效地衔接FP-INT和INT-INT推理,同时保持模型精度…