基于SQNR模型的面向ReLU激活函数的16位浮点表示方案设计与性能分析
《Information》:SQNR-Based Design of 16-Bit Floating-Point Representations for ReLU Activations
【字体:
大
中
小
】
时间:2026年09月26日
来源:Information 4.3
摘要
本文提出了一种基于SQNR(信噪量化比)的方法,用于设计受bfloat16启发的16位浮点表示方案,适用于ReLU激活函数。该方法利用了浮点格式与分段均匀量化器之间的类比关系,并以SQNR作为性能指标,在给定输入概率密度函数(PDF)的情况下评估 significand(有效数字)字段和 exponent(指数)字段之间替代位分配的优劣。对于ReLU激活函数,其PDF是从拉普拉斯预激活模型推导得出的,表明ReLU输出为非负值,因此bfloat16中的符号位是冗余的。因此,在固定的16位预算范围内重新分配该冗余位,得到两种表示方案:FP16I,将该位添加到有效数字中;以及FP16II,将该位添加到指数中。利用ReLU的PDF,为这两种表示方案获得了闭式SQNR模型,并据此刻画了它们相对于bfloat16的性能表现。在广泛输入方差范围内的分析表明,FP16I相比bfloat16提供了6.02 dB的SQNR改进,而FP16II则在一个显著更宽的方差范围内维持了与bfloat16相当的SQNR水平。这些SQNR模型进一步被应用于指导在CNN训练中FP16I与FP16II的选择,依据是预ReLU激活函数观测到的方差范围。结果表明,在bfloat16量化的CNN中,将bfloat16的ReLU表示替换为选定的替代方案后,训练性能更接近于基于FP32的配置。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号