基于SQNR模型的面向ReLU激活函数的16位浮点表示方案设计与性能分析

《Information》:SQNR-Based Design of 16-Bit Floating-Point Representations for ReLU Activations

【字体: 大 中 小 】 时间:2026年09月26日 来源:Information 4.3

编辑推荐:

   摘要

  

摘要

本文提出了一种基于SQNR(信噪量化比)的方法,用于设计受bfloat16启发的16位浮点表示方案,适用于ReLU激活函数。该方法利用了浮点格式与分段均匀量化器之间的类比关系,并以SQNR作为性能指标,在给定输入概率密度函数(PDF)的情况下评估 significand(有效数字)字段和 exponent(指数)字段之间替代位分配的优劣。对于ReLU激活函数,其PDF是从拉普拉斯预激活模型推导得出的,表明ReLU输出为非负值,因此bfloat16中的符号位是冗余的。因此,在固定的16位预算范围内重新分配该冗余位,得到两种表示方案:FP16I,将该位添加到有效数字中;以及FP16II,将该位添加到指数中。利用ReLU的PDF,为这两种表示方案获得了闭式SQNR模型,并据此刻画了它们相对于bfloat16的性能表现。在广泛输入方差范围内的分析表明,FP16I相比bfloat16提供了6.02 dB的SQNR改进,而FP16II则在一个显著更宽的方差范围内维持了与bfloat16相当的SQNR水平。这些SQNR模型进一步被应用于指导在CNN训练中FP16I与FP16II的选择,依据是预ReLU激活函数观测到的方差范围。结果表明,在bfloat16量化的CNN中,将bfloat16的ReLU表示替换为选定的替代方案后,训练性能更接近于基于FP32的配置。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号