超越最优方案:利用共享随机性改进自适应随机量化技术
《Proceedings of the ACM on Measurement and Analysis of Computing Systems》:Better than Optimal: Improving Adaptive Stochastic Quantization Using Shared Randomness
【字体:
大
中
小
】
时间:2025年12月04日
来源:Proceedings of the ACM on Measurement and Analysis of Computing Systems
编辑推荐:
摘要
量化技术用于将高精度数据转换为低精度表示,这是减少机器学习任务中内存使用、计算复杂性和通信成本的一项基本方法。最近,自适应随机量化(ASQ)方法被证明能够高效地对大型张量进行即时压缩,这
摘要
量化技术用于将高精度数据转换为低精度表示,这是减少机器学习任务中内存使用、计算复杂性和通信成本的一项基本方法。最近,自适应随机量化(ASQ)方法被证明能够高效地对大型张量进行即时压缩,这些方法能够为特定输入提供无偏的优化量化值(即当量化器不知道输入分布时)。
在本文中,我们提出了自适应无偏量化(AUQ)问题,它将ASQ扩展到量化和量化器都知悉共享随机性的情况。我们证明了这两种方法在可实现精度上的渐进差距,表明AUQ的精度可以提高两个数量级。然后,我们介绍了Simba技术,它能够提高最优ASQ方法的精度。直观来说,Simba使用多组量化值,并根据共享的随机性来确定用于量化特定值的量化集。有趣的是,我们发现Simba通过利用近似ASQ解作为起点来进行优化,从而同时提高了最优ASQ方法的效率和精度。实验结果表明,对于常见的数据分布,Simba的精度比现有的最优ASQ方法QUIVER高出约24倍,同时速度也快两个数量级。最后,我们展示了如何使用Simba来改进QUIC-FL(一种先进的分布式均值估计技术),方法是将QUIC-FL中基于求解器的查找表替换为由Simba计算出的表。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号