超越最优方案:利用共享随机性改进自适应随机量化技术

《Proceedings of the ACM on Measurement and Analysis of Computing Systems》:Better than Optimal: Improving Adaptive Stochastic Quantization Using Shared Randomness

【字体: 大 中 小 】 时间:2025年12月04日 来源:Proceedings of the ACM on Measurement and Analysis of Computing Systems

编辑推荐:

   摘要 量化技术用于将高精度数据转换为低精度表示,这是减少机器学习任务中内存使用、计算复杂性和通信成本的一项基本方法。最近,自适应随机量化(ASQ)方法被证明能够高效地对大型张量进行即时压缩,这

  

摘要

量化技术用于将高精度数据转换为低精度表示,这是减少机器学习任务中内存使用、计算复杂性和通信成本的一项基本方法。最近,自适应随机量化(ASQ)方法被证明能够高效地对大型张量进行即时压缩,这些方法能够为特定输入提供无偏的优化量化值(即当量化器不知道输入分布时)。
在本文中,我们提出了自适应无偏量化(AUQ)问题,它将ASQ扩展到量化和量化器都知悉共享随机性的情况。我们证明了这两种方法在可实现精度上的渐进差距,表明AUQ的精度可以提高两个数量级。然后,我们介绍了Simba技术,它能够提高最优ASQ方法的精度。直观来说,Simba使用多组量化值,并根据共享的随机性来确定用于量化特定值的量化集。有趣的是,我们发现Simba通过利用近似ASQ解作为起点来进行优化,从而同时提高了最优ASQ方法的效率和精度。实验结果表明,对于常见的数据分布,Simba的精度比现有的最优ASQ方法QUIVER高出约24倍,同时速度也快两个数量级。最后,我们展示了如何使用Simba来改进QUIC-FL(一种先进的分布式均值估计技术),方法是将QUIC-FL中基于求解器的查找表替换为由Simba计算出的表。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号