面向医学图像分析的视觉Transformer结构感知激活值分布友好量化方法
《Scientific Reports》:SA-ADFQ: structure-aware activation distribution friendly quantization for vision transformers in medical image analysis
【字体:
大
中
小
】
时间:2026年10月09日
来源:Scientific Reports 4.9
编辑推荐:
视觉Transformer(ViTs)在分类、检测和分割等医学图像分析任务中展现了令人瞩目的性能。然而,由于计算和内存开销,ViTs在资源受限的临床环境中难以高效部署。量化是一种缓解该问题的有效方法。然而,由于ViTs中复杂的激活值分布,现有的训练后量化(PTQ)方法在低比特
视觉Transformer(ViTs)在分类、检测和分割等医学图像分析任务中展现了令人瞩目的性能。然而,由于计算和内存开销,ViTs在资源受限的临床环境中难以高效部署。量化是一种缓解该问题的有效方法。然而,由于ViTs中复杂的激活值分布,现有的训练后量化(PTQ)方法在低比特精度下会出现性能下降。为了解决这些问题,提出了一种针对医学图像分析任务的现有量化方法的新扩展——结构感知的激活值分布友好量化(SA-ADFQ)。该方法继承了激活值分布友好量化(ADFQ)方法,其中包括逐块异常值量化器和移位对数量化器,以解决不规则和非均匀分布问题。此外,为了进一步提升量化性能,还引入了一种新的模块级优化方法,该方法能够保持医学图像数据中的空间依赖关系和关键特征表示。同时,该方法被扩展到医学图像分类、检测和分割任务,展示了其在各种图像和视频任务中的灵活性。通过在医学图像数据集上进行的大量实验表明,所提出的方法在现有量化方法的基础上显著提升了性能,尤其是在低比特精度下,且具有计算效率。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号