一款18.1 TFLOPs/W的Transformer加速器,具备细粒度的查询级延迟控制及12纳米FinFET工艺下的功耗管理功能

《IEEE Open Journal of the Solid-State Circuits Society》:A 18.1TFLOPs/W Transformer Accelerator with Fine-Grained Per-Query Latency and Power Management in 12-nm FinFET

【字体: 大 中 小 】 时间:2026年03月20日 来源:IEEE Open Journal of the Solid-State Circuits Society 3.7

编辑推荐:

  摘要:变换器神经架构推动了自然语言处理领域的一系列人工智能突破,促进了人工智能对话界面的发展。这类基于人工智能的聊天机器人的服务质量通常由用户发送请求后的往返延迟以及计算硬件的能耗来决定。我们提出了一种名为Atropos的稀疏变换器处理器,它能根据所处理输入请求的复杂程度来调整自

  

摘要:

变换器神经架构推动了自然语言处理领域的一系列人工智能突破,促进了人工智能对话界面的发展。这类基于人工智能的聊天机器人的服务质量通常由用户发送请求后的往返延迟以及计算硬件的能耗来决定。我们提出了一种名为Atropos的稀疏变换器处理器,它能根据所处理输入请求的复杂程度来调整自身的延迟和能耗。这款12纳米处理器带来了三项关键创新:(1)一种专门用于基于熵值的提前终止评估的数据路径,可将BERT推理的延迟降低多达6.13倍;(2)一种具有向量级指数偏置的混合精度FP4/FP8 MAC单元,在保持准确性的同时使吞吐量提高一倍;(3)一种基于请求级别的电源管理方案,能够根据输入请求的复杂程度动态调整电压和频率。这些创新共同使得该处理器能够达到18.1 TFLOPs/W的峰值效率,每次推理的能耗为65毫焦耳,相比传统BERT推理方式,能耗降低了7.14倍。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号