在昇腾 910B 上优化即时模式下的卷积算子执行流程

《Future Generation Computer Systems》:Optimizing convolution operator execution flow in eager mode on Ascend 910B

【字体: 大 中 小 】 时间:2026年10月22日 来源:Future Generation Computer Systems 6.2

编辑推荐:

   在即时模式下提升深度学习网络(DNN)的运行时性能已受到广泛关注,其中卷积效率尤为重要,因为卷积是卷积神经网络和多模态大语言模型中的关键算子。昇腾910B是一款人工智能专用处理器,其特性包括人工智能向量核心(AIV)和人工智能立方核心(AIC),可高效执行向量运算和矩阵乘法。

  

在即时模式下提升深度学习网络(DNN)的运行时性能已受到广泛关注,其中卷积效率尤为重要,因为卷积是卷积神经网络和多模态大语言模型中的关键算子。昇腾910B是一款人工智能专用处理器,其特性包括人工智能向量核心(AIV)和人工智能立方核心(AIC),可高效执行向量运算和矩阵乘法。昇腾算子库提供了高度优化的卷积算子aclnnConvolution,其执行过程在内部被分解为四个闭源内核。这些内核依次在AIV和AIC上执行,分别用于数据布局转换和卷积计算,由此引入了不可忽视的内核间空闲时间,降低了在昇腾910B即时模式下的算子级卷积效率。为解决这一问题,我们提出了AIC专用卷积(AoConv),一种完全在AIC上执行的单核卷积算子执行流。AoConv在算子接口采用NHWC数据布局,使所需的数据布局转换能够与卷积计算融合为一个内核。通过构建单核执行流,AoConv避免了内核间空闲时间,提升了即时模式下算子级卷积效率。为验证所提出的AoConv执行流设计的可行性和有效性,我们进一步实现了AoConv_im2col,一个概念验证原型,目前仅支持有限子集的卷积配置。在当前原型支持的评测配置中,AoConv_im2col在昇腾910B即时模式的隔离算子级执行中,相较于aclnnConvolution实现了1.12倍的几何平均加速比和最高2.27倍的加速比。

引言

近年来,深度学习网络快速演进并广泛应用于多个行业[1][2][3][4]。在DNN开发过程中,即时模式[5],也称为定义即运行,因其在调试和快速迭代方面的灵活性而被研究人员[6]在主流深度学习框架[7][8][9]中广泛采用。即时模式执行对于具有动态Python特性、数据依赖控制流或动态张量形状的节目也具有重要价值,这些特性难以捕获为完整且可复用的计算图[6][10]。

然而,在即时模式下,频繁的内核启动会引入显著的运行时开销,尤其是在异构计算平台上,因为设备在等待主机CPU启动下一个内核并完成相关调度和协调时处于空闲状态。这种设备空闲时间会降低异构计算平台的执行效率[11][12]。因此,提升异构计算平台上即时模式的DNN运行时性能已受到广泛关注[6][10][13][14]。人工智能专用处理器[15][16][17][18][19][20][21]通常被集成到异构计算平台中以高效处理AI工作负载。凭借其专用的矩阵计算单元和高带宽片上缓存,AI专用处理器通常支持高性能卷积,因为卷积是最基础且最耗时的算子之一[22],并且广泛应用于卷积神经网络和多模态大语言模型[12]。

昇腾910B是一款代表性AI专用处理器[23],部署在云端环境中为矩阵和向量运算提供高计算吞吐量[23][24][25][26]。具体而言,昇腾910B包含专用向量计算的人工智能向量核心和专用矩阵乘法的人工智能立方核心[23][27]。与其他AI专用处理器[15][16][17][19][20][21]相比,昇腾910B采用分层片上内存系统,每个AIC内部有独立的缓存用于存储不同类型的数据,包括输入特征图、权重和输出特征图。它还为AIC内输入特征图的高效数据重排提供了硬件级支持[28]。因此,卷积中的矩阵计算通常在昇腾910B的AIC上执行。昇腾算子库[29]提供了高度优化的卷积算子aclnnConvolution[30]。在算子接口层面,aclnnConvolution使用NCHW数据布局,其中N、C、H和W分别表示批量大小、通道、高度和宽度维度。通过昇腾分析工具[31]收集的性能分析结果显示,aclnnConvolution被分解为四个闭源内核,依次在AIV上启动并执行数据布局转换,在AIC上执行卷积计算。在即时模式下,这种四内核执行流在昇腾910B上引入了不可忽视的内核间空闲时间,增加了整体执行时间并降低了算子级卷积效率。

然而,现有的针对昇腾架构的性能分析和优化工作流[32]主要关注单个内核,而未考虑即时模式下aclnnConvolution内部的内核间空闲时间。其他处理器的卷积优化[22][33][34][35][36][37]无法直接迁移到昇腾910B,因为其具有独特的架构特性。同时,现有的即时模式运行时优化[6][10][13][14]主要依赖于图实例化以实现图级优化[38][39],如内核融合和调度。然而,aclnnConvolution中的闭源内核无法被融合,且其串行和独占执行方式阻止了图级调度将它们重叠以消除内核间空闲时间。

在本文中,我们提出了AIC专用卷积(简称AoConv),一种面向昇腾910B的单核卷积算子执行流。AoConv在算子接口层面采用NHWC数据布局,使相应的数据布局转换和卷积计算能够集成到一个在AIC上执行的内核中。因此,AoConv避免了内核间空闲时间,减少了卷积算子的执行时间,提升了昇腾910B即时模式下算子级卷积效率。为验证AoConv的可行性和有效性,我们实现了一个概念验证原型,记为AoConv_im2col,它在昇腾910B上执行基于im2col的卷积算法[40]。AoConv_im2col目前支持有限的卷积配置子集。

我们的主要贡献总结如下:

• 我们对昇腾910B上的aclnnConvolution算子进行了内核级性能分析。性能分析结果显示,aclnnConvolution内部被分解为四个闭源内核,依次在AIV和AIC上执行,从而产生了内核间空闲时间,降低了即时模式下的算子级卷积效率。

• 我们提出了AoConv,一种在AIC上执行的单核卷积算子执行流,在算子接口层面使用NHWC数据布局,将数据布局转换和卷积计算集成到单个内核中,避免了内核间空闲时间并提升了即时模式下的算子级卷积效率。

• 我们实现了AoConv_im2col,一个支持有限卷积配置子集的概念验证AoConv原型。在昇腾910B即时模式的隔离算子级别,相较于aclnnConvolution,它实现了1.12倍的几何平均加速比和最高2.27倍的加速比。

背景

本节介绍理解昇腾910B上aclnnConvolution执行流和AoConv设计所需的硬件和数据布局背景。此外,我们简要回顾了AoConv_im2col所采用的基于im2col的卷积算法。

aclnnConvolution的执行分析

本节展示了昇腾910B上aclnnConvolution在即时模式下算子执行流的内核级分析。图3(a)展示了通过昇腾分析工具msprof[31]细粒度性能分析获得的昇腾910B上单个aclnnConvolution的内核级执行时间线。aclnnConvolution接口要求二维卷积使用NCHW数据布局,且aclnnConvolution由四个在AIC和AIV上执行的闭源内核组成。

AoConv

基于上述动机,本节提出了AoConv,一种面向昇腾910B的新型卷积算子执行流。AoConv的关键思想是在算子接口层面采用NHWC数据布局,使所需的数据布局转换能够与卷积计算融合到一个在AIC上执行的内核中。该内核称为AoConv内核。

AoConv的概念验证原型

为展示AoConv的可行性和有效性,我们实现了一个概念验证原型以执行基于im2col的卷积,记为AoConv_im2col。AoConv_im2col目前支持B=1的卷积配置,其中输入特征图可以存储在L1缓存中且权重完全适配L0B缓存。

在昇腾910B上执行AoConv_im2col之前,主机侧CPU确定被调用的AIC数量,记为N_invoked,以及卷积

实验设置

实验在Atlas 800T A2训练服务器平台上进行,该平台主机端配备鲲鹏920 CPU[45],设备端配备昇腾910B[18][28],使用PyTorch 2.1.0、昇腾扩展PyTorch 6.0.0[46]和神经网络计算架构(CANN)社区版8.3.RC1[47]。昇腾910B包含20个AI核心和32GB的全局内存。最大可用AIC数量为20,最大可用AIV数量为40。每个AIC内的容量

讨论

在昇腾910B上,NHWC数据布局不仅仅是与NCHW数据布局等价的替代张量表示。它影响着布局转换和卷积计算的执行方式。现有的aclnnConvolution采用NCHW导向的接口和四内核执行流,而AoConv采用NHWC导向的接口和单核执行流。使用AoConv_im2col获得的隔离算子级结果表明,AoConv执行流

卷积优化

卷积优化大致可分为算法优化和硬件感知优化。算法优化主要关注降低计算复杂度或重新表述卷积的数学形式。例如,Winograd[54]和基于快速傅里叶变换(FFT)的卷积[55]已被提出以减少所需乘法次数,特别是对于小卷积核。基于im2col的卷积[40]通过构造矩阵来改进

结论

本文研究了昇腾910B即时模式下算子级卷积效率。使用msprof工具进行性能分析表明,昇腾算子库算子aclnnConvolution在内部被分解为四个依次在AIC和AIV上执行的闭源内核。这种四内核执行流为即时模式下的算子执行引入了不可忽视的额外开销,产生了显著贡献于内核间空闲时间

CRediT作者贡献声明

刘勋:撰写——初稿,软件,方法论,概念化。赵洪志:监督,资源,项目管理,经费获取。贺洋洋:撰写——初稿,验证,软件。韩畅:软件,调查研究。唐佳琪:验证,调查研究,数据整理。范志鹏:验证,数据整理。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:刘勋报告了来自中央高校基本科研业务费项目的资金支持。赵洪志报告了来自CAA I-CANN开放基金的资金支持。赵洪志报告了来自华为技术有限公司的设备、药品或物资支持。如有其他作者,他们声明没有已知的竞争利益。

致谢

本工作得到了中央高校基本科研业务费项目[项目编号2023YJS025]和CAA I-CANN开放基金[项目编号CAAIXSJLJJ 2023 CANN 01]的支持,并在OpenI社区上开发。作者感谢闫雅文、傅阳程文以及其他华为专家对昇腾910B实现问题提供的有益说明和技术支持。

刘勋|赵洪志|贺洋洋|韩畅|唐佳琪|范志鹏
北京交通大学计算机科学与技术学院,北京市海淀区上园村3号,100044,中国
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号