从仿真到加速:基于 HLS 在 FPGA 系统中 SGASP 缓存内存预取器的硬件实现

《Journal of Systems Architecture》:From simulation to speedup: Hardware implementation of the SGASP cache memory prefetcher through HLS in FPGA systems

【字体: 大 中 小 】 时间:2026年09月24日 来源:Journal of Systems Architecture 5.3

编辑推荐:

   - 在硬件中实现了一种完全流水线的 SGASP 预取器,同时最小化 RAW(写后读)冒险。 - SGASP 模块利用 FPGA 特有资源进行了优化,以实现低成本。 - SGASP 的硬件实现与仿真基线的输出结果一致。 - SGASP 优于 NextLine 和 Stride

  

- 在硬件中实现了一种完全流水线的 SGASP 预取器,同时最小化 RAW(写后读)冒险。
- SGASP 模块利用 FPGA 特有资源进行了优化,以实现低成本。
- SGASP 的硬件实现与仿真基线的输出结果一致。
- SGASP 优于 NextLine 和 Stride 预取器,实现了 7.43% 的加速比。
- HLS 源代码已在开源仓库中发布,以确保完全可复现性。

## 引言

近年来,计算机科学经历了显著增长,人工智能和深度学习领域的应用大幅增加。然而,这些模型的部署在性能、带宽和能耗方面面临重大挑战,从而限制了计算基础设施的能力。这既影响用于物联网的片上系统(SoC)和基于异构 CPU+GPU 架构的云平台和硬件加速器,也使效率成为计算机架构领域的主要挑战。

采用高性能且低能耗计算平台的趋势日益增长,涵盖了从纯应用专用解决方案(如 ASIC)到具有一定通用能力的平台(如 FPGA 和 SoC),后者因其改进的成本效益权衡而受到青睐。然而,这些架构同样面临众所周知的"存储墙"问题——由于存储技术的发展速度远慢于处理器,性能受到限制[1]。为了缓解这一问题,缓存存储和预取技术被用来隐藏内存访问延迟,通过推测性地请求可能被缓存层级访问的内存块,将数据更靠近微处理器[2]。

随着预取技术在 GPU[3]、[4] 和 SoC[5]、[6]、[7] 中的广泛应用,其在应用专用系统中的采用有望在未来增长。由于数据密集型应用在高性能基于 FPGA 的架构(如 AMD DPU、CGRA4ML[8]、N3H[9])中的使用日益增加,以及在高性能硬件加速器中针对暂存器的软件预取技术[10]和多核处理器[11]的关注度提升,预计这一趋势最终将填补目前 FPGA 解决方案中的空白。事实上,一些研究如[12]、[13] 或[14] 探讨了缓存存储层级的使用,使得内存预取成为利用外部 DRAM 存储的应用程序的有前景的解决方案。

要成功实现预取,预取器必须利用内存访问的局部性,分为两类:时间局部性——假设最近访问的块很快会被再次访问;以及空间局部性——假设最近访问的块附近的块可能会在未来被访问。后一种启发式方法传统上在最新预取器中应用最广,如 BOP[15] 和 AMPM[16]。相比之下,近年来出现了有趣的提案,利用机器学习和深度学习来学习内存访问模式并利用时间局部性,如 RAOP 预取器[17] 和 C-MemMAP[18]。

在之前的研究中[19],我们提出了贪心精确的基于 SVM 的预取器(GASP)家族,其在成本效益方面优于现有技术。除其他因素外,这得益于其集成的内存访问预测模型 SVM For Address Prediction(SVM4AP)所实现的精度和低资源占用,该模型基于线性分类 SVM 模型[20]。该家族包括基于时间局部性的预取器(如 GASP)和基于空间局部性的预取器(如 SGASP,即空间 GASP)。

鉴于 GASP 家族在预测和预取方面展现出的令人鼓舞的性能以及其灵活性,本文提出了针对 FPGA 的硬件实现。具体而言,本文呈现了使用高层次综合(HLS)设计的 SGASP 预取器,这是一种允许从之前的仿真实现轻松适配为完整硬件实现的方法。换言之,将预取器的 C++ 源代码从 ChampSim 模拟器[21]中转换为准硬件描述源代码。此外,本文探讨了设计启发式方法及其对预取器及其组件的硬件效率的影响。为 FPGA 系统实现了一种高性能设计,具有完全流水线化设计和低硬件成本。

我们提出了一种新颖的方法来验证 SGASP 预取器模型,该方法可应用于其他最新预取器。首先,对 ChampSim 模拟器中模型获得的结果与通过仿真综合硬件获得的结果进行直接比较。其次,将 SGASP 部署为基于 Microblaze 的 FPGA 系统中的 L2 缓存预取器,该系统并非作为 ChampSim 中模拟系统的架构类似物,而是作为一个高度受限的框架,用于预取器的硬件验证(从而便于识别最具成本效益和可行性的方案)。在这样的硬件配置下,测量 CoreMark-PRO 基准测试[22]的性能,并与无预取的基线以及 NextLine 和 Stride 预取器(此处使用 HLS 实现)进行比较。选择这两种预取器是因为它们在真实内存层级中普遍存在,且缺乏开源且可行的硬件替代方案(见 6.1 节)。尽管这些方案较为简单,但在某些场景下仍能提供有意义的加速[23]。

因此,本文弥合了新预取模型提案(在仿真框架内研究)与其直接实现为有效硬件模块之间的相关差距。据我们所知,这是关于在硬件(FPGA)中验证和基准测试缓存内存预取器的第一项研究。

总之,本研究的贡献如下:

- 为 SGASP 预取器提出了一种完全流水线化的硬件设计,在最小化 RAW 冒险的同时实现高性能。
- SGASP 预取器的各组件在延迟和硬件成本方面经过精心优化,充分利用可用的 FPGA 资源。分析了各模块对 BRAM、LUTRAM、FF 或基于 LUT 结构的利用情况。
- 我们提出了一种新颖的验证方法,基于 ChampSim 模拟器(目标)产生的输出与仿真综合硬件产生的输出之间的直接比较。由此,我们证明了 SGASP 向硬件实现的成功适配。
- 我们提出了第二种新颖的验证方法,其中 SGASP 作为 L2 预取器实现于基于 MicroBlaze 的系统中,运行 CoreMark-PRO 基准测试。性能结果表明 SGASP 持续优于 NextLine 和 Stride 预取器。
- 为确保可复现性,本研究的 HLS 源代码已作为开源仓库发布。

本文组织如下:第 3 节描述原始的 SGASP 预取模型;第 4 节详细介绍所提出的硬件设计;第 5 节通过综合硬件仿真进行实验、第 6 节通过基准测试进行实验,展示了验证硬件设计的实验,并讨论了相关的性能和成本指标;最后,第 7 节概述了结论和 future work。

## 相关工作

如上节所述,预取器可分为两类:通过映射到不同表格来利用内存访问局部性的"经典"预取器(尽管其中许多是近期的);以及利用机器和/或深度学习从内存访问模式中学习以利用该局部性的新型预取器。

许多经典预取器利用空间局部性,例如 AMPM[16],它将最近的内存访问映射到"热"区域以执行预取。

## SGASP 预取器

本节回顾 SGASP 预取器模型(已在[19]中提出和描述):(1)简要描述其架构和组成部分(源自 SVM4AP 预测模型),以及执行预取计算所执行的步骤;(2)讨论 SGASP 线性 SVM 模型计算的操作。

## SGASP 的硬件设计与实现

本节探讨了为 SGASP 预取器硬件实现所采用的各种设计启发式方法。

为此,我们使用了 HLS:一种基于目标硬件行为/算法描述的设计方法。HLS 的选择还因其便于测试台使用的多功能性(允许轻松集成复杂的基于跟踪的测试)以及将高级抽象语言应用于硬件描述的低难度等优势。

## 通过综合硬件仿真进行实验

为了证明 SGASP 向硬件实现的成功适配,本节提出了一种基于先前研究[19]的新颖方法。具体而言,验证本工作开发的硬件行为是否与先前研究使用的仿真版本(基线)一致。

## 通过基准测试进行实验

本节涵盖与基于 SGASP 与其他最新预取器之间的性能比较进行系统级基准测试的验证方法相关的实验。

## 结论

本工作提出了 SGASP 预取器的硬件设计并进行了详细描述,基于先前仿真研究的成功结果。为此,使用了 HLS 开发流程,通过预取器的算法/行为描述来设计复杂的硬件机制。具体而言,本工作引入了重大的设计变更,旨在在 FPGA 平台上实现 SGASP,例如引入高效的转发机制和流水线优化。

## CRediT 作者贡献声明

Pablo Sánchez-Cuevas:写作 – 审阅与编辑,写作 – 初稿,可视化,验证,软件,项目管理,方法论,调查,形式化分析,数据管理,概念化。Antonio Ríos-Navarro:写作 – 审阅与编辑,监督,资源,项目管理,调查,资金获取,形式化分析,概念化。Antonio M. Pérez-Pe?a:写作 – 审阅与编辑,软件,方法论,调查,形式化分析。

## 利益冲突声明

作者声明以下财务利益/个人关系,可能被视为潜在的利益冲突:Pablo Sanchez Cuevas 报告获得了安达卢西亚政府经济与转型工业知识及大学部提供的财政支持。P.S.C、A.R.N 和 A.P.P. 在 AMD 组织的 2025 年开放硬件竞赛中获奖。如有其他作者,声明他们没有已知的竞争性财务利益或个人关系。

## 致谢

本工作是 ATopEH(PID2023-147795NA-I00)、SAINEVRA(PID2023-151065OB-I00)和 NEKOR(PID2023-149071NB-C54)项目的一部分,由 MCIN/AEI/10.13039/501100011033、Feder 基金和欧盟 NextGenerationEU/PRTR 资助。还得到了数字化转型和公共职能部的 USECHIP(TSI-069100-2023-001)拨款支持的 PERTE Chip Chair 项目资助,资金来自欧盟 – 下一代 EU。P.S.-C. 获得"Predoctores 2021"(PREDOC_01229)的支持。

Pablo Sanchez-Cuevas 于 2020 年获得塞维利亚大学(西班牙)计算机工程学士学位,2021 年获得格拉纳达大学数据科学与计算机工程硕士学位,2026 年以优异成绩获得塞维利亚大学(西班牙)计算机架构博士学位。2022 年完成研究奖学金后,目前是 Quintauris S.L. 的高级 FPGA 工程师。其当前的研究兴趣包括计算机架构、FPGA 设计和加速器。

Pablo Sánchez-Cuevas | Antonio Ríos-Navarro | Antonio M. Pérez-Pe?a | Michelangelo Barocci | Fernando Díaz-del-Río
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号