仓库规模指令集迁移

《Communications of the ACM》:Instruction Set Migration at Warehouse Scale

【字体: 大 中 小 】 时间:2026年09月26日 来源:Communications of the ACM 7.1

编辑推荐:

   摘要 将代码库从一个指令集架构(ISA)迁移到另一个是一项重大的工程挑战。近期的一个例子是各大云超大规模提供商除了x86之外还采用了Arm架构。然而,学术界对这一问题的关注有限。大多数研究假设在有源代码的情况下迁移是简单直接的,或者认为主要研究挑战在于没有源代码时所使用的二进

  

摘要
将代码库从一个指令集架构(ISA)迁移到另一个是一项重大的工程挑战。近期的一个例子是各大云超大规模提供商除了x86之外还采用了Arm架构。然而,学术界对这一问题的关注有限。大多数研究假设在有源代码的情况下迁移是简单直接的,或者认为主要研究挑战在于没有源代码时所使用的二进制翻译。我们发现这两个假设今天都不成立。现代ISA迁移可以建立在稳健的开源生态系统之上,使得从头重新编译所有相关软件成为可能。但是,虽然这避免了二进制翻译的需求,现代软件生态系统却带来了一组全新的、多面的挑战。通过分析Google从x86到Arm的大规模迁移,该迁移涉及近40,000次代码提交,我们得出现代ISA迁移所涉及的任务分类。我们展示了Google如何自动化其中的许多步骤,并证明人工智能(AI)可以在执行这些任务中发挥重要作用。最后,我们识别出仍然困难的任务,并强调需要进一步关注的研究领域。

将大型代码库迁移到新的指令集架构(ISA)是一项重大的工程挑战。例子包括Apple从PowerPC迁移到x86,后来又迁移到Arm,以及主要超大规模提供商(如Amazon、Google和Microsoft)采用Arm架构。虽然有关于迁移复杂性和所需工作的轶事说法,也有一些此类迁移的历史记录,但据我们所知,目前没有对今天的ISA迁移包含哪些内容及其如何受现代技术(如改进的软件工程工具和AI)影响的系统性分析。在本文中,我们对Google将数十亿行代码库从x86迁移到Arm进行了这样的系统性分析。

在有源代码的情况下(通常通过开源或在大型组织内部),与二进制翻译等技术相比,重新编译更受青睐。当代ISA在上游编译器、运行时库和Linux内核中通常有很好的支持。因此,现代编译器对新的ISA基本上"开箱即用",而且之前的ISA添加使支持默认交叉编译的包变得更顺利。例如,98%的Debian软件包可以构建到RISC-V,尽管它直到2023年才成为Debian的官方架构。

令人惊讶的是,这并不意味着在有源代码的情况下ISA迁移不再是一个挑战。我们发现现代ISA迁移涉及许多通常简单、重复的任务,如更新构建脚本或修复浮点问题。与历史上的迁移相比,今天简单更改的数量要高得多。这带来了挑战,但也为自动化(包括AI)提供了机会。我们关注三个研究问题:

(1) 现代ISA迁移涉及哪些任务?
(2) 哪些任务可以通过常规方法成功自动化?
(3) 现代AI如何帮助自动化,哪些任务仍然具有挑战性?

为了回答这些问题,我们提供了据信是首次关于大规模ISA迁移任务的详细分解和分类。我们使用最先进的LLM分析并分类由38,156次提交组成的真实世界迁移语料库。我们还定量评估了当前工具(包括AI模型)自动执行这些任务的能力,系统识别了当前自动化工具的优缺点,并强调了未来工作的领域和改进方向。我们认为这项工作为学术界突出了研究机会,并重新审视了围绕ISA迁移的长期假设。

具体而言,我们提供了以下见解:
- ISA迁移的复杂性涉及多个不同的任务,许多与重写构建和配置文件有关。
- 这些任务中许多是高度可自动化的。
- 许多无法自动化的任务在从单ISA到多架构的迁移中只需要执行一次。
- 在剩余的任务中,许多可以由现代AI完成,但仍存在一些挑战。

背景和相关工作
组织进行大规模ISA迁移有几个原因。首先,许多ISA在过去几年中已经消亡(例如Alpha、MIPS、SPARC、Itanium、VAX)。其次,Android和iOS应用的普及推动了许多代码库移植到Arm。第三,Apple Mac经历了从PowerPC到x86再到Arm的连续迁移。最后,主要云超大规模提供商也在将大型代码库从x86迁移到Arm。

在这种情况下,迁移不仅指让软件在新架构上构建,还指在性能、安全性和稳定性方面达到对等水平。虽然ISA迁移有30到40年的历史,但现代迁移比这些历史例子大得多,依赖关系也重得多。最密切相关的学术工作分为两类。

首先,有大量关于静态和动态二进制ISA翻译的工作,以解决软件生态系统的长尾问题。这些系统最终会被弃用,以避免向前携带技术债务,正如Apple计划淘汰Rosetta时所看到的。在云计算中,计算是商品化的,在新ISA上重新编译可以最大化性能和效率。因此我们完全放弃了二进制翻译。

其次,有大量的研究关于自动对代码应用编辑,例如用于性能优化、修复安全问题或纠正错误。我们将看到,这些是成功ISA迁移中的常见任务。

Google的x86到Arm之旅
我们现在分析Google将大量服务器应用生态系统从x86移植到Arm的多年来努力,使两者都能同时支持。我们首先描述Google的环境,然后逐步分析我们的ISA迁移。

Google的软件生态系统。Google的代码库组织为包含数十亿行代码的单仓库。个人应用程序和库位于各个目录中。这些目录还包含元数据文件,例如指示代码所有者或配置持续集成(CI)测试。

使用Bazel构建。构建使用Bazel,一个高度可配置的构建系统。BUILD和bzl文件描述了如何从源文件构建二进制文件、库和测试。大部分代码都覆盖在我们的主要持续集成系统"TAP"(测试自动化平台)下,它类似于GitHub Actions或GitLab CI,用于控制发布。Bazel的构建和测试(包括TAP)运行在名为Forge的一组共享机器上,Forge提供分布式构建执行和缓存服务。Forge的规模和缓存使Google能够在每次构建时从头编译二进制文件所需的所有内容,包括Python解释器这样的基本依赖项。

使用Blueprints创建发布。Google区分编译后的二进制文件和发布包(内部称为"MPM",代表存储它们的全局Midas包管理器)。这些包是准备在Google集群中部署的二进制文件和静态数据的捆绑,类似于Debian软件包或容器镜像。发布由"Blueprint"文件定义,这些文件作为发布配置清单(类似于Helm charts或Kubernetes清单)来指定依赖关系、环境设置和构建标志。一个名为Rapid的自动持续交付系统消费这些清单,运行CI测试并构建发布包。

多架构支持。Google的机群在过去几年中支持了数十种CPU,服务运行在最多可达10年机龄的机器上。在开发期间,工程师可以在他们的Blueprints中配置跨多个架构(例如Arm、K8、Haswell)的构建和测试。发布时也支持多个架构,生成多架构MPM。除非所有者添加了特定约束,否则作业可以调度到任何具有架构兼容MPM的机器上,所有者期望同时在不同性能配置文件的不同类型机器上运行。

向下移动和大规模更改。Google已转向开发中的"向下移动"方法,开发人员只专注于堆栈的一个层级,其他问题则被抽象化和/或自动化的。例如,CI流水线(如Bazel、TAP和Rapid)意味着开发人员通常不需要担心构建系统或发布的具体细节。此外,健康的自动化测试文化意味着每个人都可以更改单仓库中的代码而不会频繁出现破坏。这使大规模更改(LSC)成为可能,即可以一次性更改由许多团队拥有、跨越数千个文件的代码的单仓库范围的修订。低风险LSC可以中央批准并高效提交,而无需询问各个团队。为了管理跨许多审查者的代码编辑,Google开发了Rosie,一个自动化的更改编排工具,它允许工程师创建一个非常大的提交并将其分片成数十个、数百个或数千个按所有者拆分的小提交。

ISA迁移的生命周期。将单个软件包从单架构迁移到多架构支持需要几个步骤:
(1) 测试:修复在新ISA下运行时破坏的测试(和构建)。
(2) 设置多架构CI:修改相应的Blueprint文件以确保不引入额外的回归(通常与下一步同时)。
(3) 配置发布:修改Blueprint文件使发布默认支持多架构。
(4) 推出新二进制文件:在新ISA的机器上运行多架构包并评估性能和稳定性,根据需要解决问题。
(5) 全面生产:允许生产作业自由调度到新ISA的机器上。

虽然这些步骤对所有软件包都是相同的,但在每个步骤中遇到的问题因应用程序和我们从x86到Arm的ISA迁移的不同阶段而大相径庭。这通常涉及为新平台创建性能优化的代码,可以与这些步骤并行进行。我们观察到与Uber报告的移植工作流程有相似之处。

第一阶段:大型用户。我们从一小部分大型用户开始我们的Arm迁移,如Spanner、BigQuery和Bigtable等大数据系统。这些迁移由小团队亲自进行,需要每周会议和跟踪错误。一旦测试通过,推出是手动的,有非常仔细的性能和负载测试,以及按作业逐渐移除调度约束。第一阶段工作主要由人而非自动化或AI完成。

在此期间,这些工作负载中的许多问题浮现并被解决。例子包括:x86特定的内置函数;long double,在x86和Arm之间有所不同,具有跨平台等效值;脆弱的测试(例如由于精确的浮点相等性检查);x86特定的标志;x86隐藏的内存排序问题;内存不足错误,通常是由于堆限制为x86调优;多架构发布包超过我们基础设施的容量限制;不支持的依赖项以及加载不支持的动态库;由于遗留的仅限x86的调度约束,作业无法调度,例如要求AVX2指令支持以目标更新的机器。

这个列表令相关团队感到意外。最初,团队认为将这些成熟代码库移植到Arm是一项充满工具链困难的艰巨任务。然而,随着我们获得经验,大多数问题涉及简单的更改,其中许多在配置文件中。同时,这些更改出人意料地普遍,正如38,156次提交所 evident。

总体而言,我们发现软件在Arm上编译和运行所需的修改与初始预期不同。例如,虽然一个软件包最初可能完全无法构建,但对几个共享依赖项的简单手动修复通常可以同时解除许多构建的阻塞。我们还做了一些(约10个)系统性的自动更改,例如引导几乎所有应用程序远离long double以实现跨架构的数值稳定性。

第二阶段:其他所有人。为了充分利用数据中心中的Arm,仅迁移最大的工作负载是不够的。为了最大化可用容量的使用,集群调度器需要能够在平台之间灵活地调度工作负载,将大小工作负载打包到机器上。如果只有小部分服务可以运行在Arm上,将导致这些机器利用率不足。我们注意到Google的工作负载分布非常扁平:虽然我们的前50个二进制文件非常大,但它们仅代表约60%的运行计算。解决这个长尾需要移植超过100,000个软件包和数十亿行代码。这使得第一阶段直接与客户服务团队合作的方法不可行。事实上,即使只是与每个团队交谈也会昂贵到难以承受。因此x86到Arm迁移的第二阶段专注于自动化和规模化这些工作负载的迁移,同时最小化团队自身的参与。

我们发现,要有效利用 Arm 硬件并不需要将所有工作负载都进行移植。我们主要关注的是 Google 从 x86 迁移至 Arm 的这一阶段。到目前为止,我们已经移植了约 60,000 个软件包,约占 Google 服务器 CPU 周期的 75%。在这一阶段,我们大幅减少了用于处理单独测试或配置的工程师人数,因为这种方式缺乏可扩展性。取而代之的是,我们使用了一系列人工操作的传统自动化工具来处理大量的代码提交。在流程的后期阶段,通过 CogniPort 生成的 LLM 变更开始出现,但我们下一节的分析几乎完全聚焦于此前的时间。我们将更详细地描述这一阶段以及我们的自动化流程。

分析指令集架构(ISA)迁移

为了全面了解 ISA 迁移所涉及的内容,我们现在分析 Google 从 x86 迁移至 Arm 过程中涉及的所有任务范围(研究问题 1)。作为一个单一大仓库,任何变更——无论是代码、配置还是文档——都会以提交(commit)的形式记录在我们的仓库历史中。此外,相关提交会标记一个关键词以表明它们属于此次迁移的一部分,使得我们事后可提取这些提交。我们因此识别出相关的一组 38,156 个提交。这些变更的内容包括几乎完全由人类编写以及使用大规模变更的传统(非 AI)自动迁移工具编写的代码和修复。数据集中的绝大部分内容都早于代理式编码工具的兴起。

手动分析这些提交成本高昂且不可行。取而代之的是,我们使用 Gemini 2.5 Flash 的一个变体(当时可用的最新模型)对这些提交进行了大规模分析:

1. 我们将提交信息和代码差异以每组 100 个为单位传入 LLM 的 100 万 token 上下文窗口中,并为每组挑选出 20 个类别。
2. 我们将大约 400×20 个类别全部传入上下文窗口,要求 Gemini 将其合并为 50 个。
3. 我们手动调整模型输出,得到最终的 16 个类别列表(图 1)。
4. 我们再次运行 Gemini,为所有提交应用标签,将它们归类到这 16 个类别中(以及一个额外的"未分类"类别用于处理异常值,以提高稳定性)。图 2 展示了每个类别的示例。

图 1:Google 从 x86 迁移至 Arm 过程中的提交类别。每个提交的代码行数(LoC)显示中位数、第五和第九十五百分位数。自动化部分显示使用大规模变更生成的提交/代码行数的比例。

图 2:每个类别的具体代码示例。

在 38,156 个提交中,要验证每一个分类都是正确的显然是不切实际的。我们检查了约 100 个示例,它们看起来都正确分类了。

提交分为四个主要组:代码变更、测试变更、构建和配置文件,以及支持流程和工具。总共,我们的提交更新了约 70 万行代码。虽然绝大多数(84%)的提交与更新构建或配置文件有关(类别 8),但这些提交只占更新代码行数的 19%。我们还看到大量代码行(17%)用于迁移工具开发。这部分工作中的很大一部分只需完成一次,即可在未来 ISA 迁移中重复使用。

与代码相关的变更(类别 1–5)仅占提交的 1% 和不到 4% 的代码行数,这驳斥了传统观点(文献 26)即代码翻译占据了 ISA 迁移的大部分工作。在本文后文中,我们分析了这些提交的可自动化程度。

我们还分析了 ISA 迁移的时间线(图 3)。我们观察到,在迁移初期,大多数提交集中在工具开发和测试适配上,与第一阶段一致。随着时间推移,更大比例的提交围绕代码适配,可以视为仍有需要更新公共依赖中的代码并解决代码和测试中常见问题的一段阶段。最终,这类提交的比例下降,在流程的最后阶段,几乎所有提交都是配置文件和支持流程。我们还观察到,在这一后期阶段,合并的提交数量迅速增加,反映了迁移的规模化。

图 3:随时间变化的提交类别。

为什么有如此多的配置变更?自动和手动标志翻转使得 Arm 版本能够在数万个项目中通过简单的发布来实现。对于具有复杂发布测试或评估的项目,重新配置需要多次提交中投入更多的人工(或代理式)劳动。

最后,我们希望了解这些不同类别的提交之间有何区别。我们观察到,大多数类别的中位提交少于 20 行代码,包含许多单行提交。然而,我们也观察到一些非常大的提交,修改超过 10,000 行代码,从而拉高了平均值。我们手动检查了这些提交以了解其来源,发现这些提交通常并不代表更多工作,因为它们在概念上与大量简单的单行提交类似。总体而言,有 19 个提交累计占总共变更行数的 238,289 行(32.4%),且都是琐碎的。示例包括:
- 删除一个不再使用的移植工具——57K 行(类别 12)
- 更新微基准测试目标列表——23K 行(类别 11)
- 为覆盖工具添加几个非常大的测试向量——15K 行(类别 6)

总之,我们发现大多数与迁移相关的提交都很小;较大的提交通常修改非常大的列表或配置,并非本质上复杂。最后,我们观察到一些提交(特别是在"支持流程与工具"类别中)可能在随后的多架构迁移中复用。

ISA 迁移的自动化

现在我们已经确定了 ISA 迁移中包含的任务,我们可以探索其中每项任务的可自动化程度(研究问题 2),以及新颖的自动化方法如何促进它们。

Google 的 ISA 迁移自动化。Google 已经在使用一系列(非 AI)自动化工具,这些工具自动化了 ISA 迁移过程中很大一部分工作(占提交的 83.82% 和代码行数的 14.15%)。

大规模变更(LSC)。ISA 迁移自动化的关键部分是 Rosie,一个现有的工具,它允许我们编程生成大量提交并将其引入单一大仓库。Rosie 协调每个单独提交的测试、发送、代码审查和提交流程。Rosie 总共管理了 31,984 个提交,但这些变更仅代表数据集中总变更行数的 14.15%。图 1 显示了每个类别中使用自动化工具生成的比例。在一次主要的自动大规模迁移中,我们引入了变体项目的概念到持续集成(CI)和持续部署(CD)基础设施中,这使得在 Blueprint 文件中通过以下单行添加即可配置 Arm CI 和 CD:
arm_variant_mode = ::blueprint::VariantMode::VARIANT_MODE_RELEASE

Sanitizers 和 fuzzers。虽然不仅限于 ISA 迁移,但 fuzzers 和 LLVM sanitizers 如 AddressSanitizer、MemorySanitizer 和 ThreadSanitizer 是我们迁移的关键推动者。即使在采用 Arm 之前,Google 就已定期使用这些工具运行所有 TAP 测试,它们将潜在的内存损坏、内存泄漏或竞态条件等错误转化为可调试的故障。应用所有者定期处理和修复这些故障,从而规避了 x86 和 Arm 执行之间的许多常见差异(例如,x86 的 TSO 内存模型可能会隐藏数据竞态)。提前发现这些问题避免了在为新 ISA 重新编译时调试非确定性行为。

ThreadSanitizer(TSan)在管理 Arm 和 x86 之间的内存模型差异方面尤其有效。TSan 可以检测几乎所有代码中的线程问题,除了罕见的无锁算法。程序通常使用语言提供的同步原语,这些属于 TSan 的检查范围,并在 x86 和 Arm 上具有相同的保证。通过 TSan 检查的代码极有可能是正确使用了同步原语的。

尽管我们在整个代码库中看到很少的线程问题,但一些问题由于未被测试或无法用 TSan 测试的代码而逃逸。此类代码中的线程相关问题不易检测,直到我们大规模部署时观察到诸如崩溃之类的问题模式。其中一个问题是由线程竞态引起的核心 JVM 代码中的 bug。根据我们的生产经验,全量运行能让我们对不存在剩余问题具有高度信心。

持续健康监测平台(CHAMP)。自动化的最后一步是 CHAMP,一个自动金丝雀分析和资质认证系统,用于监控在 Arm 硬件上运行的应用。它持续监控健康指标,以检测行为是否与 x86 实例不同(例如,RPC 错误率显著升高或崩溃)。如果确实如此,它会自动将该作业标记为不适合 Arm,为其所有者提交 bug 以便跟进,并在 30 天后重试。按照 Google 的生产原则,它逐步增量提高应用 Arm 实例的比例,以限制服务级别目标风险。CHAMP 对于新的微架构部署(无论是 x86 还是 Arm)来说重要性较低,因为行为、性能差异和相关问题相对较小。然而,它在 Arm 迁移期间非常有效,并帮助那些认为部署到新 ISA 有风险的业主建立了信心。

使用 CHAMP 后,不再需要手动将每个二进制文件送通过资质认证。取而代之的是,在更新项目配置以构建 Arm 版本后,部署自动进行。

自动化方法的可靠性。综合起来,这些工具实现了以自动化为主的方法,其中大规模变更(LSC)为不同构建和发布启用 Arm,然后使用 CHAMP 自动进行资质认证。为了了解这种方法的稳定性,我们分析了针对某一覆盖 Google 所有二进制文件 49.6% 的标准化发布管理系统的大规模变更。这些大规模变更修改了发布配置,将该系统中 Arm 合格应用的比例从 4.8% 提高到(撰写本文时)78.89%。早期测试中被回滚的应用比例为 1.8%(修复 bug 后降至 1%),最终阶段低于 0.8%。

在迁移早期,约 300 个发布软件包之后,拒绝率为 5%(代码所有者决定不迁移)。在扩大规模期间,这一比例在约 600 个额外软件包之后降至 0.6%。在最后阶段,提交获得全局批准,无拒绝。我们发现接受率受到仔细的工作负载目标定位、用户对自动化的信任建立以及预先解决担忧和反对的沟通策略的强烈影响。

尚未迁移的剩余二进制文件属于各种类别:已就绪等待迁移、使用复杂和定制测试、存在尚未修复的失败测试、正在走向弃用、使用未迁移的依赖、被非 Arm 特有的技术债务所困扰、有当前 Arm 服务器尚未满足的硬件要求等。有少部分作业完全依赖特定 ISA,但绝大多数是可以迁移的,修复它们的变更将归入我们现有的 16 个提交类别中。这一切仍然是该进行中项目的未来工作。

使用 AI 自动化 ISA 迁移

虽然大规模变更和 CHAMP 自动化了过程的大部分,但这种方法有其局限性。它们可以编辑构建和配置文件,并自动为部署认证 Arm 二进制文件。然而,标准的大规模变更是固定功能管道,无法灵活应对过程中任何阶段出现的意外错误或其他问题,无论是测试期间还是生产环境中。

现代生成式 AI 技术代表了自动化 ISA 迁移剩余部分的机会。我们构建了一个名为 CogniPort 的代理,旨在弥合这一差距。CogniPort 运行于构建和测试错误之上。如果 Arm 二进制文件无法构建或过程中任何一点测试失败,该代理可以介入自动修复问题。

该代理由三个嵌套的代理式循环组成(图 4)。每个循环使用 LLM 执行一步推理,随后进行一次工具调用——即函数调用。工具的输出然后附加到代理的上下文中。有用于构建并返回日志、运行测试并返回日志、启发式修复构建文件错误、搜索代码、修改代码以及退出循环(完成)的工具。

图 4:代理式流程和代理的成功率。

最外层的代理循环是一个编排器,根据工作空间的状态反复调用构建修复代理和/或测试修复代理。

构建修复代理会尝试构建给定的目标,并修改文件直到目标成功构建。测试修复代理会运行给定的测试,并进行修改直到测试通过。在两种情况下,代理都可能因为步骤限制而超时,或者通过调用 finish 提前放弃。为了评估该代理,我们从数据集中选取历史提交,对其进行回退,然后检查代理是否修复了由此引入的错误。需要注意的是,并非我们所有的类别都适用于这种方法——它仅适用于代码和测试适配(类别 1–7)。我们进一步将数据集缩小到可以被干净回退并且具有可识别构建或测试目标的提交。这最终形成了一个由类别 1、2、3、6 和 7 中的 234 个提交组成的基准集。我们对每个提交运行了两次代理:一次使用在包含代码和文档的内部语料库上微调过的 Gemini 3 Flash,另一次使用开箱即用的 Gemini 3.1 Pro。我们看到"两者取优"的成功率为 73.5%。测试修复、平台特定条件分支以及汇编代码移植具有最高的成功率。测试执行环境是最具挑战性的,但成功率仍达到 56%,其中我们微调的模型表现最佳。

请注意,我们将这些结果视为方向性指标:虽然我们分析了部分输出以确保结果的有效性并确认不存在训练数据中的背诵现象,但评估并不完美,可能会遗漏某些情况,例如修复方案不正确但未被测试捕获,或者存在其他信息泄露(例如,后续提交使得原始修复变得更容易,或者仅回退该提交本身使得问题根因定位比回退整个修复更容易)。

**讨论与研究挑战**

总体而言,我们发现指令集架构迁移涉及我们的分类法中所展示的各种不同任务(研究问题 1)。其中许多任务高度可自动化。构建文件和配置更改几乎可以完全自动化,而代码更改和测试在传统技术下可以部分自动化(研究问题 2)。此外,许多领域可以跨架构扩展,无需针对每个指令集架构做额外工作。这包括构建和测试基础设施的多架构支持、启动新的硬件平台(无论其是否为新指令集架构,例如类别 11 和 15),以及弃用旧代码(类别 14)。

我们已经发布了覆盖谷歌 75% 服务器计算的多架构二进制文件,这是一个跨领域的代表性代码集。历史上,此类迁移将消耗巨大的人力。像 CHAMP 和 Rosie 这样的工具结合广泛的测试、大量使用净化器,以及专注于简化流程,使得此次迁移的大部分工作得以自动化。CogniPort 和类似的 AI 工具将进一步加速这一进程,使得巨型代码库的迁移以极小的工作量变得可行。这提出了一个问题:剩余的挑战是什么,在弥合剩余差距方面是否存在研究机会(研究问题 3)?

通过人工检查输出结果,我们发现诸如构建文件和配置文件、内联函数及汇编代码移植、测试逻辑等类别已经基本可以自动化。然而,类别 7(测试执行环境)被证明要难得多。虽然这些挑战的细节是指令集架构迁移所特有的,但其根本原因与使用代理自动化通用软件开发时出现的质量问题相似。它们植根于大语言模型的上下文窗口限制和信息检索挑战。

在谷歌,我们发现不完美的基于 AI 的代码生成结合我们广泛的测试和监控基础设施以及人工代码审查,足以可靠地将大量变更部署到生产环境,即使在模型层面的成功率低于 50% 的情况下也是如此。例如,一个名为 ECO 的系统已被用于提交数千个 AI 生成的代码优化,而不到 0.5% 的提交需要回滚。我们研究中 73.5% 的 CogniPort 成功率已经优于 ECO 论文中报告的比率。诸如基于历史提交的信息检索(ECO 使用的技术)和规范驱动开发(SDD)等技术可以使代理更加健壮,两者都有助于进一步改善。即便如此,我们发现仍然存在一些未解决的挑战:

- **指令集架构特定的向量代码:** 编写特定于指令集架构的高性能向量和矩阵代码非常困难。先前的研究显示成功率有限。然而,我们以及其他研究者观察到,现代大语言模型在编写向量内联函数方面开始显示出前景。
- **深度性能优化:** 这有时需要进行重大重构和算法变更。现有的性能优化 AI 工具(如 ECO)也将提供帮助。
- **棘手的边界情况:** 我们看到一些需要超出代码本身知识的边界情况。例如,我们看到一些提交用于绕过 Arm 编译器缺陷、处理在 Arm 和 x86 上表现不同的哈希函数,以及修复只有在代码运行在 Arm 上才会触发的缺陷。
- **性能调优:** 超参数和反馈导向优化(FDO)配置文件有时需要为新平台重新生成。代理可以配置测试工具、运行工作负载并测量性能。

与此同时,我们还发现了一些与指令集架构迁移任务无直接关系的示例,它们可能无法完全自动化:

- **多架构工具:** 这部分工作的很大一部分包括实现自动化本身(例如 CHAMP),以及模拟工具和仪表板。然而,AI 代理正在迅速提升实现这些组件的能力。
- **资源预配:** 这些是帮助人类工程师管理数据中心中物理硬件的配置更改,可能涉及战略或商业判断。

我们的结果表明,软件工程师(包括在谷歌)快速采用代理基础设施也将解决指令集架构迁移的挑战。未来的指令集架构迁移可能只需要有限的手工工作,主要集中在使新硬件可用以及将新指令集架构添加到我们现有的多架构工具和自动化中。

**结论**

通过分析谷歌的一次大规模指令集架构迁移,我们驳斥了关于此类迁移的长期假设。首先,即使存在源代码,迁移也绝非简单直接,涉及大量多方面的任务,没有任何单一任务占据主导地位。其次,其中许多任务高度可自动化,特别是使用现代 AI 技术。最后,AI 代理正在快速进步,扩大了可自动化任务的广度。

**致谢**

我们感谢 Arvind Sundararajan、Dushyant Acharya、Ahmed Alansary、Shelah Ameli、Owen Anderson、Sterling Augustine、Sushmita Azad、Nupur Baghel、Antoine Baudoux、Patrick Bellasi、Vincent Belliard、Kyle Berman、Paul Bethe、Gopu Bhaskar、Raymond 'Princess Sparklefists' Blum、Marshall Bockrath、Harsha Vardhan Bonthalala、Lexi Bromfield、Jean-Luc Brouillet、Eric Burnett、Marcelo Cataldo、John Cater、Kristine Chen、David Cheng、Ilya Cherny、Saahithi Chillara、Rob Chilton、Chandrakanth Chittappa、Brian Chiu、Daniele Codecasa、Eduardo Cola?o、Pavithra Dankanikote、Nicolo Davis、Rumeet Dhindsa、Zhuoran Diao、Bartosz Dolecki、Ian Dolzhanskii、Pat Doyle、Elian Dumitru、Ali Esmaeeli、Samuel Foss、ákos Frohner、Neeharika Gonuguntla、Shruti Gorappa、Russell Gottfried、Manoj Gupta、Benjamin Gwin、Yanyan Han、Jitendra Harlalka、Milad Hashemi、Tim Henderson、Daisy Hollman、Jung Woo Hong、Jiawei Huang、Jin Huang、Talha Imran、Victoria Juan、Pranav Kant、Lera Kharatyan、Joonsung Kim、Danial Klimkin、Justin King、Sree Kodakara、Avi Kondareddy、Danila Kutenin、Gregory Kwok、Pavel Labath、Leon Lee、Sungkwang Lee、Li Li、Sha Li、Xu Li、Zhongqi Li、Jianyi Liang、Kevin Liston、Haiming Liu、Li Liu、David Lo、Sean Luchen、Albert Ma、Laura Macaddino、Anthony Mai、Jennifer Mansur、Simon Marchuk、David Margolin、Alexander Midlash、Dominic Mitchell、Karthik Mohan、Albert Morgese、Maksym Motornyy、Katherine Nadell、Ngan Nguyen、Denis Nikitin、Stoyan Nikolov、Nicolas Noble、Chester Obi、Andri Orap、Habib Pagarkar、Dasha Patroucheva、Sabuj Pattanayek、Vaishakhi Pilankar、Saranyan Vangal Rajagopalan、Daniel Rall、Majid Rasouli、Salonik Resch、Alberto Rojas、Annie Rong、Jesse Rosenstock、Michal Sapinski、Yashnarendra Saraf、Aaron Schooley、Alexander Schrepfer、Manish Shah、Alexander Shaposhnikov、Stan Shebs、Guangyu Shi、Oscar Shi、Santanu Sinha、Anna Sj?vall、Ben Smith、Justin Smith、Jairaj Solanke、Fangrui Song、Raman Subramanian、Xenia Tay、Toni Thompson、Dima Tsumarau、Cassie (Yitong) Wang、Tommy Wang、Shu-Chun Weng、DJ Whang、Hailong Xiao、Andy Xu 和 Jason Yuan 对谷歌的 Arm 移植工作以及本文所描述工作的贡献。

Eric Christopher 是谷歌公司(美国加利福尼亚州山景城)的高级员工软件工程师。Kevin Crossan 是谷歌公司(美国加利福尼亚州山景城)的员工软件工程师。Wolff Dobson 是谷歌公司(美国加利福尼亚州山景城)的高级员工软件工程师。Chris Kennelly 是谷歌公司(美国加利福尼亚州山景城)的杰出软件工程师。Cannada Lewis 是谷歌公司(美国加利福尼亚州山景城)的高级员工软件工程师。Kun Lin 是谷歌公司(美国加利福尼亚州山景城)的员工软件工程师。Martin Maas 是谷歌 DeepMind(美国加利福尼亚州山景城)的高级员工研究科学家。Parthasarathy Ranganathan 是谷歌公司(美国加利福尼亚州山景城)的工程副总裁、工程院士。Emma Rapati 是谷歌公司(美国加利福尼亚州山景城)的员工软件工程师。Brian Yang 是谷歌公司(美国加利福尼亚州山景城)的员工软件工程师。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号