超越炒作:GitHub Copilot的效率与吞吐量差距
《Communications of the ACM》:Beyond the Hype: The Efficiency-Throughput Gap with GitHub Copilot
【字体:
大
中
小
】
时间:2026年09月26日
来源:Communications of the ACM 7.1
编辑推荐:
摘要
本研究通过实地调查,探究了 GitHub Copilot 对软件工程的实际影响,揭示了个人开发者效率提升与组织整体产出提升之间的严重脱节。我们采用多方法途径,结合组织欧姆定律框架,整合了工程效率调查数据、GitHub Copilot 与工程指标数据以及参与者信息。尽管
摘要
本研究通过实地调查,探究了 GitHub Copilot 对软件工程的实际影响,揭示了个人开发者效率提升与组织整体产出提升之间的严重脱节。我们采用多方法途径,结合组织欧姆定律框架,整合了工程效率调查数据、GitHub Copilot 与工程指标数据以及参与者信息。尽管我们观察到工程师动机提升、技能感知增强以及工作时间缩短,但分析结果显示,月度拉取请求量和代码行数等工程指标并未出现具有统计意义的显著改善。调查数据表明,工程师认为 GitHub Copilot 在生成测试脚本、样板代码、查询语句和配置方面最为有用,但在复杂的编码任务以及沟通、流程管理等核心人为导向的企业开发活动中效果较差。我们将这种现象称为"效率-产出差距",它表明个人效率的提升并未转化为组织产出的增长。我们的发现强调了在软件工程领域利用生成式人工智能实现即时生产力提升的复杂性,并为未来设计以及评估 AI 驱动的产品开发提供了重要的方法论见解和实证结果。
软件开发中 AI 辅助工具的迅速普及,再次引发了人们对工程效率的浓厚兴趣。然而,对于这些工具对工程效率的实际影响,仍缺乏全面深入的理解——它们一方面被营销宣传所声称的巨大收益所笼罩1,2,22,另一方面又受制于仅关注任务层面改进的初步研究5,8,10,20,23。尽管营销叙事正受到新兴的实际证据的质疑11,但社区仍缺乏深入的、非轶事性的研究,不仅观察这一脱节现象,还对其作出解释。本文的目的正是如此。我们提出并研究了"效率-产出差距"这一现象,即个人开发者效率的提升未能转化为可衡量的组织产出。基于组织欧姆定律框架,我们的实地研究提供了一种方法论,既能实证记录这一差距,又能提供数据驱动的解释。
核心洞察
■ 尽管工程师动机提升、技能感知增强,且工作时间有所减少,但 GitHub Copilot 的采用并未在工程产出指标上产生统计显著的改善。我们将这种脱节称为"效率-产出差距"。
■ 组织欧姆定律框架提供了一种实用且全面的工程效率测量框架,将主观调查与客观指标相结合,以评估 AI 作为个体潜力与组织阻力之间函数的影响。
■ 实现组织层面的生产力提升,不仅需要部署 AI 驱动的工具,还需要有意识地学习、适应和创新团队、流程及基础设施,以与 AI 增强的开发者能力相匹配。
研究动机与原则
本研究的动机在于理解 GitHub Copilot 对工程效率的影响,从而为将生成式人工智能战略性地融入现有产品开发提供参考。具体而言,我们希望了解工程师如何使用 GitHub Copilot,以及其采用是否能带来可衡量的工程效率提升。此外,本研究还旨在识别在企业环境中有效衡量工程效率的要求。
为便于做出实际商业决策,我们的实地研究旨在尽量减少对现有工程实践的干扰,反映真实的现实条件而非人为的实验室环境。我们的实验设计遵循三项指导原则:第一,在满足学术好奇心的同时生成可操作的业务洞察;第二,尽量减少参与工程师的负担,避免引入不必要的仅限研究用途的流程;第三,尽可能准确地测量相关数据和行为,以反映真实的业务情境。
测量行为本身可能会改变系统的状态,这一现象在从电路到量子力学的不同领域均有观察到。在社会和管理情境中,这种效应尤为显著,因为特定指标的设立可能会影响行为,可能导致策略性操作甚至系统滥用以获得有利的结果6,13。认识到最小化此类反应效应以及获取反映真实实践数据的重要性,在整个研究过程中,我们优先考虑对参与者保持数据收集目标、数据关联和保密方面的透明度。为进一步缓解研究引起的行为变化,与许多积极前瞻性地监控参与者活动的观察性研究不同,我们的主要分析主要依赖于招募参与者提供的历史工程指标数据。
组织欧姆定律
本研究的实验设计和方法论受到组织欧姆定律框架的启发,这是我们此前开发用于分析工程效率的概念15,16。该框架将电路与组织系统进行了类比,指出产出电流,即组织生产力,与产出效率和组织潜力成正比,与组织阻力成反比。通过通过可量化的时间分配来近似组织阻力,该定律表明工程效率与投入核心软件工程活动(即编码和测试)的时间百分比、相对平均工程师动机以及相对平均工程师技能水平呈正相关。
利用这一框架,我们测量了 GitHub Copilot 采用前后工程师在各种软件开发活动中的时间分配,包括编码、测试、沟通、等待决策和依赖项、文档、工程流程、公司流程以及工程基础设施的低效14,21,以及相对员工动机12,17,18 和技能评级。这些数据使我们能够基于一个理论上严谨且直观合理的框架,全面评估 GitHub Copilot 采用的影响。
我们的贡献
首先,我们提出了一份全面的、基于真实企业环境的 GitHub Copilot 影响评估,识别并提供了"效率-产出差距"的实证证据。我们的发现挑战了 AI 即时提升生产力的普遍叙事:尽管我们观察到工程师动机和感知技能的提升,以及工作时间的减少,但并未发现月度拉取请求和代码行数等关键工程指标有即时增长。这一结果强调了有效实现 AI 工具潜力的需求,需要持续对软件工程运营进行创新和优化。其次,我们引入了一种用于在企业环境中全面评估 AI 工具影响的多方法框架。通过整合组织欧姆定律框架、以人为本的调查、客观工程指标和参与者信息,我们的研究提供了一种组织可适应的方法论,用于持续评估 AI 的影响。
我们的方法
实验设计
本实地研究在 Okta, Inc. 的工程组织中开展,Okta 是一家上市的美国企业软件公司,提供面向现代安全的云原生身份与访问管理服务。为实现具有直接实际影响的研究,我们将研究与公司内部的 GitHub Copilot 部署相结合。这种真实环境使我们能够使用多方法定量设计,全面评估 Copilot 对多个工程团队的影响。该方法涉及对主观 Copilot 效率调查、客观 GitHub Copilot 和工程指标以及参与者背景信息进行三角验证。
为控制其他 AI 工具的混杂变量,我们利用了一项现行政策,该政策鼓励避免将公司代码暴露给未经批准的外部大语言模型。部署前的初步调查确认了该政策的有效性,反映出其他 AI 工具的使用极少,这使我们对我们的基线测量具有高度信心(详见附录 A.1)。由于 GitHub Copilot 是研究期间唯一大规模正式部署的 AI 驱动开发工具,我们可以将观察到的变化主要归因于其引入。
工程效率调查
为了解 GitHub Copilot 在组织初步部署后对工程效率的影响,我们在 GitHub Copilot 部署数月后使用 Qualtrics(一种商业 Web 调查平台)开展了一项调查。调查工具收集了参与者的背景数据、他们在各种工作活动中的平均每周时间分配、动机和技能水平的 Likert 量表评分、使用 Copilot 前后代码质量和测试频率的 Likert 量表评估、Copilot 使用频率、感知 Copilot 有用性的领域、对 Copilot 感知效率提升的 Likert 量表评分、对其使用的担忧,以及关于工程效率或 GitHub Copilot 体验的开放式评论(调查工具示例见附录图 A1)。调查设计简洁,约需五分钟完成。
参与者招募是在与多个工程团队合作进行的,作为其 GitHub Copilot 部署的一部分。2024 年 11 月 18 日至 12 月 20 日期间,我们通过 Slack 和电子邮件邀请了 261 位曾在 2024 年 7 月至 9 月期间获得 Copilot 许可的个体(招募信息见附录图 A2)。我们收到 97 份回复,其中 95 份包含电子邮件地址,使我们能够将调查数据与他们的 GitHub Copilot 和工程指标进行关联。参与调查是自愿且无报酬的。(调查受访者的职业经验分布见附录图 A3。)
GitHub Copilot 与工程指标
在整个研究过程中,我们都保持了关于数据关联的透明度。调查工具和参与者招募沟通(通过 Slack 和电子邮件)均明确指出,参与者的电子邮件地址将仅用于将调查回复与 GitHub Copilot 和工程指标进行关联,以服务于本次关于工程效率的研究。参与者也获保证,所有数据将以匿名方式分析并保持保密。因此,我们使用参与者的电子邮件地址作为唯一标识符,将其主观调查输入与客观指标进行关联。
我们使用 Faros.ai 提取相关指标,Faros.ai 是一款商业工程数据平台,通过 REST API 与公司工程软件套件(如 GitHub 和 JIRA)集成。Faros.ai 将检索到的数据转换为其专有的模式,使我们能够通过其仪表板查询和提取关键指标。这些指标包括 Copilot 激活日期、Copilot 使用统计、拉取请求数量、拉取请求评论数量、拉取请求审查数量和代码行数。为建立 Copilot 采用前的基线,我们使用了 2024 年 4 月、5 月和 6 月的数据。Copilot 采用后的数据由 2024 年 9 月、10 月和 11 月这一时期代表。
参与者信息
工程效率调查中包含有关参与者工程经验的问题,采集了变量如软件开发经验年限和主要编程语言。为进一步提供背景信息,我们用公司 Workday 系统中的信息充实了调查数据,包括入职日期、职位、职级、工作地点和工程团队等变量。
数据准备
数据清洗
收集的数据集经过了一个数据清洗和预处理阶段,以解决调查回复和指标数据中潜在的错误和不一致性问题。该过程包括纠正参与者标识符、验证和调整自报告数据中的异常值,以及处理不完整回复。我们采用了保留所有回复和指标数据以供进一步分析的数据策略。虽然这需要更详细的处理和统计分析,但它使我们能够最大化数据集,这在中等样本量的情况下至关重要。更重要的是,这种方法更准确地反映了现实世界中工程效率测量的复杂性,识别边缘情况并在后续分析中加以解决。最终数据集包含 95 个有效回复,其中 74 个用于采用前与后的对比分析。
原始 GitHub Copilot 和工程指标按月提取,表现出固有的变异性。为缓解这些波动并考虑人员入职和离职的影响,我们对 Copilot 采用前(2024 年 4 月至 6 月)和采用后(2024 年 9 月至 11 月)两个时期均采用三个月滚动平均值。我们计算了每位参与者的有效月度数据点数量,并基于这些有效月份计算了均值和标准差。分析对比 Copilot 采用后三个月平均值与仅在个人 Copilot 许可分配后计算的月度指标得出了相似结论。因此,后续分析使用 2024 年 9 月至 11 月的三个月平均工程指标数据以确保一致性和减少变异性。
数据整合
为整合来自多个来源和系统的数据,我们使用参与者电子邮件地址作为记录关联的唯一标识符。数据清洗、连接程序和洞察分析使用 Jupyter Notebook 中的 Python 实现。数据准备后,我们生成了统一的数据集,以 CSV 格式输出,包含调查回复、GitHub Copilot 和工程指标以及充实的参与者信息。该整合数据集为每位参与者包含多达 150 个直接和衍生属性,使得能够对调查参与者的工程效率进行多维度分析。为便于清晰呈现,本文重点讨论与 GitHub Copilot 影响相关的分析和结果。
评估 GitHub Copilot 的影响
GitHub Copilot 使用情况
调查中包含了一个问题,询问参与者最近的 GitHub Copilot 使用情况:"您最近使用 GitHub Copilot 的频率如何?" 我们还在同一时期收集了客观的 GitHub Copilot 使用指标。
我们的分析显示,参与者的 Copilot 使用情况存在较大差异,其中 7% 的人报告在 Copilot 部署后的三个月内没有使用过该工具,如图 1 所示。为了评估自报数据(橙色柱)与实测数据(蓝色柱)之间的一致性,我们对比了这两组数据集。尽管在测量方法、数据来源和数据类型方面存在固有差异,但统计检验表明两者之间存在统计学上显著(p < 0.001)、中等至较大(皮尔逊相关系数 r = 0.48,斯皮尔曼等级相关系数 ρ = 0.44)的相关性,9 这暗示参与者的主观感知使用行为与实际使用行为之间总体上是一致的。本质上,这一对比起到了质量检查的作用,增强了整个研究的可靠性基础,使我们能够更加有信心地基于数据的完整性继续分析其他自报调查问题。
图 1. 自报与实测的月度 GitHub Copilot 使用频率直方图。
为了评估潜在的调查参与偏差,我们还比较了调查参与者的 Copilot 客观使用指标与公司内部所有已授权 Copilot 用户的使用指标。比较结果表明,调查参与者更有可能使用 Copilot,且使用频率更高。因此,本文所呈现的结论可能对 GitHub Copilot 的影响持过于乐观的评价,未能反映整个用户群的实际体验。
GitHub Copilot 使用前后对比。为了确定用于评估与 GitHub Copilot 调查回答和工程指标相关的配对前后数据的适当统计检验方法,我们实施了以下数据分析流程。在进行 Shapiro-Wilk 正态性检验和对称性检查(中位数的平均绝对偏差 ≤ 标准差)后,针对 Copilot 用户的配对差异数据,应用以下三种统计检验之一:
• 如果差异通过了正态性检验(p > 0.05),则采用配对 t 检验。变化幅度使用 Cohen's d 作为效应量衡量。
• 如果差异不满足正态分布但具有对称性,则采用 Wilcoxon 符号秩检验。变化幅度使用秩双列相关系数(r)作为效应量衡量。
• 如果差异不具有对称性,则采用符号检验,具体实现为对正差异与负差异数量进行的单侧二项检验。变化幅度使用 Cohen's g 作为效应量衡量。
这些统计检验的结果如图 2 和图 3 所示。对于每个回答或指标,对应的子图展示了前后的均值、所执行的统计检验类型、检验得到的 p 值、效应量检验类型及其对应值,以及数据对数量。如果所选统计检验结果具有统计学显著性(p ≤ 0.05),子图中的前后柱体显示为绿色;否则显示为粉色。
工程师时间分配。为了了解工程师的时间分配情况,我们将工程活动划分为多个类别,并要求调查参与者报告每周在每个类别上的时间投入。图 2(a–j)展示了使用 GitHub Copilot 前后的平均时间分配情况及对应的 95% 置信区间。采用 Copilot 后,参与者报告在所有活动类别上的平均时间投入均有所减少。最大的时间节省体现在编码(每周 1.06 小时)和测试(每周 1.56 小时)。总体而言,参与者报告工作生活平衡有所改善,每周平均工作时间从 44.77 小时降至 40.83 小时。在上下文切换、编码、文档编写、测试和总工作时间方面,观测到具有统计学显著性的减少(p ≤ 0.05)。这些减少的效应量较大,秩双列相关系数 r 的范围为 -0.51 至 -0.90,9 表明影响具有实际意义。相比之下,分配给以人为中心的企业管理开发活动(如沟通、等待决策和依赖、公司流程、工程流程以及工程基础设施低效)的时间未显示统计学显著性变化。
图 2. Copilot 用户在 GitHub Copilot 使用前后的工程师时间分配、动机与技能对比。
数据还显示,参与者约 30% 的工作时间分配在编码上,10–15% 在测试上,其余 50% 以上分配在其他活动上。按职级分析工作时间分配显示存在统计学显著性差异(方差分析,p ≤ 0.05)。初级工程师报告将 50–70% 的时间花在编码和测试上,而高级工程师在这两项任务上分配的时间不到 30%(参见附录图 A4)。这一模式符合对工程职业发展的通常预期,即更高级别的职位涉及主导项目、参与技术战略制定、跨组织协作和导师指导,而非直接编写和测试代码。
工程师动机与技能。图 2(k–l)展示了工程师动机和技能的采用前后评分及 95% 置信区间。参与者报告,采用 GitHub Copilot 后,其动机和感知技能水平均有统计学显著性提升。这些提升伴随着非常大的效应量(动机的秩双列相关系数 r 为 0.95,技能为 1.00)。9
拉取请求(Pull Requests)。图 3(a–h)展示了前三个月平均月度 PR 数量、PR 周期时间、月度 PR 评论数量(收到的评论)、月度 PR 审查数量(执行的审查)及对应的 95% 置信区间的使用前后对比。与现有研究和市场宣传的结果相反,出乎意料的是,只有月度 PR 审查数量显示出了统计学显著性的增加;其他 PR 指标均未显示出显著改善。虽然我们在月度 PR 数量分析中平等对待每个 PR,但需要指出的是,PR 在投入程度上可能存在显著差异。因此,在未来的分析中引入适当的 PR 元数据(如 PR 规模)可以进一步提高对工程产出的表征精度。
图 3. Copilot 用户在 GitHub Copilot 使用前后的工程指标对比。
月度代码行数。月度代码行数(LOC)指标以每位参与者三个月的平均 LOC 为基准计算。我们提取了多种 LOC 变体,包括新增行数、删除行数、差异规模和净新增行数。在实践中,原始 LOC 被证明是衡量个人编码投入的不可靠指标,Copilot 使用前的月均新增行数甚至超过 30,000 行,这一数值明显偏高且不合理。对个体贡献的分析发现,LOC 包含了功能编码以外的多种代码开发活动。例如,功能开发团队主要编写应用逻辑(这也是受控环境中通常研究的编码类型);工程平台团队可能生成大量配置代码且几乎无需手动输入;技术债务团队在重构过程中可以产生大量 LOC 变更。
为了隔离出能够反映直接工程编写的 LOC,我们考虑仅关注功能开发团队或仓库。然而,这一方法并不充分,因为功能代码与依赖项代码、配置代码和元数据代码通常共存于同一仓库中,且往往没有一致的目录或命名规范来进行可靠的自动分离。作为替代方案,我们探索了基于 LOC 变更幅度过滤 PR 的方法,假设非常大的变更不太可能代表逐行的直接编码投入。结合业界对 PR 审查的最佳实践以及对我们工程师的访谈(关于常见的组织惯例),我们制定了一条启发式规则来识别可能包含工程编写代码的 PR:(新增和删除行数 < 801)或(新增和删除行数 < 1001 且评论数 > 5)或(新增和删除行数 < 3001 且评论数 > 7)或(新增和删除行数 < 5001 且评论数 > 10)。3,4,7 不符合此启发式规则的 PR 的 LOC 贡献将从参与者的月度 LOC 总量中排除。这些重新计算的 LOC 指标值对该启发式规则的变体不敏感。此外,经过此过滤后重新计算的各种 LOC 指标值落在更合理的直接编码投入范围内,16,19 如图 3(e–h)所示。然而,与我们对 PR 指标的发现一致,无论是原始 LOC 指标变体还是重新计算后的变体,在 Copilot 采用后均未显示统计学显著性变化。
此外,对于那些被授予 Copilot 许可但未使用的参与者,我们观察到调查回答未报告变化,所有工程指标也均无统计学显著性变化,如附录图 A5 和 A6 所示。然而,该非用户组样本量较小,建议谨慎解读这些零发现。
帕累托洞察。我们还探究了与现有文献一致的假设,20 即 AI 工具对经验较少工程师的受益更大。该分析旨在检验 Copilot 是否使工作产出的分布更加均衡。为此,我们对使用 Copilot 的参与者进行了 PR 数量的帕累托分析(使用前后对比,见图 A7)。在 Copilot 之前,46%(74 人中的 34 人)的参与者贡献了总 PR 产出的 80%。采用 Copilot 后,这一比例上升至 53%(74 人中的 39 人),贡献了略有增加的总 PR 产出的 80%。观察到的比例变化暗示 Copilot 可能使 PR 贡献在工程师之间分布得更加均匀,可能使初始 PR 产出较低的工程师受益。然而,统计分析发现,使用前后的分布差异不具有统计学显著性。
GitHub Copilot 的益处与担忧。为了评估 GitHub Copilot 的益处与担忧,我们使用多选题对参与者进行了调查。第一个问题"您认为 GitHub Copilot 在哪些方面有用?"提供了与工程师时间分配、动机和技能相对应的类别,包括从简单到复杂的编码任务细分(图 4a)。参与者报告 Copilot 对样板代码、函数模板、查询、配置文件和测试最为有用。但他们认为 Copilot 在开发前端组件和后端服务、编写复杂逻辑或算法以及支持以人为中心的企业管理开发活动方面能力较弱。第二个问题"在获得许可席位后,您不使用 GitHub Copilot 的原因是什么?"突出显示,不使用的主要原因是担心 Copilot 的准确性以及缺乏使用 GitHub Copilot 的时间和知识(图 4b)。尽管存在局限性,仍有 94 名参与者在李克特量表上将 GitHub Copilot 对整体生产力的影响平均评为 3.95 分(满分 5 分),表明其评价较为积极。
图 4. 工程师对 GitHub Copilot 的看法:(a) 益处(n=92)与 (b) 担忧(n=79)。
随后我们试图验证如编码和测试等活动中的自报时间减少(图 2)是否与这些感知到的益处存在统计学关联。我们的假设是,认为 Copilot 在某项特定活动(如"测试")上有用的工程师,与报告该活动时间减少的工程师应是同一批人。为了检验这一假设,我们对每个工程师时间分配活动分别计算了时间分配变化与 GitHub Copilot 益处提及之间的数值相关和二元相关,以及对应的 p 值,以检验基本关联。此外,我们对二元时间分配变化与益处提及之间的关联进行了卡方检验(χ2 检验)。最后,我们使用两样本 t 检验比较了提及 Copilot 在某项活动上有用与未提及的工程师之间时间分配变化的均值。
我们的分析表明,在上下文切换、工程流程、测试和工程基础设施低效方面,时间分配变化与益处提及之间存在相对较强的负向数值相关。在上下文切换、编码、文档、工程流程、测试和工程基础设施低效方面发现了相对较强的二元相关。卡方检验表明,上下文切换、编码、文档、工程流程、测试和工程基础设施低效的二元变化与其对应的益处提及之间存在显著关联。此外,t 检验显示,在提及益处与未提及益处的群体之间,上下文切换、编码、工程流程和测试的均值变化值存在显著差异(详见附录表 A1)。
综合来看,这些分析表明,在 GitHub Copilot 采用前后显示统计学显著性减少的四项时间分配活动(上下文切换、编码、文档编写和测试)与 Copilot 的感知益处之间存在合理关联。
讨论
本工作对 GitHub Copilot 的采用进行了多角度考察,为软件生产力度量以及该工具对企业软件开发的影响提供了洞察。一方面,我们展示了 OOL 作为理解工程生产力的实用且全面框架的效用,该框架将工程师活动(时间分配)、心理状态(动机)和能力(技能)与工程指标相结合。
另一方面,我们的实地调查凸显了准确衡量工程生产力方面固有的差距,表明采用更为严格的实践——例如一致地标注代码仓库目录、规范拉取请求的规模、以及识别由 AI 生成的代码——对于提升未来的评估具有潜在价值。
关于 GitHub Copilot 的影响,我们的研究发现个体效率与组织吞吐量之间存在关键区别。尽管工程师们使用 GitHub Copilot 的程度差异显著,该工具明显促进了工程师对自我价值的积极评价,减少了各类工程活动所花费的时间,并提升了工作积极性和对自身技能的感知。然而,我们并未观察到该工具与关键工程指标提升之间存在直接的即时关联。这带来了个体效率的提升(用更少时间完成同样的工作),但并未带来具有统计学意义的组织吞吐量提升(月度 PR 数量或代码行数没有增加)。根据 OOL 框架,我们假设此类工具带来的生产力提升分为三个阶段:
1. 效率增益:该工具提升了个体的平均潜在能力(积极性和技能),并减少了编码和测试等特定任务上的阻力。然而,整体产出速率并未改变。效率增益使个体受益,从而获得更好的工作与生活的平衡。我们的数据显示了这一阶段的早期迹象,但尚未进入第二阶段。
2. 生产力增益:为了提高产出速率,组织必须有意识地减少总阻力,并进一步提升个体潜在能力。这需要通过技能提升使开发者能够充分利用该工具的功能,调整对生产力的期望,并优化开发工作流程,使其与 AI 辅助开发者的能力相匹配。
3. 组织优化:组织可以重新设计其组织结构以降低以人为中心的阻力。这涉及结构性变革,例如创建更具自治性的团队或扩大个体的职责范围,以减少沟通和决策的开销。
本研究表明,要真正获得组织生产力的提升,仅仅部署 AI 驱动的工具是不够的。这需要工程和管理部门有意识地适应,了解该工具对自身特定问题能做和不能做什么(因为工具的功能在不断快速演变),并重新构建团队、工程流程和基础设施,以释放潜在的效率。这些发现指导了我们组织在研究后的战略决策。在认识到该工具对个体有强烈积极影响的同时,我们通过取消管理层的审批流程来加速 Copilot 的普及,同时持续监控使用情况。我们开始分享最佳实践以提升工具使用率,建立对其当前局限性的共同认知,并识别新的挑战。此外,我们正在将 AI 影响评估纳入常规工程流程,并引入更多 AI 驱动的工具,例如 Copilot 智能体模式和各类氛围编程应用。这一探索代表着工具、团队、流程和基础设施共同发明的开端,旨在充分探索和实现 AI 驱动的生产力提升潜力。
尽管本研究提供了全面的分析和深刻的见解,但其范围存在若干局限。首先,研究是在单一公司内进行的,参与者数量适中,这可能在一定程度上限制了研究结果的普适性。此外,样本量意味着某些统计学上不显著的观察结果可能是由于统计功效不足,而非效应确实不存在。其次,由于本研究捕捉的是 GitHub Copilot 的初始部署阶段,所观察到的影响可能无法完全反映其长期效果。然而,我们在 2024 年 12 月至 2025 年 5 月期间对参与者 PR 和 LOC 的后续监控显示并无统计学上的改善,这支持了"仅靠时间不足以将个体效率转化为组织吞吐量"的观点。第三,我们所采用的客观产出指标(例如月度 PR 数量和月度代码行数)充其量只是工程生产力的代理指标,无法全面反映工程产出情况。第四,本工作主要聚焦于工程产出指标的影响,而非更广泛的商业成果,如缩短上市时间或提升产品质量。第五,分析基于该组织在研究期间所采用的 GitHub Copilot AI 辅助编码功能,包括自动补全和对话功能。鉴于 AI 驱动的开发工具快速演进,更高级别的功能(例如对企业代码库进行检索增强生成,或更深度的工程流程集成)所带来的影响值得另行研究。这些 AI 驱动工具的持续进步可能会改变其影响。对于未来工作,我们建议优先开展跨不同组织的纵向研究,以考察 AI 驱动工具对工程生产力的长期影响,从而为研究者和实践者提供有价值的技术、商业和经济洞察。
总结
这项关于 GitHub Copilot 生产力影响的实地研究超越了"立即见效"的热炒作,识别出了效率与吞吐量之间的差距,揭示了比现有研究和市场推广中常见的描述更为细致的现实。我们的发现强调了组织在将 AI 驱动的个体效率提升(我们观察到工程师情绪改善和工作时间减少)转化为即时且可量化的组织生产力吞吐量(我们发现产出指标上没有统计学显著改善)时所面临的挑战。通过整合组织欧姆定律框架、以人为中心的问卷调查以及客观工程指标,本研究还提供了一套稳健且可重复的方法论。它为组织提供了一套实用工具包,帮助其超越一次性的快照式评估,转向对 AI 不断演变影响的持续评估过程,为迭代式共同发明铺平道路,并最终实现切实可感的工程生产力提升。
致谢
我们感谢 Bhawna Singh、JC Tierney、Robert Lucero、Demi Dina、Pablo Terradillos、Steve Workman、Vikas Gupta 和 Chanaradee Leelamanthep 的宝贵协作。我们也感谢 Faros.ai 的 Shubha Nabar 和 Bill Farrakh 提供的支持,以及匿名评审人的深刻反馈。
关于作者
Fei Liu(fei.liu@okta.com)是 Okta, Inc.(美国加利福尼亚州旧金山)的首席新兴技术研究员。
Todd McKinnon 是 Okta, Inc.(美国加利福尼亚州旧金山)的联合创始人兼首席执行官。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号