微软、麻省理工学院、普林斯顿大学和宾夕法尼亚大学沃顿商学院的研究人员最近发布了一项研究，表明使用 AI 编码助手 GitHub Copilot 可显著提高开发人员的生产力。 该研究团队进行了三项独立的随机对照试验（RCT），涉及超过 4,000 名开发人员，结果显示使用 Copilot的开发人员的生产力平均提高了 26%。
该研究的实验对象来自微软、埃森哲和一家未透露名称的财富 100 强电子制造公司。 研究人员通过跟踪开发人员每周执行的拉取请求、提交和代码构建的数量来衡量他们的生产力。结果表明，使用 Copilot 的开发人员每周完成的拉取请求数量平均增加了 26.08%。
值得注意的是，生产力提升的情况因开发人员的经验而异，经验较少的开发人员从 Copilot 中获益更多。 研究团队分析了所有开发人员的结果，并根据从业时间和技能水平进行了更细致的分析。他们发现，从业时间较短和技能偏初级的开发人员更有可能采用 Copilot，并继续使用超过一个月，并且这些开发人员更有可能接受 Copilot 生成的输出代码，并从中获得最大的生产力提升。
这项研究的意义在于，它通过在实际工作场所环境中进行现场实验，为生成式人工智能对开发人员生产力的影响提供了实证数据。 之前，业内缺乏在现场环境中研究生成式人工智能影响的实验研究，而这项研究填补了这一空白，为理解 AI 编码助手在实际应用中的效果提供了宝贵的参考。
该研究使用了基于 GPT-3.5 的 Copilot 版本，实验于 2022 年和 2023 年进行。 在微软和埃森哲，实验中的开发人员被随机选择使用 Copilot，而在匿名公司，所有开发人员最终都被授予访问权限，但开始日期是随机选择的。
除了跟踪开发人员的生产力指标外，研究人员还跟踪了 Copilot 的采用和使用情况。 他们发现，经验较少的开发人员更容易接受 Copilot 生成的代码，并从中获得更大的生产力提升。这可能是因为经验较少的开发人员可能更需要 AI 编码助手的帮助来完成任务，而经验丰富的开发人员可能更习惯于独立完成工作。
这项研究的结果与一些开发人员使用 Copilot 的个人经验相符。 在 Hacker News 上关于这项研究的讨论中，几位用户表示，该论文的结果与他们自己使用 Copilot 的经历相符。一位用户写道：“对我来说，这项研究最有趣的地方在于，当他们按经验水平进行细分时，超过平均从业时间的开发人员的生产力并没有显著提高……Copilot 可以很好地处理一些乏味的事情，让我的大脑可以更多地关注更深层次的问题，但它并不像初级开发人员所描述的那样改变世界。它还经常出现一些新开发人员无法察觉的微妙错误，这就要求我停下来，以一种经验不足的开发人员可能不知道的方式调整它生成的大多数东西。”
这项研究也引发了一些关于生成式人工智能对员工生产力影响的讨论。 今年早些时候，InfoQ 报道了 Upwork 研究所的一项调查，其中大多数接受调查的员工实际上表示 GenAI 降低了他们的生产力。InfoQ 还报道了 eBay 的一项研究，其中 GitHub Copilot 确实提高了开发人员的生产力。
总的来说，这项研究为 AI 编码助手在提高开发人员生产力方面的潜力提供了强有力的证据。 随着 AI 技术的不断发展，我们可以期待看到更多类似的工具出现，帮助开发人员更高效地完成工作。
然而，也需要注意的是，AI 编码助手并非万能的工具。 开发人员仍然需要具备必要的技能和知识，才能有效地使用这些工具。此外，还需要关注 AI 编码助手可能带来的伦理问题，例如代码版权和安全问题。
未来，研究人员将继续探索 AI 编码助手在软件开发中的应用，并研究如何更好地利用这些工具来提高开发人员的生产力。 同时，开发人员也需要不断学习和适应，才能更好地利用 AI 技术来提升自己的工作效率。
Views: 0