在生成式人工智能迅猛发展的今天，开发人员本应是这一技术变革的最大受益者之一。然而，最近一项由编程指标分析公司Uplevel发布的研究却显示，AI编程助手在实际工作中的效率提升并不如预期那样显著，甚至在使用某些工具时，开发人员的表现反而有所下降。
研究背景与目的
Uplevel公司的研究旨在评估AI编程助手在提高开发人员工作效率和防止职业倦怠方面的实际效果。为此，他们跟踪了约800名开发人员，在三个月内使用和不使用GitHub的Copilot编程助手时的产出情况。
研究结果令人惊讶
研究结果显示，在使用Copilot的组别中，开发人员在关键指标如拉取请求周期时间和吞吐量上并没有获得有意义的改进。更令人惊讶的是，使用Copilot的开发人员在代码中引入的错误比未使用该工具的开发人员多出了41%。
Uplevel的数据分析师马特-霍夫曼向《首席信息官》杂志解释说，他们的团队最初预期AI工具会帮助开发人员编写更多代码，并降低缺陷率。然而，研究结果打破了这些预期。
打破预期：AI助手并未减少错误
这一发现与Copilot制造商GitHub和其他人工智能编程工具支持者的说法形成了鲜明对比。GitHub之前赞助的一项研究曾声称，在Copilot的帮助下，开发人员编写代码的速度可以提高55%。
然而，Uplevel的研究显示，事实并非如此。这一消息对于Copilot的制造商和支持者来说无疑是一个打击。
开发人员体验好坏参半
在实际工作中，人工智能编程助手的使用体验好坏参半。定制软件公司Gehtsoft USA的首席执行官Ivan Gekht告诉《首席信息官》，他们发现人工智能生成的代码在理解和调试方面具有挑战性，有时从头开始重写代码会更有效率。
去年的一项研究也显示，ChatGPT在编程问题上的准确率仅为不到一半，尽管之后进行了多次更新，但这一数字仍然令人担忧。
Gekht补充说，软件开发的核心在于“大脑的功能——理解需求、设计系统、考虑限制和约束”，而将这些都转化为代码则是相对简单的部分。
相互矛盾的说法
然而，也有不同的声音。云计算提供商Innovative Solutions的首席技术官Travis Rehl报告说，由于使用了Claude Dev和Copilot等工具，他们的开发人员工作效率提高了三倍。
这些相互矛盾的说法凸显出，我们可能仍处于人工智能编程助手的早期阶段。随着工具的快速发展，未来的走向仍然充满未知。
结论与展望
综上所述，尽管AI编程助手的概念听起来令人振奋，但实际上它们在提高工作效率和减少错误方面的效果还有待验证。随着技术的不断进步，我们有望看到更加成熟和有效的AI编程工具的出现。但在那之前，开发人员可能还需要依靠自己的专业技能和经验来确保代码的质量和效率。
未来，有关AI编程助手的研究应该更加深入，以便我们能够更好地理解这些工具的优势和局限性，并为开发人员提供更加有效的支持。
参考文献
- Uplevel研究报告：https://resources.uplevelteam.com/gen-ai-for-coding
- 《首席信息官》杂志报道：https://www.cio.com/article/3540579/devs-gaining-little-if-anything-from-ai-coding-assistants.html
Views: 0