Workflow
Claude 3.5/3.7 Sonnet
icon
Search documents
AI编程「反直觉」调研引300万围观!开发者坚信提速20%,实测反慢19%
机器之心· 2025-07-13 04:58
机器之心报道 编辑:杜伟 随着大模型的崛起,AI编程领域正在发生翻天覆地的变化。 各种编程大模型、编程工具涌现,通过自动补全代码、自动 debug 等实用的功能为开发者的日常工作提供极大便利,并在一定程度上提升了开发效率。 不过,问题来了,AI 编程工具带来的影响真是如此吗? 近日,一家非营利性 AI 调研机构「METR」进行了一项随机对照实验,旨在了解 AI 编程工具如何加速经验丰富的开源开发者的工作效率。 结果却是非常令人意外: 开发者本来坚信使用使用 AI 工具后速度可以提升 20%,但实际上速度却比没有使用 AI 工具时慢了 19%。 这一结论在社交媒体 X 上爆 了,阅读量几乎要突破 300 万。 如下图所示:与专家预测和开发者本来的直觉相反,2025 年初的 AI 编程工具将减缓经验丰富的开发者的开发速度。在本次随机对照实验中,16 位拥有中等 AI 编 程经验的开发者完成了 246 项大型复杂项目的任务,他们平均拥有 5 年开发经验。 对于这项调研,网友反应不一。有人感同身受,表示赞同。 有人则对 METR 的测量指标产生了质疑,表示「完成任务的时间」不能与「生产力」划等号,并且中等 AI 经验 ...
用AI写代码效率反降19%!246项任务实测,16位资深程序员参与
量子位· 2025-07-12 01:49
时令 发自 凹非寺 量子位 | 公众号 QbitAI 下面我们来看看,这一与多数人直觉相悖的结果是如何得出的。 用AI,有经验的开发者反倒被拖慢了? 在一项基于真实开源项目的实验中,研究者发现使用AI工具不仅没有提升开发效率,反而让 任务时间增加19% 。 这简直与人们预测的结果完全相反。 网友也表示,没有AI辅助写代码,痛苦面具真的要出来了。 16位经验开发者实测AI使用效率 为了直接评估AI工具对开发者生产效率的影响,研究者让 16位经验丰富的开发人员 完成 246项任务 ,这些任务都是在知名开源代码仓库中 (平均23000星,1100000行代码)。 每项任务被随机分配是否允许使用AI工具。若需要使用AI工具,主要是使用Cursor Pro搭配Claude 3.5/3.7 Sonnet。 随后,研究团队记录开发者在不同条件下完成任务所花费的时间,并收集他们在工作时的屏幕录像。 在这个实验中,每位开发者都会提供一份自己代码仓库中的真实任务列表,作为本次研究的工作内容。 这些任务通常是错误报告、功能请求或用于协调开发的工作项,内容从简短的问题描述到详细的分析不等,所需时间也从几分钟到数小时不 等。 收集完任 ...