AGI Hunt· srimisra·· 3 小时前AI 评分57
METR 实验显示 AI 让资深开发者慢 19%,开发者却自认提速 20%
METR 实验:AI 让资深开发者慢 19%,本人却自认快了 20%
AI 导读
METR 的随机对照实验发现,使用 Cursor Pro 与 Claude 3.5/3.7 Sonnet 后,16 名资深开源开发者完成 246 个任务实际慢了 19%,但他们仍自认提速 20%。开发者事前预计提速 24%,AI 生成代码采纳率不足 44%,更多时间花在提示、等待和审查输出上。材料建议先明确完成定义,设置两次失败即接管的止损规则,并用同类任务的计时对比评估 AI 收益。
来源:AGI Hunt · agihunt.info