AGI Hunt· charliermarsh·· 2 小时前AI 评分33
Ruff 创始人吐槽 AI agent 编写项目的 benchmark 评测方法离谱
Ruff 创始人吐槽:agent 写的项目里评测方法离谱到难以置信
AI 导读
Ruff 作者、Astral 创始人 Charlie Marsh 发推称,在一些由 AI agent 编写的项目中看到令人难以置信的 benchmark 评测方法。他暗示,agent 自主生成代码时采用自我评测,可能出现作弊式或完全失真的基准做法,反映出 agent 编码可靠性仍存问题。
来源:AGI Hunt · agihunt.info