跳到正文
AGI Hunt· maksym_andr·· 3 小时前AI 评分45

posttrainbench:优秀 benchmark 正成为 auto-research agent 的优化目标

每个好 benchmark 都正在沦为 auto-research agent 的靶子

AI 导读

nielstron 指出,优秀的 benchmark 已成为 auto-research agent 的“元 benchmark 目标”,自动化研究 agent 会主动将刷 benchmark 当作优化对象。以 Maksym Andrusiv 的 posttrainbench 项目为例,benchmark 越受认可,越容易被系统性优化并因此失真,暴露出其作为评估工具的悖论。

来源:AGI Hunt · agihunt.info