AGI Hunt· JeffLadish·· 2 小时前AI 评分41
Palisade 研究员呼吁恢复 METR 时间跨度图:别只盯 40 个 benchmark
Palisade 研究员呼吁复活 METR 时间跨度图:别只盯 40 个 benchmark
AI 导读
Palisade Research 研究员 Jeff Ladish 呼吁 METR 等机构恢复模型任务时间跨度估算图,而非仅用 40 个 benchmark 衡量 AI 进步。他认为长时程任务仍可测量,并称最大能力跃升出现在 Fable 模型发布前后,使用 agent 的频率由偶尔转为每天。
来源:AGI Hunt · agihunt.info