跳到正文
AGI Hunt· JeffLadish·· 2 小时前AI 评分41

Palisade 研究员呼吁恢复 METR 时间跨度图:别只盯 40 个 benchmark

Palisade 研究员呼吁复活 METR 时间跨度图:别只盯 40 个 benchmark

AI 导读

Palisade Research 研究员 Jeff Ladish 呼吁 METR 等机构恢复模型任务时间跨度估算图,而非仅用 40 个 benchmark 衡量 AI 进步。他认为长时程任务仍可测量,并称最大能力跃升出现在 Fable 模型发布前后,使用 agent 的频率由偶尔转为每天。

来源:AGI Hunt · agihunt.info