METR 时间跨度是否被高估？Toby Ord 分析智能体硬任务失败比例的影响

Toby Ord 提出，METR 时间跨度可能被高估，智能体做不好的硬任务会显著拉低 80% 准确率指标。若这类任务占 25%，其影响远大于智能体可完成的中等任务（如 50% 档）；讨论延续了 OpenAI 在 AI R&D 任务上测得较短时间跨度的争议。