Toby Ord质疑METR时间跨度可能高估
热点事件持续更新
Toby Ord质疑METR时间跨度可能高估
3 篇报道1 个报道来源56 分钟前更新
先了解这件事
AI 综述
Toby Ord 质疑 METR 对智能体工作时间跨度的总结，称完全无法完成的硬任务会显著拉低达到 80% 准确率所需的时间，因此该指标可能被高估；若这类任务占 25%，对 80% 时间跨度的影响远大于对 50% 的影响。 但 Ord 的补充估算显示，将完全失败任务占比修正为 15% 后，80% 时间跨度仍为 15 分钟。这说明硬任务比例可能主导高可靠性口径的测量结果，但目前只是方法层面的质疑，尚未证明 METR 的全部估算失真。
AI 根据报道生成 · 30 分钟前更新
最新进展11月9日 06:01
Toby Ord 补充：少量完全失败任务会大幅拉低 80% 时间视野事件进展
2 个进展
- 11月9日 06:01 · 1 篇报道Toby Ord 修正80%时间视野估算前提AGI Hunt：Toby Ord 补充：少量完全失败任务会大幅拉低 80% 时间视野
- 11月9日 05:56 · 2 篇报道Toby Ord 质疑 METR 时间跨度受硬任务占比影响AGI Hunt：METR 时间跨度是否被高估？Toby Ord 分析智能体硬任务失败比例的影响
报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- AGI HuntToby Ord 补充：少量完全失败任务会大幅拉低 80% 时间视野
Toby Ord 回应 Halperin 的总结并提出修正：若把“AI 智能体完全做不好的任务”占比修正为 15%，80% 时间视野为 15 分钟仍然成立。他进一步推测，若该占比达 25%，对 80% 时间视野的拉低影响将远大于对 50% 的，说明少数硬骨头任务会主导高可靠性口径的测量结果。
- AGI HuntToby Ord 质疑 METR 时间跨度研究被高估
Toby Ord 质疑 METR 时间跨度研究结论可能被高估，指出完全失败任务占比会显著拉低整体指标。若存在约 25% 的 agent 完全无法完成的任务，整体时间跨度会被大幅压低；将这类硬任务占比修正为 15% 后，80% 时间视野为 15 分钟的结论仍成立。
- AGI HuntMETR 时间跨度是否被高估？Toby Ord 分析智能体硬任务失败比例的影响
Toby Ord 提出，METR 时间跨度可能被高估，智能体做不好的硬任务会显著拉低 80% 准确率指标。若这类任务占 25%，其影响远大于智能体可完成的中等任务（如 50% 档）；讨论延续了 OpenAI 在 AI R&D 任务上测得较短时间跨度的争议。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。