Wordgrammer提议用冷门任务设计评测
热点事件持续更新
Wordgrammer提议用冷门任务设计评测
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
wordgrammer提出，好的 benchmark 应来自评测者并不在乎结果的任务，如已放弃的旧项目或数学家舍弃的猜想，而不是已被反复刷新的常见任务。 为降低数据污染和“顺手优化”导致的失真，他主张刻意设计评测任务，并将 benchmark 制作者与实际任务执行者分开，以保持评估的独立性。
AI 根据报道生成 · 1 小时前更新
最新进展11月16日 05:34
wordgrammer：好的 benchmark 应该来自你不在乎结果的任务报道时间线
沿着报道，了解事件的不同侧面。
11月16日
- AGI Huntwordgrammer：好的 benchmark 应该来自你不在乎结果的任务
wordgrammer 提出，好的 benchmark 应是你并不在乎结果的任务，例如早已放弃的旧项目或数学家已舍弃的猜想。为降低污染风险，评测设计必须刻意进行，并让做 benchmark 的人和做实际工作的人分开，避免任务被顺手优化而失去评估意义。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。