AGI Hunt· wordgrammer·· 1 小时前AI 评分32
wordgrammer:好的 benchmark 应该来自你不在乎结果的任务
wordgrammer:好基准测试得是你不在乎的任务
AI 导读
wordgrammer 提出,好的 benchmark 应是你并不在乎结果的任务,例如早已放弃的旧项目或数学家已舍弃的猜想。为降低污染风险,评测设计必须刻意进行,并让做 benchmark 的人和做实际工作的人分开,避免任务被顺手优化而失去评估意义。
来源:AGI Hunt · agihunt.info