跳到正文
AGI Hunt· wordgrammer·· 1 小时前AI 评分32

wordgrammer:好的 benchmark 应该来自你不在乎结果的任务

wordgrammer:好基准测试得是你不在乎的任务

AI 导读

wordgrammer 提出,好的 benchmark 应是你并不在乎结果的任务,例如早已放弃的旧项目或数学家已舍弃的猜想。为降低污染风险,评测设计必须刻意进行,并让做 benchmark 的人和做实际工作的人分开,避免任务被顺手优化而失去评估意义。

来源:AGI Hunt · agihunt.info