Agent评测被指应绑定真实生产价值

1. 09:01
   AGI Hunt

   evals 界「失传艺术」：pass@k 无意义，评测必须绑定真实生产工作

   rachittshah 转述 danielrupawalla 的观点：evals 必须与真实生产性工作绑定，否则 pass@k 毫无意义。Agent eval 应衡量经济相关指标与真实业务价值，而非只追求基准分数；这一观点在业内引发共鸣。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。