跳到正文
AGI Hunt· rachittshah·· 5 小时前AI 评分32

evals 界「失传艺术」:pass@k 无意义,评测必须绑定真实生产工作

AI 导读

rachittshah 转述 danielrupawalla 的观点:evals 必须与真实生产性工作绑定,否则 pass@k 毫无意义。Agent eval 应衡量经济相关指标与真实业务价值,而非只追求基准分数;这一观点在业内引发共鸣。

来源:AGI Hunt · agihunt.info