跳到正文
AGI Hunt· Lucky_Creme_5208·· 3 小时前AI 评分43

现有 benchmark 能否代表真实工作流?基于 Artificial Analysis 评测方法的四点质疑

现有 benchmark 真能代表真实工作流吗?四点质疑

AI 导读

一名 Reddit 作者审视 Artificial Analysis 的评测方法后提出四点质疑,认为现有 benchmark 难以代表真实工作流。限制条件、LLM 裁判与人类评分、自定义 harness 及公开数据分别可能带来流程偏差、评分分歧和针对性刷榜问题。

来源:AGI Hunt · agihunt.info