Artificial Analysis评测方法遭四点质疑

一名 Reddit 作者审视 Artificial Analysis 的评测方法后提出四点质疑，认为现有 benchmark 难以代表真实工作流。 其质疑涉及四个方面：限制条件可能造成评测流程偏差；依赖 LLM 裁判和人类评分，可能产生评分分歧；允许自定义 harness，可能出现针对评测设置的优化；公开数据则可能带来针对性刷榜问题。这些观点指向现有评测结果与真实工作表现之间可能存在偏差，但相关说法来自该作者。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。