Hamel Husain 批评公开 AI 基准评测失真

评测咨询公司 Eccentric 的 Hamel Husain 警告，低质量公开基准可能诱导模型通过记忆答案和迎合测试来涨分，而非真实能力提升。他将问题归纳为五类：测试范围过窄或过宽、评测脚手架质量差、ground truth 由另一模型生成，以及只检查答案格式、不检查内容正确性。 这意味着用此类公开 benchmark 宣传模型时，高分可能更多反映数据泄漏和应试化，而非能力进步；Husain 的这一判断属于其对现有评测做法的批评。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。