Hamel Husain质疑四项AI基准质量

Hamel Husain援引Epoch AI的独立审查结果，质疑公开AI基准的实际质量与行业使用情况不匹配。审查显示，Terminal-Bench 4.0.0有45.5%的任务存在评分缺陷，DeepSWE v1.1至少20.3%的任务存在假阴性。 在抽审任务中，OSWorld 2.1有72%、HealthBench Professional有50%存在错误。这些结果表明，相关基准可能无法可靠衡量模型或智能体在对应任务中的表现，但审查结论针对各基准及其抽审范围。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。