Mollick认可专家级基准评测路径

Ethan Mollick称赞SemiAnalysis针对专家级工作开发基准测试，认为这种方法在ARC-AGI、GDPval和METR Long Tasks等主流基准趋于饱和的背景下尤其有价值。 他表示，为专家级工作建立基准测试非常困难，而SemiAnalysis已将这件事推进为可供参考的评测实践。随着模型能力刷穿现有基准，需要能区分顶尖表现的更难评测，以衡量专业领域的实际水平。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。