Vedant Misra 调侃刷榜与泛化的关系

Google DeepMind 的 Vedant Misra 发推调侃，如果对每个 benchmark 都进行极限刷分（benchmaxx），最终得到的模型反而像是学会了泛化。 这句话以反讽方式讨论评测刷分与模型泛化能力之间的关系，并非对二者存在因果关系的实验结论；它表达的是一种“过度优化榜单可能并未带来真实能力提升”的观点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。