Scale负责人回应评测刷榜质疑
热点事件持续更新
Scale负责人回应评测刷榜质疑
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Scale评测负责人mertgulsun称，评测方将持续推出更新任务，因此专门针对现有评测进行优化的模型方将面临结构性劣势。针对模型可能因反复训练或调参而适应榜单、形成“刷榜”或benchmark过拟合的问题，他表示将以上述持续更新机制应对。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 03:09
Scale 评测负责人回应刷榜质疑：新任务持续更新，模型方将面临结构劣势报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- AGI HuntScale 评测负责人回应刷榜质疑：新任务持续更新，模型方将面临结构劣势
Scale 评测负责人 mertgulsun 回应模型评测“刷榜”质疑，称评测方可持续推出更新任务，针对评测优化的模型方将处于结构性劣势。相关表态涉及模型评测行业如何应对 benchmark 过拟合问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。