研究员质疑新模型评测表存在挑选指标
热点事件持续更新
研究员质疑新模型评测表存在挑选指标
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 eliebakouch 批评一款新发布模型的评测基准表格,称表格表现糟糕,并质疑在数学成绩已达 100% 的情况下为何仍运行基准。回复者 mattsntlm 认为问题不止是选择性挑选指标,并称若不对评测空间进行网格搜索,很难得到表格中的相应结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 07:42
研究员质疑某新模型评测表格:存在选择性挑选指标问题报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- AGI Hunt研究员质疑某新模型评测表格:存在选择性挑选指标问题
研究员 eliebakouch 公开吐槽某个新发布模型的评测基准表格,称其表现糟糕,并质疑模型数学已达 100% 时为何仍要跑基准。回复者 mattsntlm 指出一张表越看问题越大,不只是选择性挑选指标,除非对评测空间进行网格搜索,否则难以凑出相应结果。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。