GLOBENUM答案无误但题目荒诞被拒
热点事件持续更新
GLOBENUM答案无误但题目荒诞被拒
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
评测审核者 ziv_ravid 逐一重算跨文化数字阅读理解基准 GLOBENUM 的全部7000条参考答案,发现每条均吻合;但通读题目后,他发现大量荒诞案例,包括“每根香肠花费38,320美元”和一条重达433磅的狗,最终给出1分的明确拒稿决定。 该结果表明,答案与参考答案一致并不能排除数据构造中的语义问题;ziv_ravid 随后将包含截图与链接的完整帖子发布到其 information bottleneck 网站,并预告明年继续更新。
AI 根据报道生成 · 2 小时前更新
最新进展11月10日 02:59
评测审核者重算跨文化数字阅读基准 7,000 条答案,发现离谱题目报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- AGI Hunt评测审核者重算跨文化数字阅读基准 7,000 条答案,发现离谱题目
一位评测审核者重新计算某跨文化数字阅读基准的全部 7,000 条参考答案,结果每条均吻合。通读题目后,他发现大量荒诞案例,包括“每根香肠花费 38,320 美元”和一条重达 433 磅的狗。zivravid 将含截图与链接的完整帖子发布到其 information bottleneck 网站,并预告明年继续更新。
- AGI Hunt审稿人重算 GLOBENUM 全部 7000 个答案并因荒谬题目拒稿
一位审稿人逐一重算跨文化数字阅读理解基准 GLOBENUM 的全部 7000 个参考答案,结果全部吻合,但随后发现题目包含「每根香肠花费 38,320 美元」等荒谬数值,最终给出 1 分 clear rejection。该案例显示,仅检查参考答案一致性无法覆盖题目语义层面的数据构造问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。