跳到正文
热点事件持续更新

GLOBENUM答案无误但题目荒诞被拒

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

评测审核者 ziv_ravid 逐一重算跨文化数字阅读理解基准 GLOBENUM 的全部7000条参考答案,发现每条均吻合;但通读题目后,他发现大量荒诞案例,包括“每根香肠花费38,320美元”和一条重达433磅的狗,最终给出1分的明确拒稿决定。 该结果表明,答案与参考答案一致并不能排除数据构造中的语义问题;ziv_ravid 随后将包含截图与链接的完整帖子发布到其 information bottleneck 网站,并预告明年继续更新。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月10日
  1. AGI Hunt
    评测审核者重算跨文化数字阅读基准 7,000 条答案,发现离谱题目

    一位评测审核者重新计算某跨文化数字阅读基准的全部 7,000 条参考答案,结果每条均吻合。通读题目后,他发现大量荒诞案例,包括“每根香肠花费 38,320 美元”和一条重达 433 磅的狗。zivravid 将含截图与链接的完整帖子发布到其 information bottleneck 网站,并预告明年继续更新。

  2. AGI Hunt
    审稿人重算 GLOBENUM 全部 7000 个答案并因荒谬题目拒稿

    一位审稿人逐一重算跨文化数字阅读理解基准 GLOBENUM 的全部 7000 个参考答案,结果全部吻合,但随后发现题目包含「每根香肠花费 38,320 美元」等荒谬数值,最终给出 1 分 clear rejection。该案例显示,仅检查参考答案一致性无法覆盖题目语义层面的数据构造问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。