跳到正文
热点事件持续更新

AGI Hunt作者发现评测任务质量严重不过关

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

AGI Hunt作者搭建新工具以更好地利用现有基础设施,并在sanity check中发现相关评测任务几乎全部存在严重质量问题,称这些任务“坏得离谱”。此次检查暴露的是评测任务本身的可靠性问题,而非模型能力表现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    AGI Hunt 作者造完新基建跑 sanity check,发现评测任务几乎全坏

    AGI Hunt 作者为更好地利用基础设施搭建新工具,在进行 sanity check 时发现相关评测任务本身存在严重质量问题。作者吐槽这些任务“坏得离谱”,配图借用 Ben Affleck 站门口抽烟的经典梗图,呈现 eval 工程中常见的疲惫窘境。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。