AGI Hunt作者发现评测任务质量严重不过关
热点事件持续更新
AGI Hunt作者发现评测任务质量严重不过关
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
AGI Hunt作者搭建新工具以更好地利用现有基础设施,并在sanity check中发现相关评测任务几乎全部存在严重质量问题,称这些任务“坏得离谱”。此次检查暴露的是评测任务本身的可靠性问题,而非模型能力表现。
AI 根据报道生成 · 1 小时前更新
最新进展11月17日 07:22
AGI Hunt 作者造完新基建跑 sanity check,发现评测任务几乎全坏报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntAGI Hunt 作者造完新基建跑 sanity check,发现评测任务几乎全坏
AGI Hunt 作者为更好地利用基础设施搭建新工具,在进行 sanity check 时发现相关评测任务本身存在严重质量问题。作者吐槽这些任务“坏得离谱”,配图借用 Ben Affleck 站门口抽烟的经典梗图,呈现 eval 工程中常见的疲惫窘境。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。