跳到正文
热点事件持续更新

ExtractBench计分缺陷致解析器排名失真

1 篇报道1 个报道来源24 分钟前更新

先了解这件事

AI 综述

Datalab 创始人 Vik Paruchuri 指出,ExtractBench 适配器曾将 Datalab 输出的 confidence 和 citation 字段误判为错误;修复计分后,其得分从 64.5% 升至 93.6%,而抽取内容完全相同,说明依据该榜单分数选择 OCR 解析器并不可靠。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. AGI Hunt
    Datalab 创始人指 ExtractBench 适配器缺陷,分数修复后升至 93.6%

    Datalab 创始人 Vik Paruchuri 指出,ExtractBench 的适配器曾把 Datalab 输出的 confidence 和 citation 字段错误计为错误值。仅修复适配器,其分数就从 64.5% 升至 93.6%,而抽取内容完全相同,说明依据榜单分数选择解析器并不可靠。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。