跳到正文
AGI Hunt· VikParuchuri·· 34 分钟前AI 评分58

Datalab 创始人指 ExtractBench 适配器缺陷,分数修复后升至 93.6%

修复适配器后分数从 64.5% 跳到 93.6%,OCR 基准缺陷实锤

AI 导读

Datalab 创始人 Vik Paruchuri 指出,ExtractBench 的适配器曾把 Datalab 输出的 confidence 和 citation 字段错误计为错误值。仅修复适配器,其分数就从 64.5% 升至 93.6%,而抽取内容完全相同,说明依据榜单分数选择解析器并不可靠。

来源:AGI Hunt · agihunt.info