跳到正文
AGI Hunt· VikParuchuri·· 2 小时前AI 评分59

Datalab 拆解 olmOCR-bench:200 页中 68 页判分有误并提出 5 项检查

Datalab 拆解 olmOCR-bench:200 页中 68 页判分有错,警惕 benchmark 陷阱

AI 导读

Datalab 拆解 olmOCR-bench,发现 olmOCR-2 在 200 页中有 119 页获得 100%,但复核显示其中 68 页的判分本身有误。其 header 规则还会系统性偏好省略页眉的模型。配套博客提出 5 项检查,包括测试 ground truth 是否接近满分、人为改错 5% 数字、变换表格格式、抽掉页面以及人工核查失败案例。

来源:AGI Hunt · agihunt.info