Datalab评估文档解析基准可信度：近半排名失真

Datalab（Marker/olmOCR 团队）发布研究，检验文档解析基准的排名是否可信：用7个开源模型跑遍13个可运行的公开基准，再由3个评审模型统计每份输出的真实错误数，结果13个基准中仅7个排名与真实错误率一致（agreement 90%区间下限≥0.70），接近一半基准的排名与真实错误率脱节，有的基准在21对模型中只答对12—13对，接近抛硬币；部分基准过度强调格式而低估OCR质量。Datalab据此建议直接在候选解析器上自行评测，评分、评审结果与rubric均已开源。团队同时声明，自建OmniParseBench并售卖解析器。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。