预印本实测LLM同行评审错误检出率

一篇预印本公布实验结果：在3篇测试论文和58项临床试验报告中人为插入14处重大或次要错误后，15个LLM对重大错误的检出率均高于人类审稿人的历史平均水平27%，模型检出率为53%—96%；其中多个前沿模型在多数错误类型上接近100%。 实验让无工具、无联网的模型审查论文及临床试验报告，另用两个LLM评审依据固定答案钥打分，再与历史人类审稿数据比较。结果显示模型在该受控测试中的错误检出表现优于人类参照值，但不等同于其实际审稿能力已在真实同行评审中得到验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。