跳到正文
热点事件持续更新

研究者寻求基线复现差异的报告方案

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一名机器学习研究者发帖求助:其论文采用的一篇已发表方法作为基线,按原作者公开代码和论文超参数复现后,多数 benchmark 结果与原报告相差在噪声范围内,但其中两个 benchmark 始终低了几个点;跨3个随机种子、4次重复且间隔数月仍出现相同差异。 该研究者尚未决定如何披露这些结果,Reddit 讨论者提出联系原作者、提交 GitHub issue,或在主表和附录中同时列出原论文数字与独立复现数字。争议主要在于:复现结果与原报告存在明显差距时,达到何种证据标准才应影响论文结论或基线评价。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AGI Hunt
    Reddit 热议论文基线复现困境:两个 benchmark 明显偏低该如何报告

    一名 ML 研究者在 Reddit 发帖求助:按原论文代码和超参数复现后,多数 benchmark 结果在噪声范围内一致,但两个 benchmark 持续低了几个点。跨 3 个种子、4 次重复并间隔数月均得到相同结果。讨论焦点包括说服力标准、联系原作者、开 GitHub issue,以及在主表或附录中同时报告“原发表数字”和“自己的复现数字”。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。