AGI Hunt· InsectActive95·· 3 小时前AI 评分33
Reddit 热议论文基线复现困境:两个 benchmark 明显偏低该如何报告
复现不出已发表论文数字怎么办?Reddit 热议基线复现困境
AI 导读
一名 ML 研究者在 Reddit 发帖求助:按原论文代码和超参数复现后,多数 benchmark 结果在噪声范围内一致,但两个 benchmark 持续低了几个点。跨 3 个种子、4 次重复并间隔数月均得到相同结果。讨论焦点包括说服力标准、联系原作者、开 GitHub issue,以及在主表或附录中同时报告“原发表数字”和“自己的复现数字”。
来源:AGI Hunt · agihunt.info