AGI Hunt· tw_killian·· 2 小时前AI 评分36
科学家天职是证伪自己:警惕基线未调优、数据泄漏与 reward hacking
科学家天职是证伪自己:警惕基线没调好、数据泄漏与 reward hacking
AI 导读
一条引发关注的科研方法论提醒,科学家应优先推翻自己的观点和结果。面对跑分上涨,必须排查基线是否充分调优、是否存在数据泄漏或 reward hacking、prompt 格式是否有 bug,以及 benchmark 是否真正衡量目标能力。作者还应确认提升是否仅来自更多资源,避免因漏查这些问题而让成果失去可信度。
来源:AGI Hunt · agihunt.info