AGI Hunt· yacineMTB·· 1 小时前AI 评分29
vikhyatk:公开的 eval 都是坏的,好评测必须私有
vikhyatk:公开的 eval 都是坏的,好评测必须私有
AI 导读
vikhyatk 认为,只要评测集公开,就可能因针对性训练或过拟合而失去区分度,真正好的 eval 应当保持私有。这一观点触及 AI 评测的方法论矛盾,并引发圈内讨论:公开 benchmark 曝光后可能不再可靠,私下保留的评测才更接近真实能力。
来源:AGI Hunt · agihunt.info