跳到正文
AGI Hunt· yacineMTB·· 1 小时前AI 评分29

vikhyatk:公开的 eval 都是坏的,好评测必须私有

vikhyatk:公开的 eval 都是坏的,好评测必须私有

AI 导读

vikhyatk 认为,只要评测集公开,就可能因针对性训练或过拟合而失去区分度,真正好的 eval 应当保持私有。这一观点触及 AI 评测的方法论矛盾,并引发圈内讨论:公开 benchmark 曝光后可能不再可靠,私下保留的评测才更接近真实能力。

来源:AGI Hunt · agihunt.info