跳到正文
AGI Hunt· srchvrs·· 50 分钟前AI 评分29

研究者指出:完全隐藏测试数据的基准更难获得社区采用

研究者指出:完全隐藏测试集的基准反而难获采用,因无法针对性优化

AI 导读

研究者指出,完全隐藏测试数据的基准往往更难获得社区采用,因为无法针对性优化。这里的“隐藏”指测试数据完全不可见,而非仅不公开标签。公开测试集存在按测试分数选 checkpoint、将测试数据用于训练等过拟合风险,社区也因此更熟悉常见的基准优化方式。

来源:AGI Hunt · agihunt.info