vikhyatk主张私有评测以避免过拟合
热点事件持续更新
vikhyatk主张私有评测以避免过拟合
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
vikhyatk 认为,公开评测集可能因被针对性训练或过拟合而失去区分度,因此真正有价值的评测应保持私有。 这一主张指向公开基准的可靠性问题:评测一旦公开,模型开发者便可能围绕测试内容优化,使成绩更接近对特定题目的适应,而非真实能力。不过,目前这只是vikhyatk提出的方法论观点,报道未提供公开评测已失效或私有评测已被证实更可靠的实证结果。
AI 根据报道生成 · 54 分钟前更新
最新进展11月18日 17:34
vikhyatk:公开的 eval 都是坏的,好评测必须私有报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Huntvikhyatk:公开的 eval 都是坏的,好评测必须私有
vikhyatk 认为,只要评测集公开,就可能因针对性训练或过拟合而失去区分度,真正好的 eval 应当保持私有。这一观点触及 AI 评测的方法论矛盾,并引发圈内讨论:公开 benchmark 曝光后可能不再可靠,私下保留的评测才更接近真实能力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。